pandas和spark dataframe互相转换实例详解
作者:yaominghui 时间:2022-12-12 20:26:38
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
.builder \
.getOrCreate()
spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd
pandas_df = spark_df.toPandas()
由于pandas的方式是单机版的,即toPandas()的方式是单机版的,所以参考breeze_lsw改成分布式版本:
import pandas as pd
def _map_to_pandas(rdds):
return [pd.DataFrame(list(rdds))]
def topas(df, n_partitions=None):
if n_partitions is not None: df = df.repartition(n_partitions)
df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
df_pand = pd.concat(df_pand)
df_pand.columns = df.columns
return df_pand
pandas_df = topas(spark_df)
标签:pandas,spark,dataframe
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Keras搭建孪生神经网络Siamese network比较图片相似性
2023-01-27 04:16:28
![](https://img.aspxhome.com/file/2023/9/71999_0s.png)
Golang实现将视频按照时间维度剪切的工具
2024-02-14 08:19:08
![](https://img.aspxhome.com/file/2023/6/112206_0s.png)
阿里云服务器新建用户具体方法
2024-01-22 19:08:51
使用XMLhttp生成html页面
2007-08-17 11:21:00
mysql清空表数据的两种方式和区别解析
2024-01-18 09:40:40
如何优化JavaScript脚本的性能
2008-02-19 21:47:00
Python轻量级ORM框架Peewee访问sqlite数据库的方法详解
2024-01-23 06:47:45
python实现猜单词游戏
2023-01-22 22:32:43
![](https://img.aspxhome.com/file/2023/5/107865_0s.gif)
ASP显示当前在线人数统计代码
2010-04-24 15:47:00
ChatGPT帮我看下这段代码有什么问题
2022-09-02 15:37:20
![](https://img.aspxhome.com/file/2023/2/107172_0s.jpg)
关于web标准的思考
2008-10-05 10:07:00
SQL Server 置疑、可疑、正在恢复等情况分析
2012-01-05 18:51:59
mysql中explain用法详解
2024-01-13 16:28:25
MySQL数据库只监听某个特定地址的方法
2008-12-05 16:11:00
python读写二进制文件的方法
2023-04-30 15:28:41
Python如何实现文本转语音
2022-12-23 09:49:22
Python 获取指定文件夹下的目录和文件的实现
2023-12-23 22:44:29
go语言区块链实战实现简单的区块与区块链
2024-05-10 13:57:33
![](https://img.aspxhome.com/file/2023/4/127484_0s.png)
小三角的做法与使用
2008-10-08 10:25:00
![](https://img.aspxhome.com/file/uploadpic/20071/200713110649890.gif)
使用Keras构造简单的CNN网络实例
2023-08-23 04:38:21