DataFrame 数据合并实现(merge,join,concat)

作者:Python之简 时间:2022-03-28 04:24:02 

merge

merge 函数通过一个或多个键将数据集的行连接起来。
场景:针对同一个主键存在的两张包含不同特征的表,通过主键的链接,将两张表进行合并。合并之后,两张表的行数不增加,列数是两张表的列数之和。


def merge(left, right, how='inner', on=None, left_on=None, right_on=None,
    left_index=False, right_index=False, sort=False,
    suffixes=('_x', '_y'), copy=True, indicator=False,
    validate=None):

参数描述
how数据融合的方法,从在不重合的键,方式(inner、outer、left、right)
on用来对齐的列名,一定要保证左表和右表存在相同的列名。
left_on左表对齐的列,可以是列名。也可以是DataFrame同长度的arrays
right_on右表对齐的列,可以是列名。
left_index将左表的index用作连接键
right_index将右表的index用作连接键
suffixes左右对象中存在重名列,结果区分的方式,后缀名。
copy默认:True。将数据复制到数据结构中,设置为False提高性能。

特性示例(1)

默认:以重叠的列名当作连接键


df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
         'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
         'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
print(df1)
print(df2)
print(df3)

 key data1
0 one   0
1 two   1
2 two   2
  key data2
0  one   0
1 three   1
2 three   2
 key data1 data2
0 one   0   0

特性示例(2)

默认:做inner连接,取key的交集
连接方式还有left right outer


df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
         'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
         'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
df4 = pd.merge(df1, df2, how='left')
print(df3)
print(df4)

 key data1 data2
0 one   0   0
 key data1 data2
0 one   0  0.0
1 two   1  NaN
2 two   2  NaN

特性示例(3)

多键连接时将连接键做成列表传入。
on默认是两者同时存在的列


df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
         'value': ['a', 'b', 'c'],
         'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'two', 'three'],
         'value': ['a', 'c', 'c'],
         'data2': np.arange(3)})
df5 = pd.merge(df1, df2)
df6 = pd.merge(df1, df2, on=['key', 'value'], how='outer')
print(df5)
print(df6)

 key value data1 data2
0 one   a   0   0
1 two   c   2   1
  key value data1 data2
0  one   a  0.0  0.0
1  two   b  1.0  NaN
2  two   c  2.0  1.0
3 three   c  NaN  2.0

特性示例(4)

两个对象的列名不同,需要分别制定。


df7 = pd.merge(df1, df2, left_on=['key1','data1'], right_on=['key2','data2'], how='outer')
print(df7)

key1 value_x data1  key2 value_y data2
0 one    a  0.0  one    a  0.0
1 two    b  1.0  two    c  1.0
2 two    c  2.0  NaN   NaN  NaN
3 NaN   NaN  NaN three    c  2.0

join

join方法将两个DataFrame中不同的列索引合并成为一个DataFrame
参数的意义与merge基本相同,只是join方法默认左外连接how=left


def join(self, other, on=None, how='left', lsuffix='', rsuffix='',
    sort=False):

示例


df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
         'B': ['B0', 'B1', 'B2']},
         index=['K0', 'K1', 'K2'])
df2 = pd.DataFrame({'C': ['C1', 'C2', 'C3'],
         'D': ['D0', 'D1', 'D2']},
         index=['K0', 'K1', 'K3'])
df3 = df1.join(df2)
df4 = df1.join(df2, how='outer')
df5 = df1.join(df2, how='inner')
print(df3)
print(df4)
print(df5)

  A  B  C  D
K0 A0 B0  C1  D0
K1 A1 B1  C2  D1
K2 A1 B2 NaN NaN
  A  B  C  D
K0  A0  B0  C1  D0
K1  A1  B1  C2  D1
K2  A1  B2 NaN NaN
K3 NaN NaN  C3  D2
  A  B  C  D
K0 A0 B0 C1 D0
K1 A1 B1 C2 D1

concat

制定按某个轴进行连接(可横向可纵向),也可以指定连接方法。


def concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
     keys=None, levels=None, names=None, verify_integrity=False,
     sort=None, copy=True):

属性描述
objs合并的对象集合。可以是Series、DataFrame
axis合并方法。默认0,表示纵向,1横向
join默认outer并集,inner交集。只有这两种
join_axes按哪些对象的索引保存
ignore_index默认Fasle忽略。是否忽略原index
keys为原始DataFrame添加一个键,默认无

示例(1)


s1 = pd.Series(['a', 'b'])
s2 = pd.Series(['c', 'd'])
s3 = pd.concat([s1, s2])
s4 = pd.concat([s1, s2], ignore_index=True)
print(s3)
print(s4)

0  a
1  b
dtype: object
0  c
1  d
dtype: object
0  a
1  b
0  c
1  d
dtype: object
0  a
1  b
2  c
3  d
dtype: object

示例(2)


df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], join='inner')
print(df3)

 0
0 1
1 2
0 1
1 2

示例(3)


df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], axis=1, join_axes=[df1.index])
print(df3)

 A 0 B 0
0 a 1 a 1
1 b 2 b 2

append

横向和纵向同时扩充,不考虑columns和index


df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
         'B': ['B0', 'B1', 'B2']},
         index=['K0', 'K1', 'K2'])
s2 = pd.Series(['X0','X1'], index=['A','B'])
result = df1.append(s2, ignore_index=True)
print(result)

  A  B
K0 A0 B0
K1 A1 B1
K2 A1 B2
 A  B
0 A0 B0
1 A1 B1
2 A1 B2
3 X0 X1

汇总

  • concat:可以沿一条轴将多个对象连接到一起

  • merge:可以根据一个或多个键将不同的DataFrame中的行连接起来。

  • join:inner是交集,outer是并集。

来源:https://blog.csdn.net/qq_1290259791/article/details/83247048

标签:DataFrame,数据合并
0
投稿

猜你喜欢

  • Keras构建神经网络踩坑(解决model.predict预测值全为0.0的问题)

    2023-03-28 04:05:22
  • 微信小程序实现计算器(含历史记录)

    2024-04-17 10:30:20
  • 推荐几款 Redis 可视化工具(太厉害了)

    2024-01-26 11:15:59
  • 如何在Python 游戏中模拟引力

    2021-11-28 21:51:27
  • python MultipartEncoder传输zip文件实例

    2022-04-20 07:22:57
  • Bottle框架中的装饰器类和描述符应用详解

    2023-10-10 00:18:25
  • python中有帮助函数吗

    2021-06-15 15:50:02
  • 使用pd.merge表连接出现多余行的问题解决

    2023-08-25 11:34:24
  • WIN2003无法上传较大的文件Request对象错误解决方法

    2007-08-10 09:44:00
  • Silverlight VS Flash,谁更强?

    2008-11-07 11:04:00
  • Python如何读取相对路径文件

    2023-12-06 17:03:18
  • python pyhs2 的安装操作

    2021-03-11 18:21:33
  • matplotlib教程——强大的python作图工具库

    2021-05-18 23:42:55
  • 给大家整理了19个pythonic的编程习惯(小结)

    2024-01-02 08:00:05
  • Python基于Opencv识别两张相似图片

    2021-01-13 20:16:42
  • python使用pandas抽样训练数据中某个类别实例

    2021-03-02 02:56:14
  • python map比for循环快在哪

    2021-06-16 09:39:04
  • 详解python使用递归、尾递归、循环三种方式实现斐波那契数列

    2022-06-22 13:44:49
  • 基于SQL Server OS的任务调度机制详解

    2024-01-14 22:17:59
  • python实现逻辑回归的方法示例

    2021-07-27 17:04:24
  • asp之家 网络编程 m.aspxhome.com