首页 > python教程

Python通过两个dataframe用for循环求笛卡尔积

时间:2020-07-13 python教程 查看: 1072

合并两个没有共同列的dataframe,相当于按行号求笛卡尔积。

最终效果如下

以下代码是参考别人的代码修改的:

```python
def cartesian_df(A,B): new_df = pd.DataFrame(columns=list(A).extend(list(B))) for ,A_row in A.iterrows(): for ,B_row in B.iterrows(): row = A_row.append(B_row) new_df = new_df.append(row,ignore_index=True) return new_df

这个方法,如果两张表列名重复会出错```

这段代码的思路是对两个表的每一行进行循环,运行速度比较慢,复杂度应该是O(m*n),m是A表的行数,n是B表的行数。

因为我用到的合并表行数比较多,时间太慢,所以针对上面的代码进行了优化。

思路是利用dataframe的merge功能,先循环复制A表,将循环次数添加为列,直接使用merge合并,复杂度应该为O(n)(n是B表的行数),代码如下:

```python
def cartesian_df(df_a,df_b): '求两个dataframe的笛卡尔积' #df_a 复制n次,索引用复制次数 new_df_a = pd.DataFrame(columns=list(df_a)) for i in range(0,df_b.shape[0]): df_a['merge_index'] = i new_df_a = new_df_a.append(df_a,ignore_index=True) #df_b 设置索引为行数 df_b.reset_index(inplace = True, drop =True) df_b['merge_index'] = df_b.index #merge new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1) return new_df

两个原始表中不能有列名'merge_index'```

使用一张8行的表和一张142行的表进行测试,优化前的方法用时:5.560689926147461秒

优化后的方法用时:0.1296539306640625秒(142行的表作为b表)

根据计算原理,将行数少的表放在b表可以更快,测试用时:0.021603107452392578秒(8行的表作为b表)

这个速度已经达到预期,基本感觉不到等待,优化完成。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持python博客。

展开全文
上一篇:python 制作python包,封装成可用模块教程
下一篇:python 串行执行和并行执行实例
输入字:
相关知识
Python 实现图片色彩转换案例

我们在看动漫、影视作品中,当人物在回忆过程中,体现出来的画面一般都是黑白或者褐色的。本文将提供将图片色彩转为黑白或者褐色风格的案例详解,感兴趣的小伙伴可以了解一下。

python初学定义函数

这篇文章主要为大家介绍了python的定义函数,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助,希望能够给你带来帮助

图文详解Python如何导入自己编写的py文件

有时候自己写了一个py文件,想要把它导入到另一个py文件里面,所以下面这篇文章主要给大家介绍了关于Python如何导入自己编写的py文件的相关资料,需要的朋友可以参考下

python二分法查找实例代码

二分算法是一种效率比较高的查找算法,其输入的是一个有序的元素列表,如果查找元素包含在列表中,二分查找返回其位置,否则返回NONE,下面这篇文章主要给大家介绍了关于python二分法查找的相关资料,需要的朋友可以参考下