(数据科学学习手札151)速通pandas2.0新版本干货内容

科技资讯 投稿 6800 0 评论

(数据科学学习手札151)速通pandas2.0新版本干货内容

Github仓库https://github.com/CNFeffery/DataScienceStudyNotes

1 简介

pandas正式发布了其2.0.0版本,作为一次大版本更新,pandas针对底层进行了大量的重构以优化性能和稳定性,其有关这次更新内容的说明文档更是洋洋洒洒非常繁杂。

pandas的用户,并不需要了解过多底层更新内容,只需要学习如何使用新版pandas为自己提质提效就行,今天的文章话不多说,直接带大家速通新版pandas干货内容😎。

2 速通pandas 2.0新版本干货内容

pandas性能表现:

conda create -n pandas2.0-test python=3.8 -y
conda activate pandas2.0-test
pip install pandas pyarrow jupyterlab

2.1 数据读取及运算性能提升

我们对新版pandas的最大期待就是1个字——快,因为经过15年的发展,pandas的分析功能已经相当丰富,API语法也足够简单高效,但在处理较大型数据集时的速度和内存占用属实捉急。

pandas引入了基于高性能运算库arrow的一系列常用数据类型,作为对默认基于numpy的数据类型的代替。

https://www.kaggle.com/datasets/kartik2112/fraud-detection),针对其中的fraudTrain.csv文件进行读取,这个文件大小为三百多兆,我们分别采用3种不同的方式进行读取:

pandas中最优的参数组合,足足比默认的参数快了将近20倍🚀,查看使用pyarrow数据类型后端读入的数据框,可以发现类型都已经切换到pyarrow的常用类型:

startswith(判断就快了接近50倍:

2.2 “修改时复制”机制

1.5版本中开始引入pandas,并在2.0中对pandas中大多数运算操作进行了支持,且很有可能在3.0版本中作为默认的策略。

在默认情况下,如果我们像下面这样将dffield1列直接赋值给了field1,再对field1中的值进行修改,就会导致原先的df中的对应值也被修改了,这种机制本意是避免赋值时频繁的数据复制占用内存,但很容易让我们不小心篡改了原始数据:

mode.copy_on_write为True以启用):

pandas中的“修改时复制”机制,会自动检测从源数据中衍生出的数据自身是否发生了值修改,并在修改时才进行数据复制操作,保证了分析过程的高效性和稳定性😋。

pandas还进行了大量的性能优化更新,这些更新无需我们改变过去的pandas写法,而是在我们的日常使用过程中”润物细无声“地帮我们节省了计算开销,可以说,作为pandas老用户,切换到2.0版本的过程是无痛且丝滑的😀,大家可以放心地进行更新,更多更新内容细节请移步https://pandas.pydata.org/docs/whatsnew/v2.0.0.html


编程笔记 » (数据科学学习手札151)速通pandas2.0新版本干货内容

赞同 (32) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽