社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

【Python】分享几个令人相见恨晚的Pandas函数

机器学习初学者 • 3 年前 • 324 次点击  
又是新的一周,今天小编给大家来分享几个好用到爆的Pandas函数,或许不那么为人所知,但是相信会给大家在数据分析与挖掘的过程中起到不小的帮助。

创建数据集

首先我们先来创建一个数据集,代码如下

import numpy as np
import pandas as pd
df = pd.DataFrame({
   "date": pd.date_range(start="2021-11-20", periods=100, freq="D"),
   "class": ["A","B","C","D"] * 25,
   "amount": np.random.randint(10, 100, size=100)
})
df.head()

output

To_period

当我们在处理日期数据时,有时候需要提取出月份的数据,有时候我们需要的是季度的数据,这里就可以通过to_period()方法来实现了,代码如下

df["year"] = df["date"].dt.to_period("Y")
df["month"] = df["date"].dt.to_period("M")
df["day"] = df["date"].dt.to_period("D")
df["quarter"] = df["date"].dt.to_period("Q")
df.head()

output

在此基础之上,我们可以进一步对数据进行分析,例如

df["month"].value_counts()

output

我们想要筛选出“2021-12”该时段的数据,代码如下

df[df['month'] == "2021-12"].head()

output

生成假数据

我们在建模、训练模型的时候,需要用到大量的数据集,然鹅很多时候我们会遇到数据量不够的情况,小编之前写过一篇相关的教程,使用Python中的faker模块或者通过一些深度学习的模型来生成假数据
【原创好文】当机器学习遇到数据量不够时,这几个Python技巧为你化解难题
pandas模块中也有一些相关的方法来帮助我们解决数据量不够的问题,代码如下
pd.util.testing.makeDataFrame()

output

默认生成的假数据是30行4列的,当然我们也可以指定生成数据的行数和列数,代码如下

pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)

output

要是我们希望创建的数据集当中存在的缺失值,调用的则是makeMissingDataframe()方法

pd.util.testing.makeMissingDataframe()

output

要是我们希望创建的数据集包含了整型、浮点型以及时间日期等其他类型的数据,调用的是makeMixedDataFrame()方法
pd.util.testing.makeMixedDataFrame()

output

将数据集导出至压缩包中

众多周知,我们可以轻松地将数据集导出至csv文件、json格式的文件等等,但是有时候我们想要节省存储的资源,例如在文件的传送过程当中,想将其导出至压缩包当中,代码如下

df = pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)
df.shape

output

(1000, 5)
我们先将其存储成csv格式的文件,看一下文件的大小,结果大概是占到了45KB的存储,代码如下

import os
os.path.getsize("sample.csv")/1024

output

44

要是最后导出至压缩包当中呢,我们看一下文件的大小有多少?代码如下

df.to_csv('sample.csv.gz', compression='gzip')
os.path.getsize('sample.csv.gz')/1024

output

14
结果只占到了13KB的空间大小,大概是前者的三分之一吧,当然pandas还能够直接读取压缩包变成DataFrame数据集,代码如下

df = pd.read_csv('sample.csv.gz', compression='gzip', index_col=0)
df.head()

output

一行代码让Pandas提速

很多时候我们想要通过pandas中的apply()方法将自定义函数或者是一些内部自带的函数应用到DataFrame每一行的数据当中,如果行数非常多的话,处理起来会非常地耗时间,这里使用的是swifter可以自动使apply()方法的运行速度达到最快,并且只需要一行代码即可,例如
import swifter
 
df.swifter.apply(lambda x: x.max() - x.mean())

当然使用前,我们需要先前下载该模块,使用pip命令

pip install swifter
往期精彩回顾




Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/134479
 
324 次点击