我们在几乎所有的编程语言中都学习过循环。所以,默认情况下,只要有重复性的操作,我们就会开始实施循环。但是当我们处理大量的迭代(数百万/数十亿行)时,使用循环真是遭罪啊~,你可能会被卡住几个小时,后来才意识到这是行不通的。这就是在Python中实现向量化变得超级关键的地方。
什么是向量化? 向量化是在数据集上实现(NumPy)数组操作的技术。在后台,它对数组或系列的所有元素一次性进行操作(不像'for'
循环那样一次操作一行)。
在这篇博客中,我们将看看一些用例,在这些用例中,我们可以很容易地用向量化代替Python循环。这将帮助你节省时间,并在编码方面变得更加熟练。
使用案例1: 寻找数字的总和首先,我们来看看一个基本的例子,即在Python中使用循环和向量来寻找数字的总和。
使用循环 import time start = time.time()# 遍历之和 total = 0 # 遍历150万个数字 for item in range(0 , 1500000 ): total = total + item print('sum is:' + str(total)) end = time.time() print(end - start)#1124999250000 #0.14 Seconds
使用向量化 import numpy as np start = time.time()# 向量化和--使用numpy进行向量化 # np.range创建从0到1499999的数字序列 print(np.sum(np.arange(1500000 ))) end = time.time() print(end - start)##1124999250000 ##0.008 Seconds
与使用范围函数的迭代相比,向量化的执行时间约18倍 。在使用Pandas DataFrame时,这种差异将变得更加明显。
使用案例2: DataFrame数学运算在数据科学中,当使用Pandas DataFrame时,开发者会使用循环来创建新的数学运算的派生列。
在下面的例子中,我们可以看到,在这样的用例中,循环可以很容易地被向量化所取代。
创建DataFrame DataFrame是以行和列的形式存在的表格数据。
我们正在创建一个有500万行和4列的pandas DataFrame,其中充满了0到50之间的随机值。
import numpy as npimport pandas as pd df = pd.DataFrame(np.random.randint(0 , 50 , size=(5000000 , 4 )), columns=('a' ,'b' ,'c' ,'d' )) df.shape# (5000000, 5) df.head()
我们将创建一个新的列'ratio'
,以找到列'd'
和'c'
的比率。
使用循环 import time start = time.time()# Iterating through DataFrame using iterrows for idx, row in df.iterrows(): # creating a new column df.at[idx,'ratio' ] = 100 * (row["d" ] / row["c" ]) end = time.time() print(end - start)### 109 Seconds
使用向量化 start = time.time() df[
"ratio" ] = 100 * (df["d" ] / df["c" ]) end = time.time() print(end - start)### 0.12 seconds
我们可以看到DataFrame有了明显的改进,与python中的循环相比,向量化几乎快了1000倍 。
使用案例3: DataFrame上If-else语句我们实现了很多需要我们使用 "if-else"
类型逻辑的操作。我们可以很容易地用python中的向量化操作代替这些逻辑。
看一下下面的例子来更好地理解它(我们将使用在用例2中创建的DataFrame)。
想象一下,如何根据退出的列'a'
的一些条件来创建一个新的列'e'
。
使用循环 import time start = time.time()# Iterating through DataFrame using iterrows for idx, row in df.iterrows(): if row.a == 0 : df.at[idx,'e' ] = row.d elif (row.a <= 25 ) & (row.a > 0 ): df.at[idx,'e' ] = (row.b)-(row.c) else : df.at[idx,'e' ] = row.b + row.c end = time.time() print(end - start)### Time taken: 177 seconds
使用向量化 start = time.time() df['e' ] = df['b' ] + df['c' ] df.loc[df['a' ] <= 25 , 'e' ] = df['b' ] -df['c' ] df.loc[df['a' ]==0 , 'e' ] = df['d' ]end = time.time() print(end - start)## 0.28007707595825195 sec
与带有if-else 语句的python循环相比,向量化操作要比循环快600倍 。
使用案例4: 解决机器学习/深度学习网络深度学习要求我们解决多个复杂的方程,而且是针对数百万和数十亿行的方程。在Python中运行循环来解决这些方程是非常慢的,此时,向量化是最佳的解决方案。
例如,要计算以下多线性回归方程中数百万行的y值。
我们可以用向量化代替循环。
m1,m2,m3...
的值是通过使用对应于x1,x2,x3...
的数百万个值来解决上述方程而确定的(为了简单起见,只看一个简单的乘法步骤)
创建数据 >>> import numpy as np>>> # 设置 m 的初始值 >>> m = np.random.rand(1 ,5 ) array([[0.49976103 , 0.33991827 , 0.60596021 , 0.78518515 , 0.5540753 ]])>>> # 500万行的输入值 >>> x = np.random.rand(5000000 ,5 )
使用循环 import numpy as np m = np.random.rand(1 ,5 ) x = np.random.rand(5000000 ,5 ) total = 0 tic = time.process_time()for i in range(0 ,5000000 ): total = 0 for j in range(0 ,5 ): total = total + x[i][j]*m[0 ][j] zer[i] = total toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds" )####Computation time = 28.228 seconds
使用向量化 tic = time.process_time()#dot product np.dot(x,m.T) toc = time.process_time()print ("Computation time = " + str((toc - tic)) + "seconds" )####Computation time = 0.107 seconds
np.dot
在后端实现了向量的矩阵乘法。与python中的循环相比,它的速度提高了165倍 。
写在最后Python中的向量化是非常快的,当在处理非常大的数据集时,建议你应该优先考虑向量化而不是循环。这样,随着时间的推移,你会逐渐习惯于按照向量化的思路来编写代码。