社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Python

提速 72 倍,在 Python 里面调用 Golang 函数

Python猫 • 6 年前 • 476 次点击  
👆 “Python猫” ,一个值得加星标的公众号

剧照 | 《灵笼》

我们知道,在涉及到大量 CPU 计算的时候,Python 的运行效率可能不如其他语言。在之前的一篇文章:一日一技:立竿见影地把你的 Python 代码提速7倍中,我们讲到了如何通过把 Python 代码编译成 C 语言代码来提高代码的运行速度。今天,我们不用 C 语言,而用 Go 语言。并且,我们这次不是做转换,而是直接用 Python 调用 Go 语言写的代码。

今天的文章内容需要使用 Linux 和 macOS 系统实现。或者你也可以使用 Windows 10自带的 WSL2 Linux子系统。

今天我们的测试代码还是递归版本的斐波那契数列计算函数,由于递归版本涉及到大量重复计算,所以运行速度极慢。用 Python 计算第40项,耗时36.6秒,如下图所示:

如果直接使用 Golang 来写相同的算法,速度会远远快于 Python——同样是计算第40项,只需要0.5秒,如下图所示:

那么,我们能不能使用 Golang 写一个计算斐波那契数列的递归函数,但是使用 Python 来调用这个函数呢?

实际上是可以的,我们只需要把 Golang 写的程序编译为.so文件就可以在 Python 里面调用了。

首先修改一下我们的 Golang 代码,把计算斐波拉契数列的函数fib的首字母改成大写。在 Golang 中,只有首字母大写的函数,才能被package外面的代码调用。

修改以后的代码如下:

package main
import ( "C")
//export Fibfunc Fib(n int) int { if n == 1 || n == 2{ return 1 } else { return Fib(n - 1) + Fib(n - 2) }}
func main() {}

需要注意的是,这里的注释//export Fib不能省略,因为在编译成.so文件的时候,编译器会寻找这个注释。同时,为了能正常编译,我们也必须导入C这个包。

把代码保存为fib.go,然后我们使用如下命令进行编译:

go build -buildmode=c-shared -o _fib.so fib.go

这条命令指定了编译模式为c-shared,编译完成以后,当前文件夹下面会生成一个_fib.so文件。这就是我们需要用 Python 载入的文件了。

下面,我们创建一个 Python 文件load.py,代码如下:

import ctypesimport time

so = ctypes.cdll.LoadLibrary('./_fib.so')fib = so.Fib
start = time.time()result = fib(40)end = time.time()print(f'斐波那契数列第40项:{result},耗时:{end - start}')

在这段代码里面,通过 Python 自带的ctypes模块,加载_fib.so文件,然后提取出里面的Fib函数。这个函数就是用递归方式计算斐波那契数列的函数了。同样是计算第40项,我们来看看耗时:

只需要0.5秒。耗时只有纯 Python 版本的 三十六分之一,也就是说,通过 Python 调用 Golang 的函数,速度是纯 Python 版本的72倍。

但需要注意的是,由于Golang 是静态强类型语言,定义函数的时候需要声明变量类型。如果你要导出的函数是字符串,那么变量类型需要改为*C.char而不是简单的string。这里涉及到 C 语言中的变量类型与 Golang 中变量类型的映射关系,可以参阅:cgo[1]。本文的例子中,由于整型比较特殊,直接使用int就可以了。但其他的类型可能并没有这么简单。

参考资料

[1]

cgo: https://golang.org/cmd/cgo/


优质文章,推荐阅读:

推荐一些 Mac 上比较好用的软件

Python 为什么没有 void 关键字?

两万字长文:基于 Python 协程的并发编程实践

Python 的 heapq 模块源码分析

感谢创作者的好文
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/72963