Python 性能快速优化
admin
2023-07-30 22:42:24
0

Python可能最容易扼杀你的想法,但不是最好的代码实现。尽管强烈反对过早优化,但在 Python 代码中一点点的优化都可能带来巨大的性能提升。

解释仅仅是目的,最正确的方式是天天使用 Python 编程,并且与性能影响相关。

  • %timeit (per line) 和 %prun (cProfile) 在 ipython 的交互式 Shell 中

当你的代码在工作时,分析你的代码,并且尝试找出性能瓶颈在哪里。这不与过早的优化是万恶之源这个事实相反。这意味着一级优化,而不是进入冗长的优化序列。

更多的分析你的 Python 代码,你需要阅读这个 python-performance-analysis

另外一个有趣的包, line_profiler 是一行一行的分析代码
分析 line_profiler

  • 降低方法调用次数,如果你有一个列表需要操作,传递整个列表,而不是遍历整个列表并且传递每个元素给函数并返回。
  • 使用 xrange 代替 range。(在 Python2.x 中这样做,因为 Python 3.x 中是默认的)

xrange 是 range 的 C 实现,着眼于有效的内存使用。

  • 对于大数据,使用 numpy,它比标准的数据结构好很多。
  • \"\".join(string) 比 + or += 好
  • while 1 比 while True 快
  • list comphrension > for loop > while

列表推导比循环遍历列表快,但 while loop 是最慢的,需要使用一个外部计数器。

  • 使用 cProfilecStringIO 和 cPickle

一直使用 C 版本的模块

  • 使用局部变量

局部变量比全局变量,内建类型以及属性快。

  • 列表和迭代器版本存在 – 迭代器是内存效率和可伸缩性的。使用 itertools

创建生成器以及尽可能使用 yeild,它们比正常的列表方式更快。

下面是 Python 性能快速优化的第二部分。

  1. 使用 Map ,Reduce 和 Filter 代替 for 循环
  2. 校验 a in b, 字典 或 set 比 列表 或 元组 更好
  3. 当数据量大的时候,尽可能使用不可变数据类型,他们更快 元组 > 列表
  4. 在一个列表中插入数据的复杂度为 O(n)
  5. 如果你需要操作列表的两端,使用 deque
  6. del – 删除对象使用如下
    1) python 自己处理它,但确保使用了 gc 模块
    2) 编写 __del__ 函数
    3) 最简单的方式,使用后调用 del
  7. time.clock()
  8. GIL(http://wiki.python.org/moin/GlobalInterpreterLock) – GIL is a daemon

GIL 仅仅允许一个 Python 的原生线程来运行每个进程。阻止 CPU 级别的并行,尝试使用 ctypes 和 原生的 C 库来解决它,当你达到 Python 优化的最后,总是存在一个选项,可以使用原生的 C 重写慢的函数,通过 Python 的 C 绑定使用它,其他的库如 gevent 也是致力于解决这个问题,并且获得了成功。

TL,DR:当你写代码了,过一遍数据结构,迭代结构,内建和为 GIL 创建 C 扩展,如有必要。

更新:multiprocessing 是在 GIL 的范围之外,这意味着你可以使用 multiprocessing 这个标准库来运行多个进程。

看下我的 2013 的印度 PyCon 演讲

  • www.slideshare.net/atmb4u/faster-python


相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
Prometheus+Graf... 一,Prometheus概述 1,什么是Prometheus?Prometheus是最初在Sound...
python绘图库Matplo... 本文简单介绍了Python绘图库Matplotlib的安装,简介如下: matplotlib是pyt...