Python源码阅读-内存管理机制(一)
admin
2023-07-31 00:36:56
0
========================== 

基本阅读完了, 只是没时间梳理, 趁着这今天时间比较空

逐步梳理, 发上来……也算是小结下, 要开始准备简历找工作了>_

这篇略长, 带很多图, 所以一分为二


Python的内存管理架构

基本分层

Objects/obmalloc.c源码中, 给了一个分层划分

1234567891011121314151617181920     _____   ______   ______       ________   [ int ] [ dict ] [ list ] ... [ string ]       Python core         |+3 | < Objectspecific memory -> | < Nonobject memory > |    _______________________________       |                           |   [   Python\’s object allocator   ]      |                           |+2 | ####### Object memory ####### | <—— Internal buffers ——> |    ______________________________________________________________    |   [          Python\’s raw memory allocator (PyMem_ API)          ]   |+1 | < Python memory (under PyMem manager\’s control) > |   |    __________________________________________________________________   [    Underlying generalpurpose allocator (ex: C library malloc)   ] 0 | < Virtual memory allocated for the python process -> |    =========================================================================    _______________________________________________________________________   [                OSspecific Virtual Memory Manager (VMM)               ]1 | < Kernel dynamic storage allocation & management (pagebased) -> |    __________________________________   __________________________________   [                                  ] [                                  ]2 | < Physical memory: ROM/RAM > | | < Secondary storage (swap) > |

可以看到

1234567891011121314 layer 3: Objectspecific memory(int/dict/list/string....)         Python 实现并维护         更高抽象层次的内存管理策略, 主要是各类特定对象的缓冲池机制. 具体见前面几篇涉及的内存分配机制 layer 2: Python\’s object allocator         Python 实现并维护         实现了创建/销毁Python对象的接口(PyObject_New/Del), 涉及对象参数/引用计数等 layer 1: Python\’s raw memory allocator (PyMem_ API)         Python 实现并维护, 包装了第0层的内存管理接口, 提供统一的raw memory管理接口         封装的原因: 不同操作系统 C 行为不一定一致, 保证可移植性, 相同语义相同行为 layer 0: Underlying generalpurpose allocator (ex: C library malloc)         操作系统提供的内存管理接口, 由操作系统实现并管理, Python不能干涉这一层的行为

第三层layer 3前面已经介绍过了, 几乎每种常用的数据类型都伴有一套缓冲池机制.

在这里, 我们关注的是layer 2/1

简要介绍下layer 1, 然后重点关注layer 2, 这才是重点

layer 1: PyMem_ API

PyMem_ API是对操作系统内存管理接口进行的封装

查看pymem.h可以看到

12345678910111213141516171819202122232425262728293031193-27\”>2728293031这篇略长, 带很多图, 所以一分为二


Python的内存管理架构

基本分层

Objects/obmalloc.c源码中, 给了一个分层划分

1234567891011121314151617181920     _____   ______   ______       ________   [ int ] [ dict ] [ list ] ... [ string ]       Python core         |+3 | < Objectspecific memory -> | < Nonobject memory > |    _______________________________       |                           |   [   Python\’s object allocator   ]      |                           |+2 | ####### Object memory ####### | <—— Internal buffers ——> |    ______________________________________________________________    |   [          Python\’s raw memory allocator (PyMem_ API)          ]   |+1 | < Python memory (under PyMem manager\’s control) > |   |    __________________________________________________________________   [    Underlying generalpurpose allocator (ex: C library malloc)   ] 0 | < Virtual memory allocated for the python process -> |    =========================================================================    _______________________________________________________________________   [                OSspecific Virtual Memory Manager (VMM)               ]1 | < Kernel dynamic storage allocation & management (pagebased) -> |    __________________________________   __________________________________   [                                  ] [                                  ]2 | < Physical memory: ROM/RAM > | | < Secondary storage (swap) > |

可以看到

1234567891011121314 layer 3: Objectspecific memory(int/dict/list/string....)         Python 实现并维护         更高抽象层次的内存管理策略, 主要是各类特定对象的缓冲池机制. 具体见前面几篇涉及的内存分配机制 layer 2: Python\’s object allocator         Python 实现并维护         实现了创建/销毁Python对象的接口(PyObject_New/Del), 涉及对象参数/引用计数等 layer 1: Python\’s raw memory allocator (PyMem_ API)         Python 实现并维护, 包装了第0层的内存管理接口, 提供统一的raw memory管理接口         封装的原因: 不同操作系统 C 行为不一定一致, 保证可移植性, 相同语义相同行为 layer 0: Underlying generalpurpose allocator (ex: C library malloc)         操作系统提供的内存管理接口, 由操作系统实现并管理, Python不能干涉这一层的行为

第三层layer 3前面已经介绍过了, 几乎每种常用的数据类型都伴有一套缓冲池机制.

在这里, 我们关注的是layer 2/1

简要介绍下layer 1, 然后重点关注layer 2, 这才是重点

layer 1: PyMem_ API

PyMem_ API是对操作系统内存管理接口进行的封装

查看pymem.h可以看到

12345678910111213141516171819202122232425

相关内容

热门资讯

500 行 Python 代码... 语法分析器描述了一个句子的语法结构,用来帮助其他的应用进行推理。自然语言引入了很多意外的歧义,以我们...
定时清理删除C:\Progra... C:\Program Files (x86)下面很多scoped_dir开头的文件夹 写个批处理 定...
65536是2的几次方 计算2... 65536是2的16次方:65536=2⁶ 65536是256的2次方:65536=256 6553...
Mobi、epub格式电子书如... 在wps里全局设置里有一个文件关联,打开,勾选电子书文件选项就可以了。
scoped_dir32_70... 一台虚拟机C盘总是莫名奇妙的空间用完,导致很多软件没法再运行。经过仔细检查发现是C:\Program...
小程序支付时提示:appid和... [Q]小程序支付时提示:appid和mch_id不匹配 [A]小程序和微信支付没有进行关联,访问“小...
pycparser 是一个用... `pycparser` 是一个用 Python 编写的 C 语言解析器。它可以用来解析 C 代码并构...
微信小程序使用slider实现... 众所周知哈,微信小程序里面的音频播放是没有进度条的,但最近有个项目呢,客户要求音频要有进度条控制,所...
python查找阿姆斯特朗数 题目解释 如果一个n位正整数等于其各位数字的n次方之和,则称该数为阿姆斯特朗数。 例如1^3 + 5...
Apache Doris 2.... 亲爱的社区小伙伴们,我们很高兴地向大家宣布,Apache Doris 2.0.0 版本已于...