最近在做文本统计，用 Python 实现，遇到了一个比较有意思的难题――如何保存统计结果。另外考虑到将来程序会运行在不同配置的设备上，让其他开发者根据自身情况计算这个阈值也有点太不友好，于是我想到了一个办法――不如让 Python 自己检测自己的内存占用，如果快满了，就同步写入硬盘一次。要用 Python 监控自身内存占用，要使用 psutil 这个库来和系统进行交互，基本逻辑就是先拿到自己的 pid ，然后根据这个 pid 去跟系统获取进程信息。比如我系统是 32GB 内存，那么我设置个 20GB 就相当安全，用 Python 进行统计语料，数据多到进程占用 20GB 内存了，就把当前的数据写入硬盘，同步统计数据，然后清空程序里的字典缓存释放内存。
暂无评论