python – 在Gunicorn / Flask应用程序中的进程之间共享静态全局数据

我有一个在Gunicorn下运行的Flask应用程序,使用同步工作器类型和20个工作进程.该应用程序在启动时读取大量数据,这需要时间并使用内存.更糟糕的是,每个进程加载自己的副本,这会导致它花费更长的时间并占用20倍的内存....

我有一个在Gunicorn下运行的Flask应用程序,使用同步工作器类型和20个工作进程.该应用程序在启动时读取大量数据,这需要时间并使用内存.更糟糕的是,每个进程加载自己的副本,这会导致它花费更长的时间并占用20倍的内存.数据是静态的,不会改变.我想加载一次,让所有20名员工分享它.

如果我使用preload_app设置,它只加载一个线程,最初只占用1X内存,但是一旦请求开始进入,它似乎会变成20X.我需要快速随机访问数据,所以我宁愿不做IPC.

有没有办法在Gunicorn流程之间共享静态数据？

解决方法:

内存映射文件将允许您在进程之间共享页面.

https://docs.python.org/2/library/mmap.html

请注意,内存消耗统计通常会产生误导并且无益.通常最好考虑vmstat的输出,看看你是否交换了很多.