Python 进程之间共享数据(全局变量)的方法

2023-12-16Python编程
296

实现多进程之间的数据共享,可以通过使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型,下面分别进行详细的介绍。

使用共享内存

使用共享内存的方式,需要使用multiprocessing中提供的Value、Array对象。Value用于基本类型的共享内存,而Array用于数组的共享内存。

Value

Value用于创建共享内存中的基本类型变量,并且可以通过value属性进行读写。以下为一个示例:

import multiprocessing

def func(val):
    val.value += 1
    print(val.value)

if __name__ == '__main__':
    val = multiprocessing.Value('i', 0)
    process1 = multiprocessing.Process(target=func, args=(val,))
    process2 = multiprocessing.Process(target=func, args=(val,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

1
2

这里创建了一个共享变量val,使用了Value对象,并且将类型指定为‘i’,即整型。在进程中,通过val.value可以进行对共享变量的读写。这里创建了两个进程,两个进程都对val进行了5次加1操作,最终输出结果为1、2。

Array

和Value类似,Array也需要指定类型,但可以指定类型为任意数组。以下为一个示例:

import multiprocessing

def func(arr):
    for i in range(len(arr)):
        arr[i] += 1
    print(arr[:])

if __name__ == '__main__':
    arr = multiprocessing.Array('i', [0, 1, 2, 3, 4])
    process1 = multiprocessing.Process(target=func, args=(arr,))
    process2 = multiprocessing.Process(target=func, args=(arr,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

[2, 3, 4, 5, 6]
[3, 4, 5, 6, 7]

这里创建了一个共享数组arr,使用了Array对象,并且将类型指定为‘i’,即整型。在进程中,可以通过arr[:]来进行对共享数组的读写。这里创建了两个进程,两个进程都对arr进行了5次加1操作,最终输出结果为两个进程操作后的arr。

使用Manager类型

Manager类型可以在多进程间共享任意Python对象,包括list、dict、Queue等等,使用Manager需要深入了解Python对象的序列化和反序列化操作。以下为一个示例:

import multiprocessing

def func(d):
    d[1] = 'a'
    print(d)

if __name__ == '__main__':
    manager = multiprocessing.Manager()
    dict_shared = manager.dict()
    dict_shared[0] = 'b'
    process1 = multiprocessing.Process(target=func, args=(dict_shared,))
    process2 = multiprocessing.Process(target=func, args=(dict_shared,))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

输出结果为:

{0: 'b', 1: 'a'}
{0: 'b', 1: 'a'}

这里创建了一个共享字典dict_shared,使用了Manager对象,Manager对象可以创建一个共享变量,并且可以放进任意Python对象,如字典,字典的读写可以通过[]进行操作。这里同样创建了两个进程,对dict_shared进行读写操作,最终输出2个进程对dict_shared的读写结果。

总结

以上介绍了多进程之间共享数据的两种方法,分别是使用共享内存的方式,或者使用第三方库multiprocessing中提供的Manager类型。根据不同的使用场景,选择不同的方法。共享内存具有读写速度快的优点,但是存在数据不安全的问题;而Manager类型虽然不存在数据不安全问题,但是增加了序列化、反序列化等操作,导致读写速度相对较慢。

The End

相关推荐

解析Python中的eval()、exec()及其相关函数
Python中有三个内置函数eval()、exec()和compile()来执行动态代码。这些函数能够从字符串参数中读取Python代码并在运行时执行该代码。但是,使用这些函数时必须小心,因为它们的不当使用可能会导致安全漏洞。...
2023-12-18 Python编程
117

Python下载网络文本数据到本地内存的四种实现方法示例
在Python中,下载网络文本数据到本地内存是常见的操作之一。本文将介绍四种常见的下载网络文本数据到本地内存的实现方法,并提供示例说明。...
2023-12-18 Python编程
101

Python 二进制字节流数据的读取操作(bytes与bitstring)
来给你详细讲解下Python 二进制字节流数据的读取操作(bytes与bitstring)。...
2023-12-18 Python编程
120

Python3.0与2.X版本的区别实例分析
Python 3.x 是 Python 2.x 的下一个重大版本,其中有一些值得注意的区别。 Python 3.0中包含了许多不兼容的变化,这意味着在迁移到3.0之前,必须进行代码更改和测试。本文将介绍主要的差异,并给出一些实例来说明不同点。...
2023-12-18 Python编程
34

python如何在终端里面显示一张图片
要在终端里显示图片,需要使用一些Python库。其中一种流行的库是Pillow,它有一个子库PIL.Image可以加载和处理图像文件。要在终端中显示图像,可以使用如下的步骤:...
2023-12-18 Python编程
91

Python图像处理实现两幅图像合成一幅图像的方法【测试可用】
在Python中,我们可以使用Pillow库来进行图像处理。具体实现两幅图像合成一幅图像的方法如下:...
2023-12-18 Python编程
103