利用Python发送 10 万个 http 请求

2023-12-15Python编程

以下是Python发送10万个http请求的攻略，具体分为以下几个步骤：

1. 安装必要的库

使用Python发送http请求需要用到requests库，可通过以下命令安装：

pip install requests

2. 编写发送请求的Python脚本

按照以下格式编写Python脚本：

import requests

# 设置要发送请求的url
url = "http://example.com"

# 循环发送请求
for i in range(100000):
    response = requests.get(url)
    print(response.content)

该脚本可以循环发送10万个GET请求，每次请求的url为"http://example.com"，并使用print语句打印每个请求的响应内容。

3. 调节并发数提升效率

当并发量足够大时，单线程发送请求可能会出现瓶颈，因此可以使用多线程或异步方式发送请求来提升效率。下面分别介绍两种方式：

3.1 多线程方式

可以通过Python内置的_thread或者更加高级的threading库来实现多线程发送http请求。注意要合理设计线程池大小，避免过多线程造成CPU资源浪费。

以下示例代码展示了使用threading库进行多线程并发请求的方式：

import requests
import threading

# 设置要发送请求的url和线程数
url = "http://example.com"
requests_num = 100000
threads_num = 10

# 定义发送请求的函数
def send_request():
    for i in range(requests_num // threads_num):
        response = requests.get(url)
        print(response.content)

# 创建多个线程并发发送请求
threads = []
for i in range(threads_num):
    t = threading.Thread(target=send_request)
    threads.append(t)

for t in threads:
    t.start()

for t in threads:
    t.join()

该脚本启动了10个线程并发发送请求，每个线程负责发送1万个请求。需要注意的是，由于GIL锁的影响，使用多线程并不能充分利用多核CPU的性能。

3.2 异步方式

在Python中，使用aiohttp库可以轻松实现异步发送http请求。以下示例代码展示了使用aiohttp库实现异步方式发送请求的方式：

import aiohttp
import asyncio

# 设置要发送请求的url和请求数
url = "http://example.com"
requests_num = 100000

# 定义异步发送请求的函数
async def send_request(session):
    async with session.get(url) as response:
        content = await response.read()
        print(content)

# 创建异步事件循环
loop = asyncio.get_event_loop()

# 创建异步session，并并发发送请求
async with aiohttp.ClientSession() as session:
    tasks = []
    for i in range(requests_num):
        task = asyncio.ensure_future(send_request(session))
        tasks.append(task)

    await asyncio.gather(*tasks)

# 关闭异步事件循环
loop.close()

该脚本使用异步方式并发发送10万个请求，并使用asyncio.ensure_future()将异步任务添加到事件循环中进行调度。