feat(aiohttp)

cpython666 · cpython666 · commit 0cbbb70dc16d · 2025-05-06T00:25:04.000+08:00
diff --git a/docs/.vitepress/config.mjs b/docs/.vitepress/config.mjs
@@ -43,6 +43,7 @@ let spider_set_items = [
         text: "ast详解",
         link: "/spider/collection/ast",
     },
+    {text: "aiohttp", link: "/spider/collection/aiohttp"},
     {text: "浏览器指纹详解", link: "/spider/collection/browser-fingerprint"},
     {
         text: "DrissionPage学习笔记",
diff --git a/docs/spider/collection/aiohttp.md b/docs/spider/collection/aiohttp.md
@@ -0,0 +1,277 @@
+# aiohttp
+`aiohttp` 是一个用于 Python 的异步 HTTP 客户端/服务器框架，基于 `asyncio`，非常适合需要高并发网络请求的场景，例如爬虫、API 调用等。下面我会介绍 `aiohttp` 的基本用法，包括安装、发送异步请求、处理响应，以及常见的使用场景。
+
+---
+
+### 1. **安装 `aiohttp`**
+首先，确保你已安装 `aiohttp`：
+```bash
+pip install aiohttp
+```
+
+如果需要加速（可选），可以安装 `aiodns` 和 `cchardet`：
+```bash
+pip install aiodns cchardet
+```
+
+---
+
+### 2. **基本用法：发送异步 HTTP 请求**
+
+`aiohttp` 使用 `asyncio` 的事件循环，必须在异步函数中使用。下面是一个简单的示例，展示如何发送一个 GET 请求并获取响应：
+
+```python
+import aiohttp
+import asyncio
+
+async def fetch_data(url):
+    # 创建一个 ClientSession
+    async with aiohttp.ClientSession() as session:
+        # 发送 GET 请求
+        async with session.get(url) as response:
+            # 检查状态码
+            if response.status != 200:
+                print(f"Error: Status {response.status}")
+                return None
+            # 读取响应内容（文本）
+            data = await response.text()
+            return data
+
+async def main():
+    url = "https://api.example.com/data"
+    result = await fetch_data(url)
+    print(result)
+
+# 运行事件循环
+if __name__ == "__main__":
+    asyncio.run(main())
+```
+
+---
+
+### 3. **核心概念**
+
+#### (1) **`ClientSession`**
+- `ClientSession` 是 `aiohttp` 的核心对象，用于管理 HTTP 连接。
+- 建议在一个请求会话中重用 `ClientSession`，而不是为每个请求创建新会话。
+- 使用 `async with` 确保正确关闭会话。
+
+#### (2) **请求方法**
+`aiohttp.ClientSession` 支持多种 HTTP 方法：
+- `session.get(url)`：GET 请求
+- `session.post(url, data)`：POST 请求
+- `session.put(url, data)`：PUT 请求
+- `session.delete(url)`：DELETE 请求
+
+#### (3) **响应处理**
+- `response.status`：获取状态码。
+- `await response.text()`：读取响应内容为字符串。
+- `await response.json()`：读取 JSON 格式的响应。
+- `await response.read()`：读取原始字节数据。
+
+---
+
+### 4. **发送 POST 请求**
+
+以下是一个发送 POST 请求的示例，适用于需要提交数据的场景（如登录、表单提交）：
+
+```python
+import aiohttp
+import asyncio
+
+async def post_data(url, payload):
+    async with aiohttp.ClientSession() as session:
+        async with session.post(url, json=payload) as response:
+            if response.status != 200:
+                print(f"Error: Status {response.status}")
+                return None
+            data = await response.json()
+            return data
+
+async def main():
+    url = "https://api.example.com/submit"
+    payload = {"username": "user", "password": "pass"}
+    result = await post_data(url, payload)
+    print(result)
+
+if __name__ == "__main__":
+    asyncio.run(main())
+```
+
+---
+
+### 5. **并发请求**
+
+`aiohttp` 的最大优势是支持并发请求，可以显著提高效率。以下是一个并发获取多个 URL 的示例：
+
+```python
+import aiohttp
+import asyncio
+
+async def fetch_data(session, url):
+    async with session.get(url) as response:
+        if response.status != 200:
+            return None
+        return await response.text()
+
+async def main():
+    urls = [
+        "https://api.example.com/data1",
+        "https://api.example.com/data2",
+        "https://api.example.com/data3"
+    ]
+    
+    async with aiohttp.ClientSession() as session:
+        # 使用 asyncio.gather 并发执行多个请求
+        tasks = [fetch_data(session, url) for url in urls]
+        results = await asyncio.gather(*tasks, return_exceptions=True)
+        
+        for url, result in zip(urls, results):
+            if result:
+                print(f"Data from {url}: {result[:100]}...")
+            else:
+                print(f"Failed to fetch {url}")
+
+if __name__ == "__main__":
+    asyncio.run(main())
+```
+
+---
+
+### 6. **设置请求头和超时**
+
+你可以通过参数设置请求头、超时等：
+
+```python
+import aiohttp
+import asyncio
+
+async def fetch_with_headers(url):
+    # 设置超时（总超时 10 秒，连接超时 5 秒）
+    timeout = aiohttp.ClientTimeout(total=10, connect=5)
+    
+    # 设置请求头
+    headers = {
+        "User-Agent": "MyApp/1.0",
+        "Authorization": "Bearer your-token"
+    }
+    
+    async with aiohttp.ClientSession(timeout=timeout) as session:
+        async with session.get(url, headers=headers) as response:
+            if response.status != 200:
+                print(f"Error: Status {response.status}")
+                return None
+            return await response.json()
+
+async def main():
+    url = "https://api.example.com/protected"
+    result = await fetch_with_headers(url)
+    print(result)
+
+if __name__ == "__main__":
+    asyncio.run(main())
+```
+
+---
+
+### 7. **错误处理**
+
+异步请求可能会遇到网络错误、超时等，需要妥善处理：
+
+```python
+import aiohttp
+import asyncio
+
+async def fetch_with_error_handling(url):
+    try:
+        async with aiohttp.ClientSession() as session:
+            async with session.get(url) as response:
+                response.raise_for_status()  # 抛出异常如果状态码不是 200
+                return await response.json()
+    except aiohttp.ClientError as e:
+        print(f"Client error: {e}")
+        return None
+    except asyncio.TimeoutError:
+        print("Request timed out")
+        return None
+    except Exception as e:
+        print(f"Unexpected error: {e}")
+        return None
+
+async def main():
+    url = "https://invalid-url.example.com"
+    result = await fetch_with_error_handling(url)
+    print(result)
+
+if __name__ == "__main__":
+    asyncio.run(main())
+```
+
+---
+
+### 8. **常见使用场景**
+
+#### (1) **爬虫**
+- 使用 `aiohttp` 并发爬取多个网页，效率远高于同步请求（例如 `requests`）。
+
+#### (2) **API 调用**
+- 调用 RESTful API，发送 GET、POST 等请求，获取 JSON 数据。
+
+#### (3) **文件下载**
+- 使用 `response.read()` 下载文件：
+  ```python
+  async def download_file(url, filename):
+      async with aiohttp.ClientSession() as session:
+          async with session.get(url) as response:
+              with open(filename, 'wb') as f:
+                  f.write(await response.read())
+  ```
+
+#### (4) **Web 服务器**
+- `aiohttp` 也可以用作服务器框架，创建异步 Web 应用：
+  ```python
+  from aiohttp import web
+
+  async def handle(request):
+      return web.Response(text="Hello, world!")
+
+  app = web.Application()
+  app.add_routes([web.get('/', handle)])
+  web.run_app(app, port=8080)
+  ```
+
+---
+
+### 9. **注意事项**
+
+1. **事件循环**：
+   - 必须在 `asyncio.run()` 或事件循环中运行异步函数。
+   - 不要在 Jupyter Notebook 中直接使用 `asyncio.run()`，而是使用 `await` 或 `loop.run_until_complete()`。
+
+2. **连接管理**：
+   - 始终使用 `async with` 确保 `ClientSession` 正确关闭。
+   - 避免创建过多的 `ClientSession`，尽量重用。
+
+3. **并发限制**：
+   - 并发请求过多可能导致服务器拒绝（429 Too Many Requests）。
+   - 使用 `aiohttp.TCPConnector` 限制并发：
+     ```python
+     connector = aiohttp.TCPConnector(limit=50)  # 限制最大并发为 50
+     async with aiohttp.ClientSession(connector=connector) as session:
+         # ...
+     ```
+
+4. **性能优化**：
+   - 使用 `aiodns` 加速 DNS 解析。
+   - 使用 `cchardet` 加速字符编码检测。
+
+---
+
+### 总结
+
+- **安装**：`pip install aiohttp`
+- **核心**：`ClientSession` 用于管理请求，`async/await` 实现异步。
+- **功能**：支持 GET、POST 等请求，处理 JSON、文本等响应。
+- **优势**：高并发，适合爬虫、API 调用等场景。
+- **注意**：正确管理事件循环和连接，避免资源泄漏。
+
diff --git a/docs/web3/cctx.md b/docs/web3/cctx.md
@@ -0,0 +1,107 @@
+CCXT（CryptoCurrency eXchange Trading Library）是一个开源的加密货币交易库，支持 JavaScript、Python 和 PHP 等多种编程语言。它为开发者提供了统一的接口，方便地连接和操作全球众多的加密货币交易所。([learnku.com][1], [CSDN 博客][2])
+
+---
+
+## 🔧 CCXT 的主要功能
+
+1. **多交易所支持**：CCXT 支持超过 130 个加密货币交易所，如 Binance、Bitfinex、Coinbase 等，涵盖了主流和部分小众交易所。
+
+2. **统一的 API 接口**：无论交易所的原始 API 如何不同，CCXT 提供了统一的方法名称和数据结构，简化了多交易所的开发工作。
+
+3. **行情数据获取**：可以方便地获取市场数据，如订单簿、K 线图、成交记录、价格行情等。([博客园][3])
+
+4. **交易操作**：支持下单、撤单、查询订单、获取账户余额等交易相关操作。([百度智能云][4])
+
+5. **账户管理**：可以查询账户余额、交易记录等信息，方便进行账户管理。([百度智能云][4])
+
+---
+
+## 🛠️ 安装与基本使用
+
+### 安装 CCXT
+
+使用 pip 安装 CCXT：([百度智能云][4])
+
+```bash
+pip install ccxt
+```
+
+
+
+### 初始化交易所
+
+以 Binance 为例，初始化交易所对象：([博客园][3])
+
+```python
+import ccxt
+
+# 初始化 Binance 交易所对象
+exchange = ccxt.binance()
+```
+
+
+
+### 获取市场数据
+
+加载交易所支持的市场信息：
+
+```python
+markets = exchange.load_markets()
+```
+
+
+
+获取某个交易对的行情数据，例如 BTC/USDT：([百度智能云][4])
+
+```python
+ticker = exchange.fetch_ticker('BTC/USDT')
+print(ticker)
+```
+
+
+
+### 进行交易操作
+
+在进行交易操作前，需要设置 API 密钥和私钥：
+
+```python
+exchange.apiKey = 'YOUR_API_KEY'
+exchange.secret = 'YOUR_SECRET_KEY'
+```
+
+
+
+然后，可以创建订单、查询订单等：
+
+```python
+# 创建限价买单
+order = exchange.create_order(
+    symbol='BTC/USDT',
+    type='limit',
+    side='buy',
+    amount=0.01,
+    price=30000
+)
+print(order)
+```
+
+
+
+---
+
+## 📚 学习资源
+
+以下是一些关于 CCXT 的学习资源：
+
+* [CCXT 中文文档](https://www.wuzao.com/document/ccxt/index.html)
+* [CCXT 开源框架快速入门 - 知乎专栏](https://zhuanlan.zhihu.com/p/369471079)
+* [如何使用 CCXT 交易数字货币现货 - 博客园](https://www.cnblogs.com/sljsz/p/17566779.html)
+
+---
+
+如果您有特定的使用场景或需要进一步的示例代码，欢迎继续提问！
+
+[1]: https://learnku.com/articles/20449?utm_source=chatgpt.com "比特币与山寨币的数字货币交易库CCXT——CryptoCurrency eXchange"
+[2]: https://blog.csdn.net/zaqygv/article/details/78732104?utm_source=chatgpt.com "关于ccxt的介绍原创 - CSDN博客"
+[3]: https://www.cnblogs.com/sljsz/p/17566779.html?utm_source=chatgpt.com "如何使用CCXT交易数字货币现货- 数量技术宅 - 博客园"
+[4]: https://cloud.baidu.com/article/2960441?utm_source=chatgpt.com "CCXT: 数字货币交易的开源宝库 - 百度智能云"

Original file line number	Diff line number	Diff line change
`@@ -43,6 +43,7 @@ let spider_set_items = [`
`43`	`43`	`text: "ast详解",`
`44`	`44`	`link: "/spider/collection/ast",`
`45`	`45`	`},`
	`46`	`+ {text: "aiohttp", link: "/spider/collection/aiohttp"},`
`46`	`47`	`{text: "浏览器指纹详解", link: "/spider/collection/browser-fingerprint"},`
`47`	`48`	`{`
`48`	`49`	`text: "DrissionPage学习笔记",`