Hypoy Pixiv - KiraraShss
569 字
3 分钟
个人大模型后端基础设施：CLI Proxy + New API 搭建指南
个人大模型后端基础设施：CLI Proxy + New API 进阶搭建指南
1. 为什么选择这套架构？
在管理多个三方公益站（如 Codex 等）时，我们需要一个“中间层”来统一协议和流量。
- CLI Proxy API (CPA)：作为协议转换器。它能将各种非标、碎片的 API Key（如 Codex 普号转出的 Key）统一封装成标准的 OpenAI 接口，并提供一个管理面板。
- New API：作为分发与计费中心。它从 CPA 接收标准接口，再通过 Redis 缓存和数据库管理，实现多租户、额度控制和高并发调度。
2. 搭建 CLI Proxy API：聚合碎片的 Key
Docker Compose 配置
我们通过挂载 config.yaml 和 auths 目录来持久化配置。
services: cli-proxy-api: image: eceasy/cli-proxy-api:latest container_name: cli-proxy-api ports: - "8317:8317" volumes: - ./config.yaml:/CLIProxyAPI/config.yaml - ./auths:/root/.cli-proxy-api restart: unless-stopped关键配置项 (config.yaml)
在这个文件中，我们将三方站（如 529961.com）的信息填入：
- codex-api-key: 配置三方站的 Base URL 和 Key。
- api-keys: 这是你从 CPA 暴露给 New API 使用的“主通配 Key”。
- remote-management: 开启远程管理，方便通过管理面板操作。
3. 搭建 New API：企业级分发枢纽
为了保证性能，我们使用了 Postgres 存储数据，Redis 处理缓存。
Docker Compose 配置
services: new-api: image: calciumion/new-api:latest container_name: new-api restart: always command: --log-dir /app/logs ports: - "5130:3000" volumes: - ./data:/data - ./logs:/app/logs environment: - SQL_DSN=postgresql://root:123456@postgres:5432/new-api - REDIS_CONN_STRING=redis://redis - TZ=Asia/Shanghai depends_on: - redis - postgres
redis: image: redis:latest container_name: redis restart: always
postgres: image: postgres:15 container_name: postgres environment: POSTGRES_USER: root POSTGRES_PASSWORD: 123456 POSTGRES_DB: new-api volumes: - ./pg_data:/var/lib/postgresql/data4. 核心工作流：如何串联？
- CPA 侧：
- 在
config.yaml中配置好codex-api-key。 - 运行后，CPA 会在
8317端口输出接口。
- New API 侧：
- 访问
http://服务器IP:5130。 - 添加渠道：
- 类型：
OpenAI - 代理：
http://cli-proxy-api:8317(如果在同一 Docker 网络) 或服务器公网 IP。 - 密钥：填写 CPA 配置文件中
api-keys下的 Key。
- 使用：
- 在 New API 内部生成一个令牌（Token），以后只需这一个 Key，就能调用 CPA 聚合的所有三方资源。
5. 部署总结
这套方案通过 CPA 屏蔽了三方站的差异性，通过 New API 增强了管理的灵活性。
- 安全性：CPA 使用了 Bcrypt 加密的
secret-key保护管理端。 - 可靠性：New API 引入了健康检查（Healthcheck），确保服务宕机时能自动重连或预警。
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
个人大模型后端基础设施：CLI Proxy + New API 搭建指南
https://blog.hypoy.cn/posts/cli-proxy-new-api-setup-guide/