个人大模型后端基础设施:CLI Proxy + New API 搭建指南

569 字
3 分钟
个人大模型后端基础设施:CLI Proxy + New API 搭建指南

个人大模型后端基础设施:CLI Proxy + New API 进阶搭建指南#

1. 为什么选择这套架构?#

在管理多个三方公益站(如 Codex 等)时,我们需要一个“中间层”来统一协议和流量。

  • CLI Proxy API (CPA):作为协议转换器。它能将各种非标、碎片的 API Key(如 Codex 普号转出的 Key)统一封装成标准的 OpenAI 接口,并提供一个管理面板。
  • New API:作为分发与计费中心。它从 CPA 接收标准接口,再通过 Redis 缓存和数据库管理,实现多租户、额度控制和高并发调度。

2. 搭建 CLI Proxy API:聚合碎片的 Key#

Docker Compose 配置#

我们通过挂载 config.yaml 和 auths 目录来持久化配置。

services:
cli-proxy-api:
image: eceasy/cli-proxy-api:latest
container_name: cli-proxy-api
ports:
- "8317:8317"
volumes:
- ./config.yaml:/CLIProxyAPI/config.yaml
- ./auths:/root/.cli-proxy-api
restart: unless-stopped

关键配置项 (config.yaml)#

在这个文件中,我们将三方站(如 529961.com)的信息填入:

  • codex-api-key: 配置三方站的 Base URL 和 Key。
  • api-keys: 这是你从 CPA 暴露给 New API 使用的“主通配 Key”。
  • remote-management: 开启远程管理,方便通过管理面板操作。

3. 搭建 New API:企业级分发枢纽#

为了保证性能,我们使用了 Postgres 存储数据,Redis 处理缓存。

Docker Compose 配置#

services:
new-api:
image: calciumion/new-api:latest
container_name: new-api
restart: always
command: --log-dir /app/logs
ports:
- "5130:3000"
volumes:
- ./data:/data
- ./logs:/app/logs
environment:
- SQL_DSN=postgresql://root:123456@postgres:5432/new-api
- REDIS_CONN_STRING=redis://redis
- TZ=Asia/Shanghai
depends_on:
- redis
- postgres
redis:
image: redis:latest
container_name: redis
restart: always
postgres:
image: postgres:15
container_name: postgres
environment:
POSTGRES_USER: root
POSTGRES_PASSWORD: 123456
POSTGRES_DB: new-api
volumes:
- ./pg_data:/var/lib/postgresql/data

4. 核心工作流:如何串联?#

  1. CPA 侧:
  • 在 config.yaml 中配置好 codex-api-key。
  • 运行后,CPA 会在 8317 端口输出接口。
  1. New API 侧:
  • 访问 http://服务器IP:5130。
  • 添加渠道:
  • 类型:OpenAI
  • 代理:http://cli-proxy-api:8317 (如果在同一 Docker 网络) 或服务器公网 IP。
  • 密钥:填写 CPA 配置文件中 api-keys 下的 Key。
  1. 使用:
  • 在 New API 内部生成一个令牌(Token),以后只需这一个 Key,就能调用 CPA 聚合的所有三方资源。

5. 部署总结#

这套方案通过 CPA 屏蔽了三方站的差异性,通过 New API 增强了管理的灵活性。

  • 安全性:CPA 使用了 Bcrypt 加密的 secret-key 保护管理端。
  • 可靠性:New API 引入了健康检查(Healthcheck),确保服务宕机时能自动重连或预警。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

个人大模型后端基础设施:CLI Proxy + New API 搭建指南
https://blog.hypoy.cn/posts/cli-proxy-new-api-setup-guide/
作者
Hypoy
发布于
2026-03-04
许可协议
CC BY-NC-SA 4.0
相关文章智能推荐
1
Claude Code 的 1M Context 怎么用:一篇官方文章的读后整理
AI结合 Anthropic 官方文章,整理 Claude Code 里 continue、/rewind、/compact、/clear 和 subagent 的适用场景,尽量讲清什么情况下该延续会话,什么情况下该及时重开。
2
GPT-6 Astra 换上来之后,我把 skill 删到只剩一个
AIGPT-6 Astra 的文档里点了一句:新模型对 skill 和 AGENTS.md 里的指令更敏感,建议审计模型能读到的所有指令文件。我照这句话把两边的 skill 目录过了一遍,最后只留下 grill-me。
3
强化学习通关马里奥 · Day 2:从奖励设计踩坑,到发现「站桩」陷阱
AIDay 2 把 Day 1 的强化学习概念落到代码:搭好了能跑的 RL 环境,开始调奖励、加观测、训 PPO。但真正收获不是模型学会通关,而是踩了一路奖励设计的坑,最后撞见一个更根本的问题——为什么 PPO 会学会「站桩不动」。
4
强化学习通关马里奥 · Day 1:定义动作与奖励拆分
AI强化学习第一天:定的目标是学会用 RL 通关马里奥。从最核心的两件事入手——定义动作空间、拆分奖励,让原本模糊的「通关」变成可量化的进步指标。
5
《背包乱斗》机制拆解:异步对战、资源分配、构筑取舍,以及它给 AI 时代的启发
game把 Backpack Battles 拆开看:异步对战如何把 PvP 变成一道离线优化题,金币/格子/回合/血量四种资源的真实兑换关系,构筑取舍背后的协同图与成长曲线,以及这套机制映射回 AI 时代能给我们什么启发。
随机文章随机推荐
Profile Image of the Author
Hypoy
Hello, I'm Hypoy.
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
最新动态
站点统计
文章
15
分类
6
标签
41
总字数
25,461
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
GitHub Actions
博客版本
Firefly v6.16.4
文章许可
CC BY-NC-SA 4.0