个人大模型后端基础设施:CLI Proxy + New API 搭建指南
569 字
3 分钟
个人大模型后端基础设施:CLI Proxy + New API 搭建指南

个人大模型后端基础设施:CLI Proxy + New API 进阶搭建指南
1. 为什么选择这套架构?
在管理多个三方公益站(如 Codex 等)时,我们需要一个“中间层”来统一协议和流量。
- CLI Proxy API (CPA):作为协议转换器。它能将各种非标、碎片的 API Key(如 Codex 普号转出的 Key)统一封装成标准的 OpenAI 接口,并提供一个管理面板。
- New API:作为分发与计费中心。它从 CPA 接收标准接口,再通过 Redis 缓存和数据库管理,实现多租户、额度控制和高并发调度。
2. 搭建 CLI Proxy API:聚合碎片的 Key
Docker Compose 配置
我们通过挂载 config.yaml 和 auths 目录来持久化配置。
services: cli-proxy-api: image: eceasy/cli-proxy-api:latest container_name: cli-proxy-api ports: - "8317:8317" volumes: - ./config.yaml:/CLIProxyAPI/config.yaml - ./auths:/root/.cli-proxy-api restart: unless-stopped关键配置项 (config.yaml)
在这个文件中,我们将三方站(如 529961.com)的信息填入:
- codex-api-key: 配置三方站的 Base URL 和 Key。
- api-keys: 这是你从 CPA 暴露给 New API 使用的“主通配 Key”。
- remote-management: 开启远程管理,方便通过管理面板操作。
3. 搭建 New API:企业级分发枢纽
为了保证性能,我们使用了 Postgres 存储数据,Redis 处理缓存。
Docker Compose 配置
services: new-api: image: calciumion/new-api:latest container_name: new-api restart: always command: --log-dir /app/logs ports: - "5130:3000" volumes: - ./data:/data - ./logs:/app/logs environment: - SQL_DSN=postgresql://root:123456@postgres:5432/new-api - REDIS_CONN_STRING=redis://redis - TZ=Asia/Shanghai depends_on: - redis - postgres
redis: image: redis:latest container_name: redis restart: always
postgres: image: postgres:15 container_name: postgres environment: POSTGRES_USER: root POSTGRES_PASSWORD: 123456 POSTGRES_DB: new-api volumes: - ./pg_data:/var/lib/postgresql/data4. 核心工作流:如何串联?
- CPA 侧:
- 在
config.yaml中配置好codex-api-key。 - 运行后,CPA 会在
8317端口输出接口。
- New API 侧:
- 访问
http://服务器IP:5130。 - 添加渠道:
- 类型:
OpenAI - 代理:
http://cli-proxy-api:8317(如果在同一 Docker 网络) 或服务器公网 IP。 - 密钥:填写 CPA 配置文件中
api-keys下的 Key。
- 使用:
- 在 New API 内部生成一个令牌(Token),以后只需这一个 Key,就能调用 CPA 聚合的所有三方资源。
5. 部署总结
这套方案通过 CPA 屏蔽了三方站的差异性,通过 New API 增强了管理的灵活性。
- 安全性:CPA 使用了 Bcrypt 加密的
secret-key保护管理端。 - 可靠性:New API 引入了健康检查(Healthcheck),确保服务宕机时能自动重连或预警。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
个人大模型后端基础设施:CLI Proxy + New API 搭建指南
https://blog.hypoy.cn/posts/cli-proxy-new-api-setup-guide/相关文章智能推荐
1
Claude Code 的 1M Context 怎么用:一篇官方文章的读后整理
AI结合 Anthropic 官方文章,整理 Claude Code 里 continue、/rewind、/compact、/clear 和 subagent 的适用场景,尽量讲清什么情况下该延续会话,什么情况下该及时重开。
2
GPT-6 Astra 换上来之后,我把 skill 删到只剩一个
AIGPT-6 Astra 的文档里点了一句:新模型对 skill 和 AGENTS.md 里的指令更敏感,建议审计模型能读到的所有指令文件。我照这句话把两边的 skill 目录过了一遍,最后只留下 grill-me。
3
强化学习通关马里奥 · Day 2:从奖励设计踩坑,到发现「站桩」陷阱
AIDay 2 把 Day 1 的强化学习概念落到代码:搭好了能跑的 RL 环境,开始调奖励、加观测、训 PPO。但真正收获不是模型学会通关,而是踩了一路奖励设计的坑,最后撞见一个更根本的问题——为什么 PPO 会学会「站桩不动」。
4
强化学习通关马里奥 · Day 1:定义动作与奖励拆分
AI强化学习第一天:定的目标是学会用 RL 通关马里奥。从最核心的两件事入手——定义动作空间、拆分奖励,让原本模糊的「通关」变成可量化的进步指标。
5
《背包乱斗》机制拆解:异步对战、资源分配、构筑取舍,以及它给 AI 时代的启发
game把 Backpack Battles 拆开看:异步对战如何把 PvP 变成一道离线优化题,金币/格子/回合/血量四种资源的真实兑换关系,构筑取舍背后的协同图与成长曲线,以及这套机制映射回 AI 时代能给我们什么启发。
随机文章随机推荐

