LangCorn CLI实战：一条命令启动多Chain大模型服务，告别繁琐的API脚手架

LangCorn CLI实战一条命令启动多Chain大模型服务告别繁琐的API脚手架【免费下载链接】langcorn⛓️ Serving LangChain LLM apps and agents automagically with FastApi. LLMops项目地址: https://gitcode.com/gh_mirrors/la/langcornLangCorn是一个基于 FastAPI 的 LLMops 工具能把 LangChain 的 Chain、Agent 等流程通过一条 CLI 命令变成标准的 REST API无需手写任何 API 脚手架。本文带你用 LangCorn CLI 快速启动多 Chain 大模型服务从安装到多接口部署、鉴权与调参10 分钟搞定你的 LLM API 网关。为什么手写 LLM API 脚手架很浪费时间做过 LangChain 项目的朋友都有同感环节传统做法LangCorn 做法定义接口手写 Router、Request/Response 模型自动推导输入输出字段启动服务组装 uvicorn FastAPIlangcorn server一条命令多 Chain 部署多个进程/多套代码同一命令追加参数即可鉴权自己写依赖注入加一个--auth_token参数API 文档手动维护自动生成的/docs页面LangCorn 的核心思路只有一句话你只管写 Chain服务化的事交给它。核心实现在 langcorn/server/api.pyCLI 入口在 langcorn/main.py。一键安装 LangCornpip install langcorn需要 Python 3.9依赖 FastAPI、uvicorn、LangChain见 pyproject.toml。如果想在本地跑示例仓库内置了 14 个 LangChain 场景示例克隆代码即可git clone https://gitcode.com/gh_mirrors/la/langcorn cd langcorn单命令启动你的第一个大模型 API以示例 Chain 为例examples/ex1.py一个给产品起名的 LLMChain只需一条命令langcorn server examples.ex1:chain等价写法python -m langcorn server examples.ex1:chain服务默认运行在127.0.0.1:8718日志会直接打印出可用端点[INFO] lang_appexamples.ex1:chain:LLMChain([product]) [INFO] Serving [INFO] Endpoint: /docs [INFO] Endpoint: /examples.ex1/run INFO: Uvicorn running on http://127.0.0.1:8718 (Press CTRLC to quit)✅注意命令格式模块路径:变量名冒号前是 Python 模块冒号后是模块里的 Chain 对象。多Chain服务同一端口部署整条产品线这是 LangCorn CLI 最爽的能力——一条命令启动多条 Chain各自拥有独立端点langcorn server examples.ex1:chain examples.ex2:chain日志中可以看到两个端点已就绪[INFO] Endpoint: /examples.ex1/run [INFO] Endpoint: /examples.ex2/run仓库示例覆盖了常见场景examples/ 目录示例文件场景examples/ex1.py基础 LLMChain 问答examples/ex5.py带记忆的对话 Chainexamples/ex7_agent.pyPlanAndExecute Agentexamples/ex12.py自定义 run 函数结构化输出examples/ex14.py自定义 Chain 子类如何调用这些大模型接口每条 Chain 都会生成一个POST /模块名.变量名/run接口请求体字段由 Chain 的输入变量自动推导tests.http 里有现成的调用脚本POST http://127.0.0.1:8718/examples.ex1/run Content-Type: application/json { product: colorful socks }响应统一为output / error / memory三字段带记忆的对话 Chain 会自动回填完整聊天历史方便前端渲染多轮对话。另外还有两个白送的端点/docsFastAPI 自动生成的交互式 API 文档前端联调零成本/ht健康检查返回当前服务上加载的所有 Chain 列表进阶玩法鉴权与按请求调参静态 Token 鉴权——加一个参数即可langcorn server examples.ex1:chain --auth_tokenapi-secret-value调用方在 Header 中带Authorization: Bearer api-secret-value即可通过校验实现见 langcorn/server/api.py 中的authenticate_or_401。️按请求覆盖 LLM 参数——不改代码用 HTTP Header 实时调整模型行为Header作用X-LLM-API-KEY按请求指定 OpenAI Key多租户必备X-LLM-TEMPERATURE温度如0.7X-MAX-TOKENS最大 token 数X-MODEL-NAME切换模型名这意味着同一套服务可以同时服务多个客户的不同 Key 与模型偏好天然适合做内部 LLM 网关。嵌入自己的 FastAPI 项目不想用 CLILangCorn 只暴露一个函数create_servicelangcorn/init.py几行代码就能把 LangCorn 能力塞进现有 FastAPI 工程from fastapi import FastAPI from langcorn import create_service app: FastAPI create_service( examples.ex1:chain, examples.ex5:conversation, examples.ex7_agent:agent, )然后用 uvicorn 正常启动即可鉴权通过auth_token参数传入。常见问题速查端口想改CLI 支持port参数langcorn server examples.ex1:chain port8000返回 401开启了--auth_token但请求头未带Authorization: Bearer token想返回结构化对象参考 examples/ex12.py直接导出一个自定义run函数LangCorn 会自动包装成接口想看服务状态请求GET /ht总结LangCorn 把LangChain 应用 → 生产级 API这一步压缩成了一条 CLI 命令pip install langcorn安装langcorn server 模块:chain [模块:chain ...]一条命令部署多 Chain/docs白嫖 API 文档Header 调参 Token 鉴权开箱即用对于需要把多个大模型流程统一网关化、对外提供 LLM API 的团队来说它是目前最轻量的 FastAPI 方案之一——少写几百行脚手架代码把精力留给 Chain 本身。【免费下载链接】langcorn⛓️ Serving LangChain LLM apps and agents automagically with FastApi. LLMops项目地址: https://gitcode.com/gh_mirrors/la/langcorn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考