三步装好 exo：把几台电脑变成本地 AI 集群，免踩坑
三步装好 exo把几台电脑变成本地 AI 集群免踩坑【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 能把几台 Mac 或 Linux 机器自动组成本地 AI 集群跑单台设备装不下的模型。它自动发现设备、自动切分模型还自带一个网页聊天面板。读完这篇文章你装好环境、装好依赖浏览器打开http://localhost:52415就能和模型对话家里再多开一台它会自动加入集群。开工之前先把门槛摆清楚差一项补一项别装到一半卡住☑一台 Apple Silicon Mac或 Linux 电脑—— macOS 下走 GPU 是主力路径Linux 目前以 CPU 推理为主能跑但偏慢。☑16GB 内存起步—— 试跑 1B 小模型约 0.7GB16GB 机器从容机器越多总内存越高模型就越大。☑10GB 以上空闲磁盘—— 模型权重默认下载到~/.exo/modelsLinux 在~/.local/share/exo/models。☑局域网互通—— 组集群的设备要在同一网络、能互相访问。☑uv—— 管理 Python 依赖和虚拟环境。☑Rustnightly 工具链—— exo 的网络层是 Rust 写的安装时要本地编译绑定。☑Node.js 18—— 编译随包附带的 Svelte 前端面板。最快安装路径1. 装好三个工具macOS先装 Homebrewbrew install uv node curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh rustup toolchain install nightlyLinuxUbuntu/Debian 为例sudo apt install nodejs npm curl -LsSf https://astral.sh/uv/install.sh | sh curl --proto https --tlsv1.2 -sSf https://sh.rustup.rs | sh rustup toolchain install nightly装完uv --version、node --version、rustc --version都能输出版本号即可。2. 拉取 exo 源码git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo3. 编译前端面板cd dashboard npm install npm run build cd ..构建产物落在dashboard/build/exo 启动时由后端直接托管跳过这步面板会是空白页。4. 启动 exouv run exouv会按 pyproject.toml 声明的要求自动准备 Python 3.13 环境、编译 Rust 绑定首次启动会慢几分钟属正常现象。更省事的路线只有一条Mac 上直接brew install --cask exo装官方应用它负责网络和后台运行免去上面的命令行步骤细节见 README.md 的 macOS App 一节。跑通第一次保持uv run exo运行打开http://localhost:52415。你的这台机器会作为一个节点出现在面板里。在面板顶部选模型挑个小的Llama-3.2-1B-Instruct-4bit约 730MB等下载和加载完成后发一句你好。看到模型流式吐出回答就跑通了。想组集群在第二台设备上重复第 2、3、4 步两台都会自动发现并出现在面板拓扑里无需任何手动配对。排错速查 症状终端报cargo: command not found或 Rust 绑定编译失败 → 原因没装 nightly 工具链项目 rust/exo_rs/ 依赖 nightly→ 修复rustup toolchain install nightly。症状端口 52415 被占用、启动报端口冲突 → 原因上一个 exo 进程还在跑 → 修复lsof -i :52415找到 PID 后结束它或另开uv run exo --api-port 52416。症状面板空白、请求 404 → 原因跳过了前端构建 → 修复cd dashboard npm run build cd ..后重启。症状模型下载极慢或失败 → 原因网络到 HuggingFace 不通畅 → 修复稍后重试断点续传离线环境提前把模型放进~/.exo/models再EXO_OFFLINEtrue uv run exo启动。症状两台机器都启动了却互相看不到 → 原因设备不在同一网络或用了不同的发现命名空间 → 修复确认同网段互通且两边都用默认--namespace启动。接下来可以玩什么docs/api.md —— 完整 API 文档Chat Completions、Claude Messages、Responses、Ollama 四种格式把你现有的客户端直接指过来。bench/exo_bench.py —— 压测脚本uv run bench/exo_bench.py --model Llama-3.2-1B-Instruct-4bit测一下自己的设备跑到多少 tok/s。src/exo/shared/models/model_cards.py —— 模型卡加载逻辑想跑仓库没收录的模型就从这里入手。PLATFORMS.md —— 平台支持路线图哪些硬件在全力维护Linux GPU 支持排在哪一档。装到这一步剩下的就是把第二、第三台设备拉进同一个网络——集群越大能跑的模型越大。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
