mlx-serve

mlx-serve 是专为 Apple Silicon 打造的原生 LLM 推理服务器，用 Zig 语言编写，彻底告别 Python 依赖。它最大的亮点是同时兼容 OpenAI 和 Anthropic 两套 API 协议，意味着你现有的 Claude Code、OpenAI SDK 等工具只需把地址指向 localhost:11234，就能无缝切换到本地模型，无需修改任何代码。项目不仅支持苹果自家的 MLX 格式，还能直接运行 HuggingFace 上成千上万个 GGUF 模型，包括 Qwen、Llama、Mistral、DeepSeek 等主流开源模型，覆盖面极广。 技术层面，mlx-serve 采用原生编译而非 Electron 封装，内存占用和启动速度都优于同类工具。官方宣称在相同 MLX 权重下，推理速度比 LM Studio 更快，这得益于 Zig 的高性能和零运行时开销。它附带一个原生的 MLX Core macOS 应用，不仅提供聊天界面，还支持智能体模式和工具调用，能处理图像、视频、音乐、语音克隆甚至 3D 内容，功能相当全能。 适合人群很明确：如果你是 Mac 用户，想本地跑大模型又不想折腾 Python 环境，或者担心数据隐私需要完全离线运行，这个项目就是为你准备的。开发者可以用它作为本地开发服务器，测试 API 兼容性；普通用户也能通过图形界面轻松体验各种模型。由于不依赖 Python，部署极其简单，下载编译好的二进制文件即可运行，对新手非常友好。你只需要了解基本的命令行操作，就能在几分钟内启动一个本地 AI 服务。项目目前已有超过 1000 星，MIT 开源协议，社区活跃度不错，值得关注。