mlx-serve

mlx-serve是专为苹果M系列芯片打造的原生AI推理服务器，用Zig语言编写，在GitHub上已获得579颗星。它的核心价值在于让Mac用户无需Python环境、无需云服务，就能本地运行各类大语言模型，包括MLX格式和HuggingFace上几乎所有GGUF模型，比如Qwen、Llama、Mistral、DeepSeek等。项目同时兼容OpenAI和Anthropic两套API接口，意味着你现有的Claude Code、OpenAI SDK、Cursor等工具可以直接指向本地服务，无缝切换。 技术亮点非常突出。首先，它用Zig编写，性能比LM Studio在相同MLX权重下更快，而且完全摆脱了Python依赖，启动迅速、资源占用低。其次，它同时支持MLX和GGUF两种模型格式，覆盖范围极广。最吸引人的是它附带一个原生macOS应用MLX Core，不仅提供聊天界面，还支持代理模式和工具调用，相当于把ChatGPT的Agent能力搬到了本地。整个项目采用MIT开源协议，透明度高。 适用场景很丰富。开发者可以用它作为本地开发环境，测试OpenAI或Anthropic兼容应用，无需付费API；隐私敏感用户可以在完全离线的状态下使用AI助手；创意工作者还能利用它运行图像、视频、音乐甚至3D生成模型。由于API兼容性极佳，它可以直接替代云端服务，成为团队内部的共享推理服务器。 上手难度不高。如果你是普通用户，直接下载MLX Core.app就能开箱即用，图形界面友好；如果你是开发者，只需将API地址指向localhost:11234即可，几乎零配置。项目文档清晰，社区活跃，对新手相当友好。唯一需要注意的是，它仅支持Apple Silicon芯片，Intel Mac用户无法使用。整体而言，这是Mac用户本地运行大模型的最佳选择之一，值得关注。