TensorFold：本地 LLM 推理引擎

项目简介

TensorFold 是一个用 Zig 编写的 LLM 推理引擎，通过单个二进制在 Apple Silicon 与 NVIDIA GPU 上服务语言模型。引擎自己读取 checkpoint、对请求做 tokenize，并直接运行 Metal 或 CUDA kernel；提供服务不需要安装 Python 或 MLX。

主要功能

• 兼容 OpenAI 的接口：/v1/chat/completions 之外还提供 completions、Responses 和 Anthropic Messages，/v1/models 列出当前服务的模型名。
• 模型拉取与启动：tensorfold pull 按固定 revision 下载权重，tensorfold serve 启动服务；也可以直接服务本地 checkpoint 目录或已有的 Hugging Face 缓存。
• 并发控制：--parallel N 限制同时活跃的请求数，超出部分排队；不写该参数时等价于 --parallel auto，按内存和引擎能力最多申请八路。
• 运行状态：关闭 API 认证时，/health 报告 live.connections（活跃加等待）与 live.waiting（排队数）。
• macOS 桌面工作区：app/ 下的桌面端打包了本地引擎、模型下载、硬件推荐、实时生成指标、编码 worker 和文档编辑，可直接下载 beta DMG 或从源码构建。
• Living Weights（实验性）：给 serve 加上 --slide 后，模型可以把新事实写进 checkpoint 文件；可发送文本或文档逐条学习，http://127.0.0.1:8080/slide 提供三维观察视图，tensorfold slide rollback 可撤销全部课程。
• 企业版 Starlight：独立仓库 ashhart/tf-starlight，为多台 Mac、Linux GPU 服务器和 Windows 机器提供统一受管的 OpenAI / Anthropic 兼容端点。

安装与使用

macOS（Apple Silicon）用 Homebrew 安装后拉取并启动模型：

brew install ashhart/tensorfold/tensorfold
tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Linux + NVIDIA GPU 使用对应 CPU 的 release 压缩包（linux-aarch64 或 linux-x86_64），校验 .sha256 后解压、把 bin 加入 PATH；需要 glibc 2.28 以上和 NVIDIA 驱动 R580 以上（CUDA 13.0，提供 libcuda.so.1）。

服务保持运行，另开终端发请求：

curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' \
  -d '{"model":"local-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":128,"temperature":0}'

Windows + NVIDIA 可参考仓库中的 docs/WINDOWS.md 原生构建指南。查看二进制能力可用 tensorfold --help、tensorfold capabilities --json。

注意事项

• 模型权重有各自的许可证。
• 上下文长度、并行请求、prompt cache 等都占用权重之外的内存；tensorfold info REPO 会给出 checkpoint 的内存下限，大模型上线前先确认。
• 显式指定的 --parallel 数值如果引擎放不下会被拒绝，以启动时打印的容量行为准。
• Living Weights 为实验特性：相关事实可能互相干扰，事实超过几十条后召回下降，开启思考时也会下降，学习后还会略微降低 Mac 上的解码速度；建议始终在副本上教学并保留回滚能力。
• 参与贡献需先按仓库说明使用 Agent Traffic Control 检查并认领 issue，避免重复工作。

许可证：Apache-2.0。

本作品整理自 GitHub 开源项目 ashhart/TensorFold，原作者 @ashhart，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。