AnythingLLM：本地优先的全能 AI 应用

项目简介

AnythingLLM 是 Mintplex-Labs 开源的一体化 AI 应用，目标是让你在自己的环境里搭出一个私有、功能完整的 ChatGPT：连接喜欢的本地或云端 LLM，导入自己的文档，几分钟内就能开始对话。开箱即带内置 Agents、多用户支持、向量数据库与文档处理管线，默认本地运行，无需繁琐配置。

项目以 monorepo 形式组织，包含六个部分：

• frontend：ViteJS + React 前端，用于管理 LLM 可使用的全部内容
• server：NodeJS express 服务，处理交互、向量数据库管理与 LLM 调用
• collector：NodeJS express 服务，负责解析和处理上传的文档
• docker：Docker 构建流程与从源码构建的说明
• embed：可嵌入网页的聊天挂件子模块
• browser-extension：Chrome 浏览器扩展子模块

主要功能

• 内置本地 LLM 引擎：由 Lemonade 与 llama.cpp 驱动，可用 CPU 或 GPU（NVIDIA 走 CUDA，AMD / Intel 走 Vulkan）跑本地模型
• 动态模型路由：按自定义规则把对话自动分派给最合适的提供商与模型
• 自动与手动记忆：让模型记住你或工作空间的重要信息
• 定时任务：用 cron 表达式周期性执行任务或提示词，具备完整 Agent 能力
• 智能技能选择：给模型挂载近乎无限的工具，同时把单次查询的 token 消耗最多降低 80%
• 无代码 AI Agent 构建器 与 自定义 AI Agent
• MCP 兼容
• 多模态支持：闭源与开源 LLM 均可
• 工作空间内的 Agents：例如浏览网页等
• 多用户与权限管理（仅 Docker 版）
• 自定义配色主题与白标：内置 True Dark 等配色，也可按品牌色自建并应用到整个实例（仅 Docker 版）
• 可嵌入的网站聊天挂件（仅 Docker 版）
• 多格式文档支持：PDF、TXT、DOCX 等，支持拖拽上传与来源引用
• 完整 Developer API，方便自定义集成

模型与向量库支持

• LLM：任意 llama.cpp 兼容模型、OpenAI、Azure OpenAI、AWS Bedrock、Anthropic、Google Gemini Pro、Ollama、LM Studio、LocalAI、OpenRouter、DeepSeek、Mistral、Groq、Cohere、xAI、Moonshot AI、Gitee AI、Lemonade by AMD 等大量提供商
• Embedder：AnythingLLM Native Embedder（默认）、OpenAI、Azure OpenAI、Gemini、Ollama、LM Studio、Cohere、Voyage AI、Mistral 以及通用 OpenAI 兼容接口
• 语音：内置或 OpenAI 的音频转写；浏览器原生、PiperTTSLocal、OpenAI TTS、ElevenLabs 等 TTS；浏览器原生 STT
• 向量数据库：LanceDB（默认）、PGVector、Astra DB、Pinecone、Chroma / ChromaCloud、Weaviate、Qdrant、Milvus、Zilliz

安装与使用

桌面版（macOS、Windows、Linux）可直接从官网下载安装：

• 下载地址：https://anythingllm.com/download
• 官方文档：https://docs.anythingllm.com
• Android 移动端开源仓库：https://github.com/Mintplex-Labs/anythingllm-mobile
• 网站嵌入挂件：https://github.com/Mintplex-Labs/anythingllm-embed
• Chrome 浏览器扩展：https://github.com/Mintplex-Labs/anythingllm-extension

使用流程大致为：选择或接入一个 LLM 提供商 → 创建 Workspace → 上传文档 → 开始带来源引用的对话，或让 Agent 代为执行任务。

注意事项

• 多用户实例与权限、自定义主题与白标、可嵌入聊天挂件仅在 Docker 版本中提供。
• 内置本地 LLM 引擎可运行在容器内，不再需要额外部署 Ollama、LM Studio 等推理服务；开启后 Built-in 会成为引导流程中的默认 LLM 提供商，并给出三款适配当前硬件的推荐模型，也可从模型列表下载或从 Hugging Face 拉取任意 GGUF 模型。
• 该项目以 MIT 许可证开源。
• 使用云端模型时需要自备对应平台的 API Key；使用本地模型则需要相应的算力与显存。

---

本作品整理自 GitHub 开源项目 Mintplex-Labs/anything-llm，原作者 @Mintplex-Labs，许可证 MIT。中文介绍由 AI 根据项目 README 整理，以原仓库为准。