Off Grid AI：离线本地 AI 全能工具

项目简介

Off Grid AI（仓库名 OGAM）是一款把完整离线 AI 套件装进手机或 Mac 的应用：文本生成、图像生成、视觉问答、语音转写、工具调用和文档分析都在设备本地运行，不需要账号、不需要 API Key，对话与文件不会离开设备。项目使用 TypeScript / React Native 开发，同时提供 Android 与 iOS 版本，iOS 版可在 Apple Silicon Mac 上原生运行。

应用默认关闭匿名统计与崩溃报告；即使开启，也不会上传提示词、回复或文件。

主要功能

• 文本生成：运行 Qwen 3、Llama 3.2、Gemma 3、Phi-4 以及任意 GGUF 模型，支持流式输出、thinking 模式、Markdown 渲染，也可导入自己的 .gguf 文件。
• GPU / NPU 加速：Adreno GPU 通过 OpenCL 加速，Apple Silicon 使用 Metal；Snapdragon 的 Hexagon NPU 为实验性支持，仅加速 Q4_0 与 Q8_0 量化。应用会自动选择可用且最快的后端，也可在设置中手动覆盖。
• 远程 LLM 服务器：连接局域网内任意 OpenAI 兼容服务（Ollama、LM Studio、LocalAI），自动发现模型、SSE 流式响应，API Key 保存在系统钥匙串。
• 工具调用：支持函数调用的模型可调用内置工具，包括网页搜索、计算器、日期时间、设备信息和知识库检索，并带防止无限循环的机制。
• 项目知识库：把 PDF 和文本上传到项目，通过内置 MiniLM 模型在本地分块与向量化，用余弦相似度检索，数据保存在本地 SQLite。
• 图像生成：设备端 Stable Diffusion，实时预览；Snapdragon 上 NPU 加速，iOS 使用 Core ML，内置 20 多个模型。
• 视觉 AI：用摄像头拍摄并提问，支持 SmolVLM、Qwen3-VL、Gemma 3n，可分析文档、描述场景、读取票据。
• 语音输入：设备端 Whisper 语音转文字，支持点击、Auto 与免提模式，音频不出设备。
• 文档分析：在对话中附加 PDF、代码文件、CSV 等，两端均支持原生 PDF 文本提取。
• 提示词增强：用文本模型自动把简短提示词扩写为详细的 Stable Diffusion 提示词。
• 内存与下载管理：模型管理器显示常驻模型及各自占用的 RAM，可逐个卸载；Model Loading 提供 Lean / Balanced / Aggressive 三种策略，加载被拒时可 Load Anyway 强制加载。下载管理器支持 3 个并发下载、排队、暂停、续传、重试与取消，切到后台不中断。

安装与使用

普通用户可直接从应用商店安装：

• iOS：App Store（Off Grid Local AI）
• Android：Google Play（ai.offgridmobile），或从 GitHub Releases 下载最新 APK

从源码构建：

git clone https://github.com/off-grid-ai/OGAM.git
cd OGAM
npm install
npm run android   # 或 npm run ios

构建需要 Node.js 20+、JDK 17 / Android SDK 36（Android）或 Xcode 15+（iOS）。

注意事项

• 应用本体免费，Pro 为可选增值层，包含语音朗读（Kokoro TTS）、自定义人格、日历/邮件/MCP 服务草稿审批、Personal Mesh 本地网络同步等功能，需单独购买授权，一份授权覆盖手机与 Mac。
• Hexagon NPU 支持仍为实验性质，K-quant 模型会回退到 CPU，部分模型架构可能出现输出异常；模型列表中会标注可使用 GPU/NPU 的模型，便于在下载数 GB 文件前选对量化版本。
• 性能数据来自 Snapdragon 8 Gen 2/3 与 Apple A17 Pro 的测试，实际速度随模型大小与量化方式变化。
• 项目以 MIT 许可证开源，基于 llama.cpp、whisper.cpp、local-dream、ml-stable-diffusion、MNN 等开源项目构建。

本作品整理自 GitHub 开源项目 off-grid-ai/OGAM，原作者 @off-grid-ai，许可证 MIT。中文介绍由 AI 根据项目 README 整理，以原仓库为准。