SmolChat：安卓端离线运行 GGUF 语言模型

项目简介

SmolChat 是一个 Android 应用，可以在手机本地加载并运行 GGUF 格式的小型语言模型（SLM）和大型语言模型（LLM）。整个推理过程都在设备上完成，不依赖云端服务。

实现上，应用通过 NDK 把纯 C/C++ 编写的 llama.cpp 编译到 Android 平台，再由 JNI 绑定层（smollm.cpp、llm_inference.cpp）对外提供调用；Kotlin 侧用 SmolLM 类封装这些接口。界面逻辑位于 app 模块，打开新对话时根据模型文件路径创建推理实例，并从数据库取出 user、system 消息加入对话。

主要功能

• 在设备本地加载 GGUF 模型并对话，支持添加、删除模型
• 可修改系统提示词与推理参数（如 temperature、min-p）
• 创建特定下游任务，快速生成对应结果（任务的对话不会被持久化）
• 使用 Markwon 与 Prism4j 渲染 Markdown 回复并做代码语法高亮，代码块可一键复制
• 提供 OpenAI 兼容的 HTTP server，可列出模型并执行推理
• 支持对所有新对话生效的全局聊天设置
• 聊天中显示 tokens/sec，统计的是生成速度而非包含提示词处理时间

安装与使用

直接安装

• Google Play：下载地址
• GitHub：Releases 下载最新 APK，传输到 Android 设备安装
• Obtainium：安装 Obtainium 后点击「➕Add App」，在 App source URL 中填入 https://github.com/shubham0204/SmolChat-Android，即可在应用内接收新版本通知并直接更新

从源码构建

git clone --depth=1 https://github.com/shubham0204/SmolChat-Android
cd SmolChat-Android
git submodule update --init --recursive

Android Studio 会自动开始构建；若没有，选择 Build > Rebuild Project。构建成功后连接 Android 设备，设备名称会显示在顶部菜单栏，即可运行。

注意事项

• 通过 APK 安装时，设备需要允许从未知来源安装应用。
• 推理速度与可用模型规模取决于手机硬件，建议使用较小的模型。
• 项目采用 Apache-2.0 许可证。
• README 中列出的自动命名对话、消息搜索、桌面端联动、文档 RAG 问答等功能属于未来计划，尚未提供。

---

本作品整理自 GitHub 开源项目 shubham0204/SmolChat-Android，原作者 @shubham0204，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。