ToshLLM：Intel Mac 本地大模型运行器

项目简介

ToshLLM 是一款原生 macOS 应用，让搭载 AMD 独立显卡的 Intel Mac（包括 Hackintosh 主机）在本地运行大语言模型。它内置经过 AMD 专用补丁编译的 llama.cpp，并用 SwiftUI 封装成图形界面，默认启用面向 AMD GPU 的 Flash Attention 内核，使原本在 AMD 独显上输出错乱、速度很慢的本地推理变得可用。所有对话都在本机完成，不需要账号，也没有按 token 计费。

主要功能

• 原生聊天：多个持久会话、Markdown 与代码一键复制、重新生成、系统提示词、实时 tokens/s、文件附件、会话分叉和逐条消息指标。
• Agent 工具与 MCP：模型可在逐步授权下读写文件、执行命令，在沙盒中运行 JavaScript，并调用外部 Model Context Protocol 服务器提供的工具。
• 数学与科学计算：可选的 SymPy 精确数学工具（化简、解方程、微积分、矩阵、拉普拉斯/傅里叶变换等）与 NumPy/SciPy 数值工具（数值积分、求根、优化、FFT、统计等），运行时随应用内置、默认关闭。
• 语音与字幕：基于 Whisper.cpp 的语音听写和字幕工作区，支持音频/视频预览、可编辑同步字幕，导出 SRT、VTT、TXT、JSON 或带字幕的 MOV。
• 视觉与图像生成：可附加图片让支持视觉的模型描述；内置基于 stable-diffusion.cpp 的本地文生图/图生图工作室（beta），并提供放大功能。
• 模型管理：按你的显卡与内存估算每个模型的 VRAM/RAM 占用，提供精选目录和 Hugging Face 浏览/下载。
• 性能与调优：MoE 感知的 --n-cpu-moe 自动计算、无损推测解码、基准测试与历史对比图、参数说明和配置档案。
• 本地 API 与服务：OpenAI 兼容接口运行在 http://127.0.0.1:8080，可选局域网访问与 Bonjour 发现；支持路由模式、多服务器实例、多 GPU 与 eGPU 拆分。

安装与使用

从 Releases 下载最新版本并安装。首次打开后应用会检测硬件并推荐适合的模型；在模型管理器中下载模型，即可在聊天界面开始对话。需要调用本地 API 时，在设置中启动服务器，将客户端指向 http://127.0.0.1:8080。

注意事项

• 面向 Intel Mac + AMD 独立显卡，默认启用 AMD Flash Attention 内核；Apple Silicon 等其他配置不是本项目的目标场景。
• 图像生成、视频生成、Dynamic MoE、跨 GPU 拆分等功能仍标注为测试或实验性质，默认可能关闭，使用前请留意应用内说明。
• 模型文件通常较大，请预留足够的磁盘与显存/内存空间；推理速度会随量化方式、上下文长度和散热条件变化。

本作品整理自 GitHub 开源项目 engeldlgado/toshllm，原作者 @engeldlgado，许可证 GPL-3.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。