Observer：本地屏幕监控 AI Agent

项目简介

Observer 是一个本地优先的 AI Agent，它会持续观察你的屏幕、摄像头和音频，一旦检测到指定情况就自动执行动作。模型全部在本地运行，数据不上传，官方称数据保持 100% 私有。

典型用法是「当 X 发生时，就做 Y」：

• 训练崩溃时打电话给我
• 排队结束时发短信给我
• Steam 游戏下载完成时发 Telegram 给我
• 通宵渲染失败时打电话给我
• 有可预约时段时发 WhatsApp 给我
• 商品补货时发 Telegram 给我

每个 micro-agent 都按 Sensors → Model → Code 的循环运行：先采集传感器数据，再交给模型判断，最后由一段 JavaScript 代码决定做什么。

主要功能

传感器

传感器	说明
$SCREEN	供多模态模型使用的截图
$CAMERA	摄像头画面
$MEMORY / $MEMORY@agent_id	Agent 存储的文本
$IMEMORY / $IMEMORY@agent_id	Agent 存储的图片
$CLIPBOARD	剪贴板内容
$MICROPHONE / $SCREEN_AUDIO / $ALL_AUDIO	麦克风、标签页音频或两者混合的转写，使用 transformers.js 的 Whisper

可用工具

• 记忆与 Agent 控制：getMemory、setMemory、appendMemory、getImageMemory、startAgent、stopAgent、time、sleep
• 通知：sendDiscord、sendTelegram、sendEmail、sendPushover、call、sendWhatsapp、sendSms、notify、sound
• 录像：startClip、stopClip、markClip、getVideo
• 桌面端：ask、message、system_notify、overlay、click、celebrate

决策模型

决策模型不生成文字，而是用概率回答结构化问题，此时 response 为 null，结果放在 decision 中：

// { type: 'noul', noul: 0.94, start: 0.12, dropped: false }
if (decision.noul > 0.8) {
  sendTelegram("12345678", "Someone is in the room", camera);
}

也支持用一个 JSON 提示词同时提出多个问题，类型包括 noul（是/否概率）、choice（多选）和 score（打分）。

CLI

桌面版内置 observe 命令行工具。运行 observe sleep 5，命令结束时 Observer 会呼叫你。

安装与使用

网页版（免安装）

打开 app.observer-ai.com，下载一个模型即可在浏览器中运行。

桌面版（推荐）

从 最新 Release 下载 macOS、Windows 或 Linux 安装包。桌面版内置 llama.cpp，可以运行任意 GGUF + mmproj 模型。

接入自己的模型服务

在应用里把 Custom Model Server URL 设为任意 OpenAI 兼容接口，例如 Ollama、llama.cpp、vLLM。

之后描述你想让 Observer 观察什么，或者在 Micro Agents 标签页里自己搭建 Agent。一个最简单的 Agent 提示词如下：

You are an Observer agent. If you see the Observer logo say OBSERVER, otherwise say CONTINUE.
$SCREEN

对应的 Code 片段：

if (response.includes("OBSERVER")) {
  sendEmail("[email protected]", response, screen); // 附带截图
}

注意事项

• call、sendWhatsapp、sendSms 需要先申请白名单：短信或呼叫拨打 +1 (863) 208-5341，WhatsApp 联系 +1 (555) 783-4727。
• 受 A2P 政策限制，sendSms 在美国和加拿大不可用。
• sendEmail 只能发送到你登录时使用的邮箱。
• Telegram 的 chat_id 可以通过给 @observer_notification_bot 发消息获取。
• 浏览器通知在部分浏览器中会被拦截。
• README 中的 Docker 自托管和 Jupyter server 方案已标记为弃用。
• 项目采用 AGPLv3 许可证。

---

本作品整理自 GitHub 开源项目 Roy3838/Observer，原作者 @Roy3838，许可证 AGPL-3.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。