7Tan桌面自动化：让它替你点鼠标、发消息

7Tan桌面自动化：让它替你点鼠标、发消息
三个插件：桌面机器人、桌面监控哨兵、摄像头视觉





桌面自动化这一块，7Tan 装了三个插件：桌面机器人、桌面监控哨兵、摄像头视觉。三个合起来，等于给它配了一双手和一只眼睛。






卡片上写着：通用桌面机器人，屏幕看懂、键鼠操作、微信/QQ自动发消息，动态定位窗口，不依赖固定坐标。

它带的工具名有一长串。看屏幕的：desktop_snapshot、desktop_see、desktop_uia、desktop_ocr、desktop_tmatch。动手的：desktop_click_text、desktop_click_pos、desktop_type_text、desktop_hotkey、desktop_paste_image。还有一条完整的发消息流程 desktop_send_chat。

这里有个设计值得说。它不靠写死的坐标去点按钮，而是先看懂画面再动手。desktop_uia 直接读窗口的原生控件，比图像识别快，也不会认错字。desktop_tmatch 用模板匹配找图标，不依赖文字。找不准的时候还有一层保险。

发消息那条流程里还埋了道闸门。回车进入聊天窗口之后，它先认一遍屏幕上有没有目标对象的名字，认不出来就拒绝发送。发错人这种事，它自己会拦。






这个插件干的是守夜。卡片说明写着：桌面连续帧差监控，画面变化自动存截图并写入观察流水，支持关键词触发检测，流水可按关键词和事件类型回查。

工具就三个：desktop_watch、desktop_watch_log、desktop_watch_status。

用法很直接。让它按间隔截屏，比对前后两帧。画面动了，存图，记一笔流水。如果你填了关键词，它还会在变化时跑一次 OCR，命中就标成关键词事件。

流水分三类：画面变化、关键词命中、手动标记。事后想知道刚才屏幕上出过什么，按关键词回查就行。






第三个插件把摄像头接进来。说明写着：摄像头拍照加视觉大模型理解画面，输出场景、物体、人物、文字、异常、建议；没有摄像头时自动降级为屏幕截图理解。

工具里有一条 camera_see，拍照加理解一步到位。还有一条 camera_watch，按间隔连拍，用帧差判断画面有没有变，变了再叫视觉模型看。

没有硬件也能用。它检测不到摄像头，就转去截屏理解，功能不打折。



一个具体的例子。让它盯一个网页，等到弹出的提示出现，自动去点确认。桌面监控哨兵负责盯，桌面机器人负责点。

再比如，一款软件在更新，不知道什么时候弹完成窗。挂上哨兵，关键词填「完成」，响了就通知你。

这类活原来得人守在电脑前。现在丢给它，你去干别的。



自动化最怕环境变。窗口挪了位、主题换了色、弹窗改了字，原来的判断就可能失效。这三个插件靠动态识别对抗这一点，但也没法保证百分百。

涉及发消息、点确认这类会改变外部状态的动作，第一次跑一定盯着看。跑稳了再撒手。