微软 OmniTool 让 AI 轻松实现自动化电脑操作

微软开源模型 OmniParser-v2.0，能够让 AI 自动化电脑操作，实现和 OpenAI Operator 一样的功能。

OmniParser 作为一款通用屏幕解析工具，能够将 UI 截图转换为结构化数据，能够精准识别屏幕上的可点击区域，并理解 UI 元素的功能。

结合 OmniTool，这项技术可以无缝集成到 Windows 11 虚拟机中，支持 DeepSeek、Qwen、OpenAI 和 Anthropic 等多个大语言模型。通过简单的提示词，就能让 AI 直接操作电脑完成复杂的任务。

OminiTool 任务操作事例

1. 购买牛奶 （操作：浏览器）
提示词：help me buy some milk on instacart

2. 克隆代码仓库（操作：浏览器、终端）
提示词：go to omniparser github page, find the clone link, and open a terminal to clone it

3. 检查磁盘空间 （操作：资源管理器）
提示词：help me check how much space is left on this device

4. 检查系统更新（操作：设置面板）
提示词：help me check if there is any windows update

下载地址：https://github.com/microsoft/OmniParser/tree/master