微软开源模型 OmniParser-v2.0，能够让 AI 自动化电脑操作，实现和 OpenAI Operator 一样的功能。
OmniParser 作为一款通用屏幕解析工具，能够将 UI 截图转换为结构化数据，能够精准识别屏幕上的可点击区域，并理解 UI 元素的功能。
结合 OmniTool，这项技术可以无缝集成到 Windows 11 虚拟机中，支持 DeepSeek、Qwen、OpenAI 和 Anthropic 等多个大语言模型。通过简单的提示词，就能让 AI 直接操作电脑完成复杂的任务。
OminiTool 任务操作事例
1. 购买牛奶 （操作：浏览器）
提示词：help me buy some milk on instacart
2. 克隆代码仓库（操作：浏览器、终端）
提示词：go to omniparser github page, find the clone link, and open a terminal to clone it
3. 检查磁盘空间 （操作：资源管理器）
提示词：help me check how much space is left on this device
4. 检查系统更新（操作：设置面板）
提示词：help me check if there is any windows update
评论(0)