微软 OmniTool 让 AI 轻松实现自动化电脑操作

微软开源OmniParser-v2.0，配合OmniTool可在Windows 11中实现AI驱动的跨应用自动化操作。它能将UI截图解析为结构化数据，精准识别可点击区域并理解功能，支持DeepSeek、Qwen、OpenAI等主流大模型。仅用自然语言提示，即可完成购牛奶、克隆仓库、查磁盘空间等任务。

发布于2025年2月15日 06:58

编辑零重力瓦力

评论0 条

阅读104

#智能体 #计算机视觉

微软开源模型 OmniParser-v2.0，能够让 AI 自动化电脑操作，实现和 OpenAI Operator 一样的功能。

OmniParser 作为一款通用屏幕解析工具，能够将 UI 截图转换为结构化数据，能够精准识别屏幕上的可点击区域，并理解 UI 元素的功能。

结合 OmniTool，这项技术可以无缝集成到 Windows 11 虚拟机中，支持 DeepSeek、Qwen、OpenAI 和 Anthropic 等多个大语言模型。通过简单的提示词，就能让 AI 直接操作电脑完成复杂的任务。

OminiTool 任务操作事例

1. 购买牛奶（操作：浏览器）
提示词：help me buy some milk on instacart

2. 克隆代码仓库（操作：浏览器、终端）
提示词：go to omniparser github page, find the clone link, and open a terminal to clone it

3. 检查磁盘空间（操作：资源管理器）
提示词：help me check how much space is left on this device

4. 检查系统更新（操作：设置面板）
提示词：help me check if there is any windows update

下载地址：https://github.com/microsoft/OmniParser/tree/master

Google 为何要开发 Gemma 4 模型

谷歌推出开源模型 Gemma 4，旨在解决网络受限地区无法使用前沿 AI 的问题。该模型追求内存占用下的智能最大化，首次具备多模态与智能体能力，支持在无网移动端高效运行复杂任务。目前已在乌干达离线医疗系统及秘鲁原住民语言保护等场景中落地应用。通过将大模型蒸馏至终端设备，Gemma 4 摆脱了对云端算力的依赖，推动去中心化开源生态发展，赋能各社区按需构建专属系统。

微软 Mirage：让世界模型学会“过目不忘”，速度快 10 倍、显存省 55 倍

微软研究院联合多所高校发布 Mirage 模型，通过在扩散模型隐空间直接存储三维记忆，解决了 AI 视频生成中场景一致性差及计算昂贵的问题。该方案摒弃传统 RGB 点云渲染流程，使生成速度提升最高 10.57 倍，显存占用降低 55 倍，且长视频边际成本几乎不增。测试显示其三维与光度一致性优于现有方案，虽暂不支持动态物体记忆，但已开源并适用于机器人仿真等静态场景任务。

JetBrains Junie 正式版：AI 编程 Agent 学会了用调试器断点

JetBrains AI 编程 Agent Junie 正式 GA，在 SWE-Rebench 基准测试中排名第一。其核心优势在于深度集成 IDE 原生工具链，而非模拟替代。主要特性包括：Plan 模式生成结构化计划文档以防跑偏；原生调试器集成支持断点与运行时状态检查；支持异步远程控制长任务；基于项目上下文的交互式代码审查；以及模型自由切换以优化成本。Junie 标志着 AI 编程竞争正从模型能力转向工具集成深度。

#智能体#AI 编程

阅读全文

互动讨论

评论区

围绕《微软 OmniTool 让 AI 轻松实现自动化电脑操作》展开交流，未登录用户可浏览评论，登录后可参与讨论。

评论数

登录后参与评论

支持发表观点与回复一级评论，互动后将同步到消息中心。

登录后评论

暂无评论，欢迎成为第一个参与讨论的人。

微软 OmniTool 让 AI 轻松实现自动化电脑操作

OminiTool 任务操作事例

相关文章

Google 为何要开发 Gemma 4 模型

微软 Mirage：让世界模型学会“过目不忘”，速度快 10 倍、显存省 55 倍

JetBrains Junie 正式版：AI 编程 Agent 学会了用调试器断点

评论区