01 · CONTEXT

为什么要讲底层逻辑

上篇文章WorkBuddy新神器，录屏操作一遍就能蒸馏成Skill

因为涉及到浏览器自动化操作，不少小伙伴非常感兴趣。希望通过浏览器自动化，让Agent能自动帮我们干一些活儿。但这里面存在一些基础的技术概念不理解，理解混乱，不知道如何应用的问题。

因此趁着周末，给大家好好唠一唠Agent的自动化操作底层逻辑。正好，你也可以静下心来，了解一些基础知识。有时候天天去操作这个操作那个，基础知识不懂，不了解清楚，总是会有束手束脚的感觉。

更重要的是，达不到自己想要的结果。我们今天所讲的自动化操作，虽然是以WorkBuddy这款通用桌面Agent工具作为例子，但其实底层逻辑是通用。换成什么Codex、QoderWork、OpenClaw、Hermes等Agent，都是一样的道理。

所以别再问，XXAgent是不是这样啊，XXAgent也能不能用啊这类问题。Agent框架，以及上面的Harness工程，说实话现在国内外那么多的Agent工具产品之间，技术差距已经不是那么明显了。真正拉开使用体验，使用效果的，往往是背后的模型。

这个以后有时间再跟大家唠，接下来还是进入自动化操作的主题。由于自动化操作涉及到能力层级，实现形式细节非常多，如果老马把每个技术细节都给大家讲透了，那这篇文章会变成枯燥乏味的纯技术文。实际上有些技术细节大家是没必要去了解太多，常识了解一下就差不多了。

这是对大多数小伙伴来说，如果你自己想深入研究，那可以去进一步问AI。

02 · LEVELS

Agent 的四层能力

好，大致的前提说明就到这里。我们先来了解自动化操作的两个主要名词，分别是Browser Use（浏览器自动化）和Computer Use（电脑自动化）。它俩不是一种具体的工具，而是一种能力层级。

因为对于Agent来说，在这两个能力层级上面，还有两个能力层级。Agent在执行一个任务的时候，它是会去判断该用哪一层的能力，该用什么工具是最快的，最省token，效果最好的。

比如你现在让WorkBuddy去修改一份Excel文件，首先它先查一遍自己有没有接入什么API或者MCP连接器，假设已经接入了WPS的MCP服务，那就把Excel文件交给WPS去处理。如果没有，再接着走下一个的能力层级。

比如调用工具编写Python的脚本代码，安装相关的依赖，最后直接修改Excel文件，都不用打开什么WPS的桌面软件。从这两层你就可以知道，大多数的用户任务，都已经被Agent成功干完了，解决了。根本就走不到第三层级的Browser Use和第四层级的Computer Use。

明白Agent处理任务的逻辑，你就知道，想要实现Browser Use和Computer Use，你得单独要求，刻意要求Agent去使用，在提示词中明明白白写清楚。

03 · VISION

Agent 到底看见了什么

再继续深入，Browser Use和Computer Use的名词意思上面已经说了。不管是自动化操作浏览器还是操作电脑，Agent都是在尝试地看懂电脑屏幕上的网页界面，或者软件界面，对不对。Agent没有眼睛，不像人类，所以请记住，它只能看懂两样东西。

一个是结构化的信息，一个是图片上内容。对于浏览器来说，结构化的信息一般就是指DOM（Document Object Model，文档对象模型）树和无障碍树。这两个技术概念看不懂没关系，你就当是浏览器给Agent看的一本说明书，里面都是文字性的内容。

对于桌面软件来说，结构化的信息一般是系统UI元素树和应用暴露的接口，原理跟浏览器其实是差不多的。而看图片就简单多了，无非就是浏览器上面的网页截个图，软件界面截个图。比如你打开了百度，用QQ自带的截图工具截个图。

你打开剪映软件，也用QQ自带的截图工具截个图。上面讲的都是Agent能看得懂的结构化信息和图片，这些只能算是看得懂的内容，对吧。

04 · BROWSER

Browser Use 如何工作

那么问题来了，请问Agent是怎么去看的？好问题，先说Browser Use，它去看懂结构化信息时，一般用的工具，或者比喻成眼睛，叫CDP。CDP（Chrome DevTools Protocol，Chrome开发者工具协议），你可以简单地理解成一种协议，用来调试Chrome谷歌内核浏览器的。

有了CDP这个工具，我们可以在谷歌浏览器（其实现在很多国内的浏览器软件，都是谷歌内核），按照键盘F12打开开发者工具。通过发送Json格式的信息，去达到操控浏览器的效果。但是这样操作太麻烦了，技术门槛对小白来说太高，谁搞得懂什么是Json，什么是协议。

因此，微软就做了一个操控浏览器的工具库，叫Playwright。这个词没法翻译成中文，但很多接触过浏览器自动化的小伙伴，都应该见过这个词。Playwright封装了CDP，如果拿平时开车来举例，CDP是手动挡，Playwright是自动挡。

请问你是愿意用自动挡，还是用手动挡。答案都不用想的，当然自动挡开着舒服啊。所以我们就可以直接忽略掉CDP，在读结构化信息时，使用自动挡的Playwright。

讲完了结构化信息，下面就是看图片。看图片一般来说会用到OpenCV、OCR、专用检测模型和多模态大模型这四种方式。不理解没关系，我们只看OCR和多模态大模型就行。

Agent它自己本身是具备调用工具去截图的能力，不像我们，要截图的时候，还得手动按快捷键，去使用QQ、微信内置的截图工具。那一张截图上，可能是纯文字的，也可能是带了各种图案的。对于纯文字的截图，就可以直接使用OCR（Optical Character Recognition，光学字符识别）。

把文字都识别出来，返回给Agent就搞定了。而对于里面有各种图案的截图，比如有人物、花草啥的，那就交给我们Agent接入的多模态大模型去识别，什么是人物，什么是花草。换成网页界面和软件界面，也是同样的道理。

网页和软件上的一个按钮，基本上就是纯文字的，截图中包含了这个按钮。而自动化操作要去点击这个按钮，那只需要用OCR识别一下按钮上的文字即可。网页和软件上的一张广告图片，图片上不仅有文字还有各种图案。

这个时候的截图，就不能交给OCR了，而是给到多模态大模型。多模态大模型判断后，发现这是张广告图片，没必要去点击打开，直接忽略掉。

05 · RELATION

两种自动化的关系

看到这里，看图片的底层逻辑，你是不是就清晰了。等会，我们是不是还漏掉一样东西。刚才前面提到了Browser Use是如何去读结构化信息的。

没提到Computer Use是怎样读懂结构化信息的，对吧。就当稍微补充一嘴，Computer Use一般是操作软件和电脑系统的，所以会用到系统级的接口，你可以这么去理解。

macOS Accessibility API（macOS 辅助功能接口）和Windows UI Automation（Windows界面自动化接口），就是这两个名字又长又臭的系统级接口，它的出现比AI还早，是实现自动化操作电脑鼻祖般的存在。

到这里，我们就把Browser Use和Computer Use在实现自动化操作时，能看懂网页跟软件界面上面的什么东西，以及是怎样去看懂的，都介绍清楚了。那有小伙伴又有问题了，Browser Use和Computer Use两者之间是一种什么样的关系呢？

答案是包含的关系，Computer Use包含了Browser Use。就像前面老马说的，Browser Use是第三层，Computer Use是第四层。因为从名字上你就能看出，Browser Use仅限于自动化操作浏览器。

而Computer Use是整个电脑都能操作，不管是浏览器，还是软件，还是桌面上的一个文件夹。所以Computer Use比Browser Use要强，要全面。

06 · PRACTICE

MCP、Skill 与实际应用

基础概念讲完，我们接着了解一下具体怎样去应用Browser Use和Computer Use，这里面很多东西小伙伴还是会搞混理解的。首先是MCP连接器，MCP是AI时代的插座，也是一种标准的协议，里面封装了一些可执行的代码，接口。

你可以简单地理解成，它就是个插件。比如有一个MCP叫Playwright MCP，你的WorkBuddy接入了之后，就可以去使用Browser Use了。Skill是技能，是一本说明书，它本身并没有什么卵用，因为里面写的就是一些知识和流程，它是光说不干的东西。

比如WorkBuddy里面有一个叫Playwright (Automation + MCP + Scraper)的Skill技能，别看名字挺长挺唬人，看起来好像功能挺强大的。

实际上里面就写了Playwright是个什么东西，然后实现浏览器自动化的第一步要去接入Playwright MCP，第二步要去干什么，第三步要干什么。诸如此类的屁话，写完了之后，就封装成了一个Skill。

然后你安装了这个Skill，Agent在干活的时候读取到了，就按照这本说明书，挨个去找工具，安装工具了，比如安装Playwright依赖。所以有小伙伴就不理解Skill的价值在哪里，怎么说呢，它算是经验的总结。

你辛辛苦苦跟WorkBuddy聊了半天，终于把浏览器自动化操作整个流程跑通了。这个时候你整理封装成Skill，变成一本说明书手册，下次还想要使用浏览器自动化操作的时候，把这本手册直接丢给WorkBuddy，就不再需要跟它废话半天了。

道理就是这么个道理，因此现在在WorkBuddy上，你要使用浏览器自动化操作，最简单的方式，就是去里面的技能仓库里面，搜索Playwright的Skill，安装好之后就能使用了。

另外一种方式，就是上面提到的，你苦口婆心，一句话一句话的跟一把屎一把尿一样，对WorkBuddy讲，我要自动化操作浏览器，我需要用到Playwright这个工具啥的。等你全部输出完需求，WorkBuddy也都听懂了，就帮你搞定浏览器自动化操作了。

那换句话说，你为啥要重复造轮子呢？直接去技能仓库，装一个现成Playwright的Skill技能。相当于直接丢给WorkBuddy一份标准的操作说明书手册，不就完了，多省事。

当然，Skill技能是标准的，这里面的区别在于，你得个性化定制。因为Skill也不知道，你装了之后，是要用浏览器，去自动化操作B站，京东，淘宝，又或者是你们公司内部的网站。

所以接下来的怎么操作的部分，点什么按钮，填什么表单等细节问题，还是需要你进一步跟WorkBuddy去说明，去调试跑通的。

07 · COMPUTER

Computer Use 的环境门槛

Browser Use的应用就讲到这里，接着说说Computer Use，昨天还有小伙伴评论留言说，问了WorkBuddy，它说它自己不支持Computer Use啊。这里面讲起来，又是各种道道了。不是不支持，而是你有没有准备好环境，让WorkBuddy能支持。

首先我们先来了解一下电脑系统的权限问题，以Mac OS和Windows为例。你想让WorkBuddy能自动操作你电脑上的一切，比如软件上的按钮，滑动列表什么的。这得让Agent工具取得系统许可的权限，Mac OS一般需要你在系统设置里面，手动授权允许Agent使用屏幕录制，辅助功能两个权限。

这两个权限具体是什么作用就不多讲了，讲太多等下大家脑子一团浆糊，感兴趣自己去问AI。反过来说，Windows系统却不需要你去手动授权。乖乖，Windows还挺人性化，别着急乐呵，最坑的说到底还是Windows。

Windows虽然不需要你手动授权，但遇到需要权限的时候，会弹窗提示。弹窗你还是得点允许，哈哈。还有就是Windows会涉及到管理员提权，假设你Agent是普通权限，你就没法让Agent去操作拥有管理员权限的软件。

你得先把Agent提权到管理员权限，才可以，因为大家都是管理员权限，平等了，允许你来操作我了。除了弹窗跟管理员权限，很多小伙伴还会在Windows电脑上安装什么360杀毒软件，这玩意儿动不动给你拦截，不说了，看了都头大。

这时候，有小伙伴终于忍不住要跳出来说了，我在Mac电脑上，用Codex上的Computer Use插件，操作别提多丝滑，多顺畅了，简直YYDS。没错，Codex上自带了一个官方的Computer Use的插件，而WorkBuddy目前没有推出，但不代表不能自己去调出来使用。

WorkBuddy之所以没上Computer Use，除了Computer Use比Browser Use高一个层级，需要去看懂的界面东西复杂了一点之外。更重要的是，WorkBuddy的很多用户应该也是Windows系统的用户。

这就引出了Windows的又一个大坑，那就是系统环境太过于混乱。Mac OS上面的软件，界面一致性是强的，桌面环境也是干净的，也没有什么杀毒软件的干扰，因此Computer Use操作失败的几率就低很多。反观Windows系统，虽然很多自动化操作软件一开始就是基于Windows去开发的。

但由于几十年积累下来，你会发现Windows的软件生态太杂太乱了。各种软件都有自己的一套界面，花的绿的白的，还有异形外星生物那样的，十分碎片化。不知道怎么形容，干脆举一个生活上的例子。

Mac OS就像一间整理得干干净净规规矩矩的房子，而Windows就像一个杂乱不堪的仓库。这就导致了在Mac OS上使用Computer Use体验舒服，成功率高，而Windows则相反的结果。除了系统环境问题，剩下就是使用多模态大模型。

WorkBuddy使用的模型你得切换到Kimi K3或者Minimax M3这种原生多模态大模型，Computer Use才能完美使用上。前面已经讲过原理，截图丢给多模态大模型去处理，同时就意味着会消耗更多的token，更多的积分，速度会更慢，处理的流程会更久。

总结一下，在WorkBuddy上目前要使用Computer Use，除了了解系统环境跟权限，使用多模态大模型之外，剩下就是你跟WorkBuddy去沟通，设置好Computer Use的操作流程。至于能不能跑通，跑起来顺不顺畅，体验好不好，这个实在是没有统一的标准。

所以你得理解WorkBuddy为什么目前还不上Computer Use的插件，有些时候能用跟好用，天差地别，谁没事给自己家产品找骂。

∞ · POSTSCRIPT

理解原理，才能真正用好

啰啰嗦嗦写了快5千字了，相信能仔细看到这里的小伙伴，你们已经对Agent的自动化操作入门了。接下来如何在WorkBuddy上实现Browser Use和Computer Use，对你们来说就不再是难事了，难的是，你搞不懂原理。

END

好了，以上就是今天的分享。

欢迎关注、点赞、转发一键三连。有任何问题和需求，请在评论区留言，回见！