感觉WorkBuddy的Computer Use已经来了，老马之前的文章中就给大家介绍过WorkBuddy的自动化操作相关内容，不了解的小伙伴可以回看：一文带你搞懂WorkBuddy的自动化操作

上文回看一下很有必要，否则基础的知识你不了解，很容易把Browser Use（ 浏览器自动化操作）和Computer Use（电脑自动化操作）两者之间搞混。

众所周知，WorkBuddy早就实现了浏览器自动化操作，无论是安装官方的Skill还是扩展程序，都能够让它去自动操作浏览器做一些事情。当然扩展程序的介绍，老马会单独开一篇文章教程。

但WorkBuddy的底子是CodeBuddy，CodeBuddy本身是有Computer Use能力的，却一直没开放。无论你是给WorkBuddy接入各种助理，也就是那些社交渠道，比如微信的ClawBot、飞书、钉钉等。

亦或是直接使用WorkBuddy的微信小程序跟APP，你都会发现一个问题，接入助理跟使用手机端的小程序与APP，无非是解决手机端与电脑客户端的通信问题，任务通过手机端发送指令，电脑客户端收到后在工作区内执行。

这里面其实都并非涉及到真正的Computer Use操作，因为没有通过WorkBuddy去对电脑屏幕进行截图，截图后返回WorkBuddy丢给多模态大模型去识别，最后WorkBuddy这个Agent经过推理。

推理完开始行动，通过模拟鼠标点击和键盘输入，完成对电脑系统及其它电脑软件的自动化操作。如此一整个流程，会涉及到屏幕录制系统录音的权限，操控鼠标键盘的权限，使用了这些权限才称之为Computer Use。

01 · CHAPTER ONE

远程遥控插件来了

今天，WorkBuddy终于是把电脑自动化操作以远程遥控的形式推出来了。只是还挂着测试版的抬头，名字也不叫Computer Use，而是叫

远程遥控插件 (WorkBuddy Remote)

说白了就是你安装好这个插件，就可以在手机端的WorkBuddy小程序或者APP给在线的电脑客户端发送消息，让电脑端的WorkBuddy根据你的消息去执行任务，比如操作你电脑上的PhotoShop软件去设计一张图片。

02 · CHAPTER TWO

Codex的Computer Use有多强

这点相信大家有关注过当时GPT6模型上线的时候，很多AI博主在Codex上拿这个模型，去写好Blender的脚本。然后自动操作Blender软件进行3D建模，做出了各种各样的3D模型效果，给人感觉很震撼。

这里面就用到了Codex这款Agent所自带的Computer Use能力，有一说一，Codex这方面的能力很强，再加上很强的模型，所以使用起来行云流水，但据说Claude的Computer Use能力比Codex还要强。

老马没具体实测过，卷毛达里奥天天封号，都没法正常用的。今天老马实测了WorkBuddy的这款远程遥控，虽然执行的任务比较简单，但中间没犯什么错误，顺利地跑通跑完，值得跟小伙伴们分享一下。

03 · CHAPTER THREE

实操：开启远程遥控

水了这么多，主要是为了把原理和背景信息交代清楚。下面直接进入实操，首先你的WorkBuddy电脑客户端需要升级到最新的5.9.0版本，然后点击自己的账号头像，进入设置页面：

在设置页面左侧菜单就能看到设备连接，进入设备连接，允许同账号设备远程连接这个开关默认都要打开的。下面是远程遥控，需要打开远程遥控插件的开关，打开之前得授权屏幕录制与系统录音与辅助功能权限：

有个小细节得补充一下，Mac系统的电脑自动化操作，无论是成功率还是流畅程度是要比Windows系统好一点的。其中的底层原因，请看文章开头老马贴出来的那篇文章链接，文章里面讲得很清楚了。

设置好WorkBuddy电脑客户端的远程遥控之后，下一步老马打开了WorkBuddy的手机APP，确认当前连接的设备是电脑而不是云端，而且电脑设备是显示在线的：

远程遥控之所以称之为远程遥控，这里面老马不能光介绍Computer Use，还得把远程桌面的操作效果给小伙伴们介绍一下。如上图所示，你本地电脑已经在线的情况下，进入对话框，右上角就会多出来一个图标：

点击这个图标就可以在WorkBuddy的APP里面打开你电脑的远程桌面画面，记住了，只能在APP里面操作，小程序目前是不行的。首次进入后的电脑远程桌面不是全屏的，可以设置成全屏：

开启全屏后，就会有一个操作指引。其实无法就是使用手势和鼠标键盘的方式，在手机屏幕上去实现对远程电脑的操控：

触屏手势就没啥好介绍的了，无非跟你日常操作手机一样，滑动点按缩放远程电脑桌面上的软件图标，或者标签啥的。而鼠标手势操作则会多一个模拟的鼠标样式：

切换到键盘，可以选择手机键盘跟电脑键盘，以及快捷键的形式去输入内容：

但在手机有限屏幕尺寸下，这样去观看和操控远程的电脑桌面，尤其遇到电脑显示器屏幕分辨率较高的情况，聊胜于无。讲人话就是手机屏幕太小，电脑屏幕很大，虽然可以手指缩放，可以调整画面的画质，始终代替不了电脑生产力。

也就是平时应急一下，比如看看电脑上的WorkBuddy某个任务是否允许正常。或者远程电脑关机，有个特殊的文件不方便让Agent去发送，需要手动操作发送等场景。剩下的需求，还不如直接用对话的形式交给WorkBuddy去处理。

下一步就是在任务的对话窗口，发送提示词让电脑上的WorkBuddy，打开老马电脑上的微信软件，找到一个叫AI Folks 1群的微信群，给群里发一条消息，消息内容是老表们下午好：

04 · CHAPTER FOUR

原理拆解：感知、推理、行动

如上图所示，消息是发送成功了。怎么实现的呢？整个流程老马给大家梳理一下。第一步肯定是WorkBuddy的手机APP，给电脑里面安装的WorkBuddy电脑客户端发送了提示词命令。

电脑客户端收到命令后，Agent就开始丢给大模型去处理。大模型发现这个任务需要使用到刚才远程遥控中一些权限，也就是屏幕录制跟辅助功能中的键盘跟鼠标权限。

因此大模型经过思考后，就告诉Agent，你得去使用电脑上的这几个权限。这时Agent就开始翻工具箱，写命令调用权限。先是给整个电脑系统截一张图，找一下微信软件的图标在哪里。

再把截到的图，返回给Agent，Agent收到了截图，它理解不了啊对吧。就继续把截图发给看得懂图片的多模态模型去识别。模型识别出来，底部菜单栏中第几个绿色的图标就是微信软件了，再返回去告诉Agent具体位置。

Agent收到模型的回复，知道位置了，这时就可以直接操起工具，使用鼠标权限，模拟人去点击打开微信软件。打开后，又继续截了一张图，再次丢给多模态模型去识别。如此循环反复，不断推理思考，不断使用工具。

所以从这里你就知道，目前的Computer Use就是慢，一个循环多次的流程走完，有时候都不如你人工操作来得快。唯一的好处是在你不在乎时间成本跟效率的前提下，实现解放双手的自动化操作。

到了最后一步，Agent把老表们下午好这句话输入到微信群的对话输入框中。然后继续模拟人点击发送按钮，发送消息成功。再截最后一张图给到模型，模型判断成功了回复老马，任务结束。

因此，Computer Use的核心步骤就是感知，推理，行动三步，然后不断循环直至任务完成。除了上面给微信群发一条消息的小任务测试，老马还继续安排了第二个任务。

05 · CHAPTER FIVE

进阶任务：监控群自动聊天

那就是让WorkBuddy持续监控这个微信群，如果有人在里面说话了，就去回复它。这不就是达到所谓的AI自动客服聊天的效果了，就跟有些所谓的微信自动聊天机器人一样：

如上图所示，老马就通过手机里的WorkBuddy APP，发送任务给电脑里的WorkBuddy，使用Computer Use能力持续监控微信群，实现AI跟微信群友实时聊天的效果。

对AI发的消息内容不敏感的人，也就是对AI味不敏感的人，一时半会儿还以为真的是老马在跟他们聊天。但是这种操作只是演示，不建议大家拿去做什么自动化聊天机器人，不要去挑战微信的风控，否则封号自理。

06 · CHAPTER SIX

使用边界与模型建议

通过以上演示相信大家都能理解WorkBuddy的Computer Use能力，所谓的远程遥控，只不过是目前官方的远程桌面控制的说法。你直接在WorkBuddy电脑客户端下达命令，让它去操控电脑系统或者其它电脑软件也是可以的。

并不一定非得通过WorkBuddy的微信小程序或者APP去给电脑客户端下达指令，这点大家得搞清楚，因为Computer Use就是电脑客户端才有的能力，手机端是没有的，手机端仅仅是个发送消息的通讯端。

至于后续大家想用WorkBuddy的Computer Use能力去做什么电脑自动化操作，那就自行发挥了。学一下Codex，操作Blender去3D建模也行的。前提是得使用好一点的模型。

比如Deepseek-v4.1-Flash，或者GLM-5.3，以及最近刚发布的Kimi-K3.1-Pro都行。你别用个Hy3和Hy4跑不起来跑不通，就说扯淡垃圾这不行那不行的。记得得用多模态模型，不清楚可以直接问模型是不是。

∞ · POSTSCRIPT

写在最后

好了，以上就是今天的分享。欢迎关注、点赞、转发一键三连。有任何问题和需求，请在评论区留言，回见！