给OpenClaw小龙虾装上声音,让它像真人一样跟你说话
偶然刷到一个开源Skill,可以给OpenClaw小龙虾装上声音,也就是让小龙虾能够给你发送语音。
当一个AI Agent都能用语音的方式,跟你对答如流,那不就意味着小龙虾活了么。
它不再是冷冰冰只会回复文字的机器人,而是能够使用你喜欢的音色,比如志玲姐姐,初音妹妹的声音。
加上很有情感的语调给你语音回复,你就是把小龙虾打造成AI女友都没有问题,单身狗老马想想都偷笑。
这个Skill是Noiz AI平台开源的,Noiz AI本身就是一个AI语音生成的平台。所以这个Skill包里面就包含了6种技能。
分别是tts文字转语音、characteristic-voice生成语气语调情感特色语音、chat-with-anyone用目标音色与任何人聊天、daily-news-caster每日新闻播报,以及video-translation视频翻译另外一种语言配音。
还有一个template-skill技能模板,用于开发技能时作为参考的,基本上用不到。
最重要的是它支持语音克隆,也就是说你只需要准备一段5-15秒的声音,比如老马是准备了蜡笔小新的,就可以实现克隆。
具体的Skill安装使用下面一步步给大家进行演示,先说明一下前提:
1.你已经成功并可以正常使用OpenClaw,无论是本地部署还是云端部署。
2.如果你安装的是变种或者整合版的小龙虾,比如有道龙虾、OneClaw、Copaw之类的,请询问小龙虾Skills的具体安装路径是什么。
有些龙虾软件上有安装Skill功能的,那待会在安装的时候直接操作就行。有些没有的,你就得发送问题询问自己的小龙虾,让它告诉你具体的文件路径。
3.你部署的小龙虾需要接入飞书机器人,接入的方法可以查看老马之前的文章,都介绍过很多遍了。
老马没测试过钉钉、QQ之类的,所以不保证接入其它的聊天工具能够正常使用。思路虽然是相通的,但实际能不能实现,需要各位自行去折腾。
4.本文所介绍的方法,只能让小龙虾给你发语音。而你给小龙虾发语音,它能不能识别,那是另外一种操作思路,需要安装别的技能。
因为你发送语音给小龙虾,小龙虾得调用工具把语音转换成文字,再让大模型理解文字后,才能回复你,这是STT(语音)的范畴。
当然你可以尝试让小龙虾帮你解决这个问题,你就直接说,为什么我用飞书发语音给你,你理解不了,请帮我修复这个问题。
好了,前提条件说完,下面咱们直接开始操作。
申请Noiz AI的API Key
首先我们需要打开Noiz AI的网站去申请一个API Key,网址:
https://developers.noiz.ai/api-keys,打开后注册一个账号,如图:
注册完账号进行登录,找到API密钥,在右上角点击“创建密钥”,如图:
创建好的密钥,你需要复制一下,最好找个地方粘贴保存一下,因为关闭掉这个窗口,就没法再次复制了,如图:
每位新用户免费获得100000积分,正常低频使用也基本足够了,如果你天天往死里造,那后续积分不够了,你就得来这里的账单里面充值。
安装Skill配置API Key
安装Skill有两种方式,一种是你本地电脑或者云端的小龙虾是可以直接访问github的,那就把以下文字发送给你的小龙虾,让它帮你安装Skill:
安装这个Skill:
https://github.com/NoizAI/skills
一种是没法正常访问github的,也就是发送以上文字给小龙虾后,小龙虾告诉你访问不了,没法安装。
那就手动安装,手动把Skill放到我们小龙虾对应的Skills目录就行了。如果你不知道小龙虾的Skills目录在哪里,你就问小龙虾:
告诉我你的skills文件夹路径
小龙虾一顿翻找,然后就告诉你应该把需要安装的Skill技能文件,放在哪个目录下了,如图:
以Windows系统为例,一般小龙虾的Skills目录文件夹路径就是:C:\Users\你的系统用户名\.openclaw\workspace\。记得“你的系统用户名”改成你自己的,别直接把老马这句话都给复制了。
如果不清楚你自己的系统用户名是啥,你就去问豆包吧,跟豆包说我是Windows 几的系统,怎么查自己目前正在用的系统用户名。
实在搞不懂怎么打开Skills目录的,你就复制一下这个路径,打开我的电脑,在顶部地址栏粘贴路径,然后按回车键,刷一下就打开了,如图:
找到小龙虾的Skills目录之后,接下来我们先把Noiz AI的SKills技能包下载下来。由于你访问不了github,所以老马也打包成下面的下载地址:
https://www.majiabin.com/AI/skills.zip
使用电脑浏览器访问以上下载链接,把zip压缩包下载到电脑桌面,然后解压这个zip压缩包,就会得到一个Skills目录,里面就有6个文件夹,如图:
在桌面用鼠标右键一下这个Skills文件夹,选择复制,然后回到刚才我们找到的小龙虾Skills目录,直接粘贴过去就行,如图:
这样就搞定了,接下来还是给小龙虾发送一段文字,告诉你已经把技能放在Skills目录下了,请帮我安装,文字如下:
我已经把技能放在C:\Users\你的系统用户名\.openclaw\workspace\skills\ 下了,你帮我全部安装一下
稍等片刻,小龙虾就帮你把Noiz AI里面的技能都安装好了,如图:
看到上面的截图没有,注意事项那里提示TTS技能需要配置Noiz AI的API Key,所以我们还是可以用一句话告诉小龙虾,让它去配置,如下:
配置一下 Noiz API Key
然后小龙虾就会回复你,需要你提供API Key具体的密钥,如图:
刚才上面我们不是已经通过Noiz AI的官网,申请注册创建了一个API Key密钥了么,复制一下密钥,还是发送给小龙虾,这么说就行:
我的api key: 这里是你的API密钥
稍等片刻,你的API Key就配置成功了,如图:
到这一步,你的小龙虾就具备了一项技能,它可以把文字转成语音,然后发送给你。
但这好像还不够好玩,像老马前面说的,如果能够克隆一个自己喜欢的音色,比如老马克隆一个蜡笔小新的声音,来给自己发语音,就很有趣了。
克隆声音调教语音回复
克隆语音前,你得准备一个MP3或者Wav之类音频格式的文件。这个文件就是你想克隆的人说话的声音,不用太长,5-15秒就差不多了,最多不要超过30秒。
你可以去下载视频,然后用剪映把里面的人物声音剪辑出来,导出成音频格式的文件。
如果你实在不会操作,那可以打开Noiz AI的语言库,网址:https://noiz.ai/voice/lib,里面有一些现成的人物声音音色可以给你免费下载使用,如图:
无论你是自己剪辑还是去下载,准备好声音音色文件后,接下来跟小龙虾说,我要克隆一下XXX的声音,比如老马就说:
我需要克隆蜡笔小新的声音
然后小龙虾就会引导老马去操作,当然等下我们是通过飞书直接发送语音文件给它,如图:
小龙虾已经知道老马要克隆蜡笔小新的声音了,然后在飞书客户端的右侧点击+号,选择“本地文件”,把准备好的声音音色文件发送过去即可,如图:
发送成功后,可以再加多一句,我已经发给你一段XXX的声音了,按这个克隆。然后稍等片刻,小龙虾就会提示你克隆完成了,如图:
大家发现没有,问题来了,这个时候小龙虾发给我们的是一个语音文件,而不是我们常见的语音条,这就无法直接点击播放。
所以我们接下来还需要调教小龙虾,让它学会给我们发送语音条,方便直接点击播放,调教的话你就把下面这段文字发给它就可以了:
要发送语音条,你需要用这个脚本:
生成 TTS 音频(wav 格式)
用 ffmpeg 转换为 opus
上传到飞书(file_type=opus)
发送音频消息(msg_type=audio,content 包含 file_key 和 duration)
当小龙虾学会了之后,它就会给你发送一条测试的语音,以及反馈,如图:
看到这个语音条,显示的是0:00,有小伙伴又会犯嘀咕了。这没显示语音是多少秒,是不是失败了啊?能不能播放啊?
你点击一下不就知道了么,当然是可以正常播放的,只是可能飞书的显示有点问题导致的,不影响正常使用。
那么接下来你就可以继续调教小龙虾,比如让它在什么情况下才用语音回复你,什么情况下用文字,或者一律都用语音回复,都是几句话的事情:
你以后记住,这个蜡笔小新的声音就是你的声音了。你以后可以在适当的时候,给我发送语音回复,不一定都发文字,记住了吗
就这样,小龙虾是我们部署后,充当我们的AI助手,帮我们解决问题的,而不是给我们创造问题的。
所以,有任何问题,都可以丢给小龙虾,让它尝试去解决。你无非再加多一个限制,在修改openclaw.json配置文件的时候,需要经过你同意,否则不能随便修改。
基本上这样限制一下,小龙虾自己把自己搞死的概率就会低一些。下面晒一下老马的小龙虾,用蜡笔小新的声音,发送语音夸老马的感人视频:
视频预览地址:
https://www.majiabin.com/AI/xxkualaoma.mp4
补充说明一下,在跟小龙虾的对话过程中,需要有点耐心等待它的回复。不要一直不断地发送信息给它,尽可能发送一条,等待回复一条,避免消息队列太多,导致拥挤卡顿。
好了,以上就是今天的分享,欢迎关注、点赞、转发一键三连。有任何问题和需求,请在评论区留言,回见!
对了,老马最近刚创建了一个AI学习交流群,有兴趣进群的小伙伴可以添加老马微信号:immajiabin,添加好友时备注:进群(不备注不通过)。


