别再迷信什么蒸馏Skill,你需要的是工程化思维
大家都认为,只要你丢给大模型足够多的语料内容,它就能帮你把一个人,一本书,一套经验蒸馏成Skill。
从本质上来讲,这忽略了一个事实。大模型是擅长总结提取的,如果只是让大模型总结规律,然后写进一个skill.md,这件事本质上是低保真的、损耗巨大的,甚至可以说是一种很粗糙的做法。
因为Skill.md是一本说明书,是一份摘要,里面写明了定义,规则,流程,约束等内容,相当于提炼出来的重点合集。
然后总结提炼就一定会丢失信息 ,丢失细节。比如一本书的真正价值,不只是在结论里面,也在案例、语气、细节、转折、判断过程、特殊情况、表达节奏里面。
一个人的写作风格,也不只是几个标签能概括得了,比如用什么犀利、口语化、观点独特等宽泛的标签,真正的写作风格往往藏在大量细节里。
比如写作的句子长短、标点习惯、口头禅、铺垫方式、转折方式、情绪强度、废话比例、重复习惯、停顿位置、常用词和不用词。
这就是为什么有小伙伴在群里老是提问,怎么我让AI写了一个去除文章AI味道的Skill,调整了很多遍了,可写出来的文章还是有AI味道。
因为如果把一个人的所有关于写作的细节上的东西,全部都压缩成一份很短的skill文档,本质上不是复刻,而是摘要。
更何况这些摘要,还是用模棱两可的词语去概括,这从根本上是复刻不了一个人的写作风格,换成其它的一本书,一套经验,优秀同事这么多年沉淀下来的工作方法论,都是一样的道理。
说到这里,我们得认清一个事实。那就是摘要不是本人,不是原书,更不是经验本体。摘要只是大模型对于你想蒸馏的对象进行了二次概括。
这就是普通蒸馏skill操作存在的最大问题,它看起来像是在保存能力,其实是在制造一个认知空壳,一个自我安慰的技能清单。
当然那个词老马不能连着打,连着打就涉黄了。以前在群里跟小伙伴们交流的时候,就一直在强调,别太迷信网上那些开源的所谓神级Skill,别自我安慰。
聊完蒸馏Skill存在的局限性及其本质作用,接下来要补充的是有关蒸馏的概念。大家都在聊蒸馏,可能真正了解AI领域蒸馏概念的没多少。
传统意义上的模型蒸馏和蒸馏成skill,根本不是一回事。模型蒸馏是让学生模型通过训练,把老师模型的输出、能力、知识模式内化进参数里。它是一种训练过程。
而Skill蒸馏不是训练,它只是让大模型读材料、总结规律、写成说明文档。这个过程没有真正改变模型参数,也没有把能力内化进模型本身。
所以Skill蒸馏并不是在真正意义上的学习,它只是写了一本说明书,放在旁边给Agent作为参考,需要的时候翻开看一看。
这就决定了Skill的上限,模型还是原来的模型,参数习惯还是原来的参数习惯,语言分布还是原来那些语言分布。
Skill只能在推理时临时约束它,不能从根源上改变模型。模型的参数习惯和语言分布是根深蒂固的东西,除非重新训练,否则其它的行为都只能算是约束或者压制。
模型会天然带着自己的语言习惯,这是经过大量的语料学习后固化下来的。比如喜欢总结,喜欢写对称句,喜欢说首先其次最后,喜欢用短句堆叠。
喜欢直接,不绕弯,稳稳地接住你,喜欢把话说满。喜欢过度顺滑,喜欢意义拔高,喜欢把文章写得像一篇标准答案。这些都不是靠Skill.md里面的简单提示词就能彻底消掉的。
前面铺垫科普了这么多,就是为了顺利引出结论,我们需要的不是去蒸馏什么Skill,而是学习Agent的工程化思维,用Harness系统来压制Skill。
模型有自己的参数习惯,那就用工程系统去持续压制大模型。Skill只是摘要说明书,丢失了很多信息及细节,那就把它不断拉回用户真实语料的表达。
所以一个高保真,高价值,高可用的Skill,它一定是一套完整的工程系统。以老马接下来要介绍的高保真去除AI味Skill举例,一般包括以下的结构:
1、原始语料库
2、样本索引
3、风格标签
4、正反例
5、检索流程
6、文风指纹
7、Harness循环
8、评分器
9、迭代修正
10、终止条件
换句话说,这样的一个高保真去除AI味skill,就不只是一份简单的提示词清单,而是一个完整的小型写作工程。
它不相信大模型第一版就能写好,它默认第一版一定有AI味。它要做的是识别AI味,标注AI味,回到语料库去找证据,再一轮轮改掉这些AI味。
这就是它和普通去AI味Skill的本质区别,普通Skill里面的提示词是请你写得像真人一点。然后拿去朱雀检测一下,发现还是AI味十足。
说到朱雀的AI检测,它的作用跟买了电脑跑一遍鲁大师一样,纯属娱乐,实际作用不大。用AI去检测AI,参数习惯都差不多的模型,何来谁更像真人。
因此,真正判定是否有AI味,还得是靠真人去阅读。并且不是一个真人,就好像你用AI写出来的多篇文章,发出去后阅读量都很不错,且没人觉得那是AI写的,这就是成功地去除了AI味。
说到高保真去除AI味Skill,老马也是看到群里有小伙伴在求助。干脆就跟Agent进行了深度而全面的沟通,最终搓了出来,并且也引出了今天要给大家分享的工程化思维。
高保真去除AI味Skill会强制要求使用者提供语料,所谓的语料可以是你收集的公众号文章,书籍文章,个人写的日记,口播稿,小红书笔记等等内容。
然后根据语料生成候选稿,用评分器审查写出来的文章哪里不像你,再通过harness循环持续压制模型腔,直到通过认证,或者明确告诉你没通过。
这个高保真去除AI味Skill的核心功能亮点,可以总结成几条:
1、强制用户提供语料
没有语料就不执行高保真模式。因为没有真实语料,就没有真实风格。任何无语料去AI味,本质上都是泛化改写,最多只能去掉一部分表面AI腔,不能真正写得像某个具体的人。
2、原始资料优先
它不是只靠总结出来的风格标签,而是要求agent在写作过程中随时回到原文、原案例、原表达方式。真正的风格不在抽象形容词里,而在语料细节里。
3、Harness循环机制
它不是一次生成,而是循环回写。第一版只是候选稿,后面还要经过模型腔识别、语料证据对照、风格修正、评分器审查、再次迭代。
4、Loop Engineering思路
它不是靠一句神奇的提示词,而是遵循生成-检查-回写-再检查的循环系统,把大模型默认的语言习惯一轮轮压下去。
5、PASS / NOT CERTIFIED 机制
它不会假装所有结果都成功。如果语料不足,输出NEED CORPUS。如果通过检查,输出PASS。如果没有达到要求,输出NOT CERTIFIED。这比很多工具随便改完就交付更诚实。
6、完整评分器
评分器不仅检查有没有AI味,还检查像不像用户、语义有没有丢、信息有没有变、句长分布是否匹配、是否短句滥用、是否过度顺滑、是否出现模型常用表达。
7、防止假真人味
很多去AI味工具会把文章改成大量短句,表面上不像AI,实际上又变成另一种AI味。这个skill专门加入了句长分布检查,要求长短句自然混合,而不是机械短句化。
8、支持第三方风格参考
它允许用户参考公众人物、老板、朋友、品牌、虚构作者等风格,但要求用户自己承担权利、同意、署名、合法性和下游使用责任。Skill不替用户做法律判断,只要求责任确认。
这个skill真正创新的地方,不是它写了一堆不要AI味的规则,而是它把去AI味从提示词问题,升级成了工程问题。
市面上大多数去AI味的Skill,所采用的大部分是规则清单、提示词包装、语气润色、违禁词替换等手段,放到Skill.md里面就算完事。
而老马搓的这个Skill,所使用这套方法论是语料驱动,证据驱动,循环驱动,评分驱动,认证驱动五大层面,妥妥的工程化思维。
核心解决的问题其实也不是让AI写得更像真人,而是让AI不断对照真实语料,不断删除自己参数里冒出来的模型习惯,最终把文案写到逼近某种真实的表达。
所以它不是普通的skill,它更像一个高保真的文风回写系统。参考Agent的工程范式,使用工程去压制大模型输出,才是现实可靠的去除AI味道路径。
最后,这个高保真去除AI味Skill,老马已经开源了,开源地址:
github.com/majiabin2020/high-fidelity-de-ai-skill
在github的仓库说明中,也非常简单详细地介绍了这个Skill从思维到创建落地的方法论,看完本文还不是很理解的小伙伴,可以继续看看。
安装此Skill的方法非常简单,你只需要把下面的命令发送给你的Agent即可:
npx github:majiabin2020/high-fidelity-de-ai-skill
对于访问不了github,或者无法使用github的小伙伴,老马也不再叫大家去公众号发送github访问了,很多人看了AI的回复还是搞不懂。
所以这个SKill老马也打包上传到了服务器,你可以复制下面的地址用浏览器打开,最后把ZIP压缩包丢给Agent去安装就行了。或者你就直接把地址丢给Agent,让它自己去下载安装也是可以的:
majiabin.com/AI/personal-voice-rewriter.zip
今天的重点还是在工程化思维,也作为一个让大家跳出Skill是可以蒸馏出来的思维定式。那么好蒸馏的话,换句话说,国产的豆包大模型,去蒸馏一个Claude fable5不就完了,至于现在这么憋屈。
好了,以上就是今天的分享,欢迎关注、点赞、转发一键三连。有任何问题和需求,请在评论区留言,回见!


