老板AI应用课:AI提示词不会写,收藏好这个工具



promptpilot可以对生成的prompt进一步进行验证调优,这个功能老马觉得还是相当不错的,默认有评分模式和CBS模式。
评分就是对prompt生成的回答进行打分,CBS就是对回答进行定性,哪个更好更差,这里默认选评分,如图:
因为这里生成的爆文标题肯定是不止一条的,所以调优模式里面老马选择了批量,里面有个{{TOPIC}} 的变量就是生成的标题,老马默认都让AI生成变量跟回答,如图:
生成完了之后,下一步就可以进行打分了,当然还可以让AI进行智能评分,前提是写好评分标准,或者是先给三个回答评分后AI自动生成评分标准。
AI生成的评分标准都不是很准确,默认给全部回答都打上5分满分,所以这里还是自己写标准为好。
最后一步就是智能优化,我们点最顶部的按钮切换过去,就可以一键获得更优的prompt了,如图:
看到红框标出来的地方没有,老马这里缺少上传的测试数据,当然你可以用上面那一步去生成测试数据,也可以下载导出为excel模版自行添加。
建议还是自行添加测试数据,就跟知识库一个道理,才能让AI生成更好的prompt。还有就是添加理想回答,还是回到上一步,对于不满意的回答点击表格右边的“方框”按钮,可以修改成你认为理想的回答,如图:
左边是模型生成的回答,右边就是老马修改好觉得不错理想回答,默认可以添加10条,最后回到智能优化的界面,点击“已准备好数据,开始智能优化”即可,如图:
整个过程需要等待10-30分钟,最终你就能得到AI智能优化后的prompt,以及使用新prompt生成的回答与评分。
有小伙伴可能会问了,写个prompt搞这么复杂,还不如我写一句话简单。确实,你如果不需要严谨完整的prompt,你只需promptpilot生成一个prompt,调优可以不操作。
但是如果你需要做应用,比如用coze(扣子)做一个智能体,写system prompt(系统提示词)的时候,建议采用promptpilot调优后的提示词。
这比你后续在coze里面挨轮去对话发现了问题,再去调prompt更为方便和直接。工欲善其事,必先利其prompt。
以上就是今天的分享,有问题和需求请留言,回见!