今天来填个坑的，之前老马写过一篇建筑行业怎么使用WorkBuddy来进行AI办公提升效率的文章。有位从业老哥留言，说我的法子行不通，瞬间就有点丈二和尚摸不着头脑。

他说自己做了几个Skill，发现WorkBuddy对于建筑施工方案，估计应该是图纸类的，提取信息的效果很差，而且存在不准确的情况。

假设建筑施工方案图纸是PDF格式的文件，或者是PNG和JPG的扫描截图也行，不是专业的DWG和DXF文件。那么提取里面的文字、图片、表格等信息，就取决于你用的是什么模型。

01 · CHAPTER ONE

OCR模型与多模态模型各管一摊

一般来说分为专业的OCR识别模型和多模态模型，两者各有千秋。OCR模型是高精度的看图识字，对于复杂排版，密集多栏，倾斜标注或者手写字体等情况下的文字识别很稳定，极少会出现幻觉。

二多模态模型就是我们常用的大语言模型，它的优势在于对图纸进行语义理解和空间推理，比如能够对三维空间进行感知推理，能根据剖面图推算出楼层净高，识别出转角窗户，把工程语义与上下文关联等。

所以我们如果只是想要提取建筑施工方案图纸里面的精确的各种文字和数字信息，那最好就是使用OCR模型。如果是要进行图纸的语义理解，合规审查和冲突检测，那就使用多模态的大语言模型。

因此老马判断下来，这位老哥应该是第一种需求。而使用OCR模型的需求，不只是在建筑行业。日常我们工作生活中需要对一些文件的扫描件，手写件，学生的试卷，老旧破损的书籍报纸等进行识别提取。

甚至说是还原和修复，像有些模糊不清的图片和照片上的文字内容，都可以借助OCR模型来提取，这不就达到了还原修复的效果了么。所以我们使用WorkBuddy在本地电脑部署个OCR模型，有备无患。

02 · CHAPTER TWO

小钢炮MiniCPM-OCR 1.0

正好国产模型厂商面壁智能前几天刚开源了一个迷你的小钢炮OCR模型：MiniCPM-OCR 1.0，老马实测体验下来相当哇撒。之所以是小钢炮，一是面壁智能近段时间都在着力端侧模型的研发。

因此模型往小了做，但能力却没差多少，端侧模型毕竟都是要装在车机，手机，AI智能硬件等这类硬件资源不是太强的设备上的。而MiniCPM-OCR 1.0就是这样的小而强的模型，老马16G内存的Mac笔记本都能轻松跑起来。

反观差不多时间开源的百度文心Unlimited OCR 2模型，本地部署需要A100或H100级别的显卡，消费级甜品卡推理不起来。这就跟普通用户没多大关系了，除非是土豪。

而普通的家用电脑只要内存足够，CPU不是太老太差的，都能部署MiniCPM-OCR 1.0到本地运行起来。大不了是识别的速度快慢的问题，硬件配置低的识别等待时间长一些，重点是完全不需要你有消费级的独立显卡。

其次，如果你不想在本地电脑部署，也可以使用面壁智能的官网去在线上传文件进行识别，那速度也是贼快的。只需要注册个账号，还送积分额度，直接在线使用即可：

platform.modelbest.cn/console/playground/document-parse

当然这个OCR模型也是支持API调用的，只不过需要充值额度罢了。下面老马就直接演示如何让WorkBuddy帮我们本地部署这个超强的MiniCPM-OCR 1.0 OCR模型。

03 · CHAPTER THREE

本地部署：一段提示词搞定

方法很简单，直接把下面的这段提示词发给WorkBuddy就行了。如果提示访问不了github，你就先让WorkBuddy解决网络访问的问题。老马不再给大家推荐方式了，上一篇文章已经被微信删除：

阅读理解并安装这个项目 github.com/OpenBMB/MiniCPM-OCR/blob/main/docs/SKILL_en.md

安装项目时会去下载模型的本地权重文件，大概3.3G的大小。还有SDK环境和llama.cpp的推理环境，你看不懂没关系，全部让WorkBuddy去验证是否安装完成，是否可以正常跑起来：

04 · CHAPTER FOUR

搓个网页用OCR

这里有一个细节，本地部署完毕推理跑起来后，像有些llama.cpp的版本是没有提供网页界面的，只提供推理的API。因此你想使用这个OCR的识别服务，就得使用命令行，或者开发个别的程序啥的去调用API。

虽然网上也有很多的开源项目可以调用API去使用，就是一个壳子，但我们没必要搞那么复杂。直接让WorkBuddy开发一个网页，这个网页功能很简单，就是可以上传文件，然后调用本地推理API去实现OCR识别：

如上图所示，WorkBuddy就已经帮老马开发完这个网页入口了，以后想用OCR识别啥文件，直接让WorkBuddy启动本地推理服务，以及网页服务，一般这两个后台服务启动起来，就可以正常打开网页使用OCR了：

在启动服务的过程中如果遇到网页打不开的情况，可以继续让WorkBuddy去检查后台服务，因为有时候你电脑上的其它应用或者服务可能会占用掉网页的端口之类的。老马的网页版MiniCPM-OCR 1.0启动后如图：

05 · CHAPTER FIVE

实测：25页施工图纸识别

这里老马是上传了一份群友提供的文体中心建筑施工方案图纸，纯PDF文件有25页，里面的所有文字都能识别出来，也就不给大家截图展示效果了。主要是展示一下里面的一些图纸的识别效果：

像上面的这些图纸识别出来是高清图片，可以放大进行查看，里面的每个文字每条线条都是清清楚楚的，更不用说文字和符号了。如果要进一步对这些高清图片进行文字提取，那就重新上传再OCR识别一下。

还是那句话，如果你对这个MiniCPM-OCR 1.0模型的能力还不信任，可以先用前面老马提供的官网在线体验地址，去体验一下，再考虑要不要本地部署的问题。反正对于老马来说，这个效果已经是相当不错了。

∞ · POSTSCRIPT

写在最后

好了，以上就是今天的分享。欢迎关注、点赞、转发一键三连。有任何问题和需求，请在评论区留言，回见！