老板AI应用课:本地搭建AI助手+MCP工具,一个人干掉全公司的活儿
“老马,上个月的XX产品库存还剩多少?”
“老马,XX产品的销售价格现在是多少?”
“老马,我们有没有卖XX这款产品?”
以上问题,可能来自于你的老板,又或者你的同事,也可能是客户。
当你是公司的老板、数据工程师或运维、又或者仅仅是个后台管理员。
每天总得花不少时间给人查这个,查那个,问这个,答那个。
有时候真想丢给他们一个“豆包”自己问去,可豆包又不知道公司内部的数据。
那有没有一种方式,既考虑到公司的数据保密和安全,又能满足以上场景呢?
答案是自己本地电脑搭建一个AI助手,配合MCP工具,一个人能干掉全公司的活儿。
这里说的AI助手就跟Cherry Studio、Claude Desktop类似,一个AI桌面应用工具。
支持接入多种模型,比如什么OpenAI、Deepseek、Qwen、Gemini等等。
同时也支持接入各种MCP(模型上下文协议)工具,你就简单地理解成大模型的工具箱。
有了MCP,大模型就不仅限于跟我们对话,还可以查天气、删除桌面文件、访问数据库等等。
所以,一个本地的AI助手,加上MCP工具,就是一套完美的牛马神器。
当然,不同公司的实际情况不一样,一般公司都有自己的内部数据库。
这些数据库保存了很多业务数据,比如产品、人事、财务等等数据。
有些公司考虑到数据安全问题,会选择自己买服务器搭建大语言模型服务,比如Deepseek,给公司内部使用。当然接入API去调用也是可以的。
到这里,假设你的公司已经有了内部的数据库,自建的大语言模型服务。
那么你就只需要下载安装一个叫DeepChat的开源工具即可,它支持多种操作系统。
再安装好对应的MCP工具,比如支持Mysql数据库的MCP工具,就可以说说话,打打字,用自然语言的方式查询到老板和同事要的数据了。
妈妈再也不担心你老写SQL语句掉头发了。
1、下载安装DeepChat
电脑浏览器打开网址:
https://deepchat.thinkinai.xyz/#/download,选择合适你系统的版本进行下载,然后直接安装即可,步骤很简单,如图:
安装完之后打开,你会发现跟Cherry Studio没啥区别,默认因为没有接入大语言模型,所以还不能对话。
我们点右上角的齿轮按钮进入设置,点击服务商设置,支持的服务商很多,如图:
如果你是公司自建的大语言模型服务,那就问一下技术人员,添加一下配置即可。
如果公司没有自建,那你可以申请一些服务商的API接口,充值点钱,然后配置一下API信息即可。
到这一步,DeepChat接入大语言模型服务就算大功告成了。
什么?你连申请服务商的API接口都想省?
那就自己本地电脑搭建大语言模型服务吧,前提是你的电脑显卡至少3060以上,显存8G以上,内存32G以上。
这只是大概的硬件参考,总之越大越好,你要是4090显卡24G,128G内存那更好。
硬件过关,才能保证在本地电脑能跑得起一些小一点的模型,比如7-8B,也就是70-80亿参数的大语言模型。
真正要实际应用或者做成AI应用,参数少于70B(700亿)的模型,都不是很行,都很傻,意图识别和使用工具能力也差。
回到正题,老马在写这篇文章的时候,也想把API接口的钱钱省掉,所以本地搭建了大语言模型。
下面一步步演示一下操作,其他人没有这个需求的可以略过,有兴趣的了解一下也可以。
2、Ollama本地搭建大语言模型
使用Ollama(欧拉玛)本地搭建大语言模型,没错,logo是只草泥马的工具。
工具地址:https://ollama.com/,电脑浏览器打开直接下载安装即可,没啥好说的,如图:
安装完打开之后,不要去对话框里面发起对话,一旦你发起了,右下角选择了什么模型,ollama就会给你下载什么模型。
ollama默认提供的模型数量比较少,选择性小,我们可以通过自行查找更多的模型来进行搭建。
所以,又得学会一招,如何去找到合适的模型,正常是用Huggingface(抱脸)平台去找和下载。
但得魔法上网,因此国内的话一般主要推荐摩搭平台,是魔搭,搭子的搭,不是魔塔。
魔搭网址:https://modelscope.cn,打开后可以登录一下,上面有模型库,切换过去就可以搜索,如图:
老马这里演示使用的模型是Qwen3-8B,再大的话因为电脑还在跑wan2.2有点吃不消。
搜索到之后,点击进入模型详情,就能够看到下载模型的按钮,点击后有相对应的下载方式,如图:
当然,默认是需要你本地电脑已经安装好了Python的环境,如果你不会安装Python,可以问一下豆包。
安装好了Python环境,就需要安装ModelScope,然后通过命令,将模型文件下载到本地。
命令具体参考模型详情页上的说明即可,老马这里下到本地的文件是Qwen3-8B-Q8_0.gguf,如图:
然后在这个文件的同一目录下,新建一个txt文件,输入以下内容,另存为Qwen3-8B-Q8_0.Modelfile,如下:
FROM Qwen3-8B-Q8_0.gguf
set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20
TEMPLATE """{{ if .Messages }}
{{- if or .System .Tools }}<|im_start|>system
{{ .System }}
{{- if .Tools }}
Tools
You are provided with function signatures within
XML tags:
{{- range .Tools }}
{"type": "function", "function": {{ .Function }}}{{- end }}
For each function call, return a json object with function name and arguments within
XML tags:
{"name":
, "arguments":
}
{{- end }}<|im_end|>
{{ end }}
{{- range i, _ := .Messages }}
{{- last := eq (len (slice .Messages i)) 1 -}}
{{- if eq .Role "user" }}<|im_start|>user
{{ .Content }}<|im_end|>
{{ else if eq .Role "assistant" }}<|im_start|>assistant
{{ if .Content }}{{ .Content }}
{{- else if .ToolCalls }}
{{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{ end }}
{{- end }}{{ if not last }}<|im_end|>
{{ end }}
{{- else if eq .Role "tool" }}<|im_start|>user
{{ .Content }}
<|im_end|>
{{ end }}
{{- if and (ne .Role "assistant") $last }}<|im_start|>assistant
{{ end }}
{{- end }}
{{- else }}
{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }}"""
set the system message
SYSTEM """You are Qwen, created by Alibaba Cloud. You are a helpful assistant."""
记得文件的后缀名是.Modelfile,第一行中“FROM Qwen3-8B-Q8_0.gguf”可以改成你具体下载的gguf文件名。
然后打开windows电脑系统的Powershell或者cmd,苹果电脑系统是打开终端,输入以下命令:
ollama create Qwen3-8B-Q8_0_0 -f Qwen3-8B-Q8_0.Modelfile
上面具体的文件名也是可以根据自己实际下载的模型文件名去修改,命令运行完毕如图:
接着我们打开一下的模型文件放置的路径,具体的路径你可以打开ollama软件中的settings进行查看,这里已经看到拉过去的模型文件,如图:
这时你在ollama里面去对话问问题,已经是OK了的,大语言模型服务已经搭建好了。
而你打开刚才安装好的DeepChat,在设置里面,服务商设置里面,打开ollama的开关,也能看到已经启用的模型,如图:
至此,免费的本地大语言模型服务已经大功告成,随便你造,不消耗token,不费钱钱。
性能嘛,取决于你的电脑硬件配置,刚才说了,电脑配置差一点,回复卡顿慢一点,很正常。
到了这一步,我们就可以用DeepChat去接入MCP服务,使用MCP工具来操作我们公司的内部数据库,查询一些数据了。
什么?你连MCP服务都要本地搭建?
满足你,开搞。
3、本地搭建Mysql-mcp-server
同样的,我们可以在魔搭的网站上看到一个MCP广场,打开后搜索一下Mysql,就可以看到各种的工具,老马这里用到是叫MySQL MCP服务器,如图:
首先克隆或者下载开源仓库的代码到本地,解压一下,直接分别挨个运行以下三行命令即可,如下:
cd mysql-mcp-server
npm install
npm run build
如果你没有魔法上网,没法下载代码,老马也给你打包了,下载地址如下:
http://www.majiabin.com/AI/mysql-mcp-server-main.zip
以上代码包比较适合windows系统,Mac系统的话,还是通过github去下载,地址在MCP工具的详情页右上角有的,注意看一下。
因为里面的文件老马修改过一些配置,只适合windows系统。以上构建的过程中有啥报错,直接丢给豆包问问即可。
小问题就不在文章里面赘述了,当然你也可以评论留言。
按照以上步骤,你的本地MySQL MCP服务就搭建好了。下一步就是在DeepChat中添加进去,打开DeepChat的设置。
切换到MCP设置,先把启用MCP开关打开,然后点击底部的新增,输入MCP配置内容,如下:
{
"mcpServers": {
"mysql-mcp-server": {
"autoApprove": [],
"disabled": false,
"timeout": 60,
"command": "node",
"args": [
"C:\Users\tntwl\Desktop\mysql-mcp-server-main\build\index.js"
], // 替换为实际路径
"env": {
"MYSQL_HOST": "localhost",
"MYSQL_PORT": "3306",
"MYSQL_USER": "root",
"MYSQL_PASSWORD": "123456", // 替换为实际密码
"MYSQL_DATABASE": "test"
},
"transportType": "stdio"
}
}
}
上面配置内容中,需要注意的是你刚才解压的MySQL MCP服务代码包,在你电脑上是什么路径,一比一替换过来。
现在填写的只是老马自己本地电脑的路径,要换成你的,然后就是下面的数据库信息,填写成你自己公司的数据库信息。
最后把上面的中文注释都删除掉,解析并继续,然后在下一步中滑动到最底部,把自动授权全部勾选上,如图:
这样子就配置好了,我们只需要在刚才添加的mysql-mcp-server的MCP工具右边,打开启动按钮,稍等即可启动成功。
启动成功后,你就可以在DeepChat的对话框里面看到目前已经启动的MCP工具,其中就有刚才你添加的。
这时你就可以用一句话发出指令,遨游于公司各个数据库,查询甚至于新增修改那些错综复杂的数据了。
提升工作效率的同时,也给公司的其它部门打通了所有的数据链路,这再结合一些其它的MCP工具,数字化到牙齿上了。
什么?你想看一下具体查询数据的使用效果?
安排,谁叫老马宠粉,必须演示到底。
由于老马没有现成的公司业务数据库,只能是临时搭建一个,再虚拟一些产品数据。
搭建的详细步骤就不讲了,简单介绍一下流程,有些方法工具以前的文章中也有涉及到的。
4、本地搭建Mysql数据库
首先老马在Docker上搭了一个Mysql的容器,启动了本地数据库服务,新增了一个test的数据库,如图:
然后让豆包给写一个SQL脚本,旨在创建一些虚拟的产品数据,插入到数据库的表中,如图:
接着用DBeaver连接上了本地的Mysql数据库,运行以上SQL脚本,实现了虚拟数据的成功创建插入,如图:
刚才上面添加MySQL MCP服务工具的时候,在MCP配置内容里面填写好数据库的相关信息,什么地址、端口、账号密码、数据库名啥的。
保证Docker的Mysql容器运行正常的情况下,待会AI助手调用MySQL MCP服务工具去查询数据库的时候,才能正常连接查询。
最后就是打开DeepChat,在对话框中输入提示词,如图:
发送过去后,本地搭建的大语言模型就咔咔一顿思考,调用MCP工具去查询Mysql数据库,整理完成用表格的形式回答出来,如图:
那么到此整个流程就跑完了,MCP工具还有很多很多的,思路就是这么个思路,结合不同的MCP工具,能满足的场景就更多了。
好了,以上就是今天的分享,有任何问题和需求可以留言,回见!