10分钟本地免费部署AI大模型,旧电脑也能跑得动

作者: admin 分类: 评论分析 发布时间: 2025-11-14 14:18

Ollama是老马一直很想推荐给大家的AI工具,只是早期功能仅支持下载模型文件本地运行,对电脑性能要求高一些。

直到近期推出了Ollama Cloud,可以调用云端的大模型,让旧电脑也能轻松跑起来,这就有了安利的意义。

Ollama主要用于本地化部署和运行大型语言模型(如LLaMA系列),支持模型量化、微调、RAG应用等,旨在降低大模型的使用门槛。

Ollama Cloud则是一项模型即服务(Model-as-a-Service)功能,允许用户直接调用云端预置的大模型,无需在本地部署。这对于电脑硬件配置不足以运行大型AI模型的用户来说非常实用。

Ollama跟另外一款相似Cherry Studio对比来说,界面更加简洁,操作更加简单。

本地部署大模型跟调用云端大模型,老马会分开来介绍,使用Ollama之前,我们需要打开官网:https://ollama.com,点击右上角Sign in,如图:

打开后,如果没有账号的话,可以点最下面的注册,输入邮箱,收取邮件验证码,设置一下密码即可注册成功。

注册成功后,我们直接下载Ollama软件,在电脑上安装就行了,Ollama支持Windows/Mac/Linux系统,如图:

安装完毕后运行软件,就能看到一个大模型的对话聊天输入框,左侧一个折叠菜单,菜单里面有“New Chat”新建对话和“Settings”设置选项,如图:

如果你在使用Ollama提供的大模型服务时,需要用到Web search网络搜索功能,就是类似于Deepseek的联网搜索,那就登录一下你刚才注册的Ollama账号即可。

在Settings设置界面,老马截图后给大家翻译了一下,比较简单,分别是允许其它服务和设备连接Ollama,这个一般是其它AI工具可以调用Ollama本地部署的模型服务。

还有下面就是Ollama下载后的模型文件存储的位置,这里建议选择剩余空间比较大的硬盘盘符,比如你D盘还剩几百G空间,那就选D盘。因为下载的模型文件一般都比较大,少则几百M几G,大则十几G。

再往下的设置就是上下文长度,建议设置大一些,老马直接拖到256K,对标当前主流模型。最后一个设置是飞行模式,开启后对话数据会保留在本地,但不能使用联网搜索。全部设置翻译如图:

以上就是整个软件的介绍和设置,除此之外没啥好介绍的了,功能就是这么简单。Ollama部署大模型,也就分本地下载模型部署,以及调用云端大模型两种。

1、本地部署大模型

本地部署大模型,说白了就是把大模型的模型文件下载到电脑本地,然后使用电脑的CPU或者GPU,以及内存进行运行。

运行时大模型是否能跑起来以及回复的速度,取决于你的电脑硬件配置好坏,同样,不同参数大小的模型对硬件的要求也不一样,总体来说参数越大要求越高。

下面我们直接打开Ollama软件,在对话框下面就可以看到模型的选择列表,点击往下滑动,凡是看到模型名称右侧有一个下载图标的,这些就是可以下载的模型,如图:

点击选择你要下载的模型,然后在对话框里面随便输入点什么,比如老马输入了你好,发送过去,就会显示正在下载该模型了,下载不需要魔法,速度取决于你的网络,如图:

等待模型下载完毕,后面就可以直接进行对话了。这就是本地部署的大模型,使用本地电脑硬件性能运行。

好处是不会上传你的隐私数据,所有记录都保留在本地,也没有token的额度限制,随便你造。

补充一点,Ollama软件提供下载的模型比较少,你如果知道怎么通过魔搭和Huggingface下载模型的话,也是可以自行导入更多模型进去的。

2、调用云端大模型

调用Ollama Cloud的云端大模型,是有额度限制的,查看额度的使用情况,可以在Ollama的官网登录你的账号,然后点击“Usage”查看,如图:

使用云端大模型则更加简单了,打开Ollama软件,在对话框的下面选择模型,凡是模型名称右边带个云朵的图标,都是云端的大模型,直接选择使用进行对话即可,如图:

云端大模型的响应回复速度都是很不错的,额度目前老马没有测试到底能用到多少,如果额度没了,那就切换回本地部署的大模型接着使用呗。

3、第三方工具调用API

如果你同时在使用Cherry Studio这类第三方AI工具,也是可以同步调用Ollama Cloud的云端大模型服务,等于多了一个免费的API接口服务。

首先我们需要在Ollama的官网登录自己的账号,然后菜单切换到“Keys”,点击“Add API Key”创建一个API Key,输入名称确定就行了,切记创建了之后,复制一下API Key,等下有用,如图:

接着打开Cherry Studio软件,点击左下角的齿轮设置按钮,打开第一个模型服务,在列表最下面点击添加,如图:

在添加提供商的名称里面输入“OllamaCloud”,提供商类型选择“Open AI”,确定即可,如图:

然后会出现一个新的页面,需要我们输入API密钥,API密钥就是我们上面刚刚在Ollama官网创建复制好的API Key,填写到这里,API地址就填:https://ollama.com/v1/,如图:

下面我们点击一下管理,就会出现Ollama Cloud提供的所有模型服务列表,随便选择一个模型,点右边的绿色+号按钮添加进来,你也可以全部都添加进来,如图:

最后,我们在API密钥输入框的最右边,有一个检查的按钮,点击检查一下,随便选择一个模型后确定提交,如果提示连接成功,这就说明我们在Cherry Studio上对接Ollama Cloudd的大模型服务成功了,如图:

到这里你就可以在Cherry Studio软件上,使用Ollama Cloud提供的免费大模型服务了,只是有额度限制。

以上就是Ollama本地免费部署大模型的三种方式,其实算本地部署的,也就是第一种下载模型文件到本地的方式。

那么今天的分享就到这里,欢迎关注、点赞、转发一键三连。有任何问题和需求请在评论区留言,回见!

如果觉得我的文章对您有用,请随意赞赏。您的支持将鼓励我继续创作!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Protected by WP Anti Spam