Ollama 本地大模型部署教程

24 年 3 月 9 日 星期六
1305 字
7 分钟

由于OpenAI服务不稳定,我打算不再续费。我将寻找其它替代产品,例如,用NotionAI处理文档,用GitHub Copilot写代码,对于一些翻译和文本处理工作,我选择Ollama。

Ollama 本地大模型

Ollama是一个开源框架,用于在本地运行大型语言模型(LLM)。它为开发人员和研究人员提供了一个集成的平台,可以方便地搭建、训练和分享他们的语言模型。

更多细节可以参考Github上的文档:

https://github.com/ollama/ollama

如何使用Ollama

Ollama的使用非常简单,只需几个步骤即可:

  1. 安装Ollama,访问Ollama官方网站:https://ollama.com/。

  2. 下载要使用的语言模型。(在终端上运行下表Download列的命令)

    https://blog-1259751088.cos.ap-shanghai.myqcloud.com/uPic/CleanShot 2024-03-09 at 19.31.22.png
  3. 使用Ollama API加载语言模型。

  4. 调用语言模型API进行预测。

Ollama支持模型

以下这些模型都可以下载,复制“下载命令”到终端里运行即可

官方模型列表:https://ollama.com/library

模型参数大小下载命令更新日期
Qwen27B4.4GBollama run qwen2:7b2024/06/07
codestral22B12 GBollama run codestral2024/06/05
Mistral
.3
7B4.1GBollama run mistral:v0.32024/06/05
Yi:9b9B5.0GBollama run yi:9b2024/06/05
Llama 3.18B4.7GBollama run llama3.12024/07/25
Llama 3.170B40GBollama run llama3.1:70b2024/07/25
Llama 3.1405B231GBollama run llama3.1:405b2024/07/25
Phi 3 Mini3.8B2.3GBollama run phi32024/06/28
Phi 3 Medium14B7.9GBollama run phi3:medium2024/06/28
Gemma 29B5.5GBollama run gemma22024/06/28
Gemma 227B16GBollama run gemma2:27b2024/06/28
Mistral7B4.1GBollama run mistral2024/04/25
Moondream 21.4B829MBollama run moondream2024/06/28
Neural Chat7B4.1GBollama run neural-chat2024/04/25
Starling7B4.1GBollama run starling-lm2024/04/25
Code Llama7B3.8GBollama run codellama2024/04/25
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored2024/04/25
LLaVA7B4.5GBollama run llava2024/04/25
Solar10.7B6.1GBollama run solar2024/04/25

如果要删除,复制下面的命令,将"llama2"替换为需要删除的模型即可

jsx
ollama rm llama2

个人推荐模型

2024/06/07更新

  • Qwen2(7B)

    当前本地最好的模型,在实际使用体验中,翻译、日常对话等使用场景,比Llama 3的体验要好

    Qwen2 是阿里云自主研发的超大规模预训练语言模型,能够处理多种自然语言任务,包括但不限于文本生成、翻译、问答等。它的能力体现在理解复杂的语境以及生成高质量、多样化的响应,适用于诸如对话系统、文本创作、智能客服等多种场景。

  • Mistral

    .3(日常对话)

    更新了v0.3版本

    Mistral-7B-v0.3 是由 Mistral AI 团队开发的大型语言模型(LLM),是 Mistral-7B-v0.2 的升级版。该模型在多个方面进行了改进和增强。通过扩展词汇表、改进分词器支持以及引入函数调用等一系列战略改进,展示了令人鼓舞的结果。

寻找更多模型

2024/04/28 更新

💡 Artificial Analysis

更新吴恩达老师推荐的评分网站!

Model & API Providers Analysis | Artificial Analysis

💡 林哥的大模型野榜

一个更适合中国宝宝体质的大模型产品的排行榜

林哥的大模型野榜

💡 Open LLM Leaderboard

Hugging Face是开源模型流行的社区,这是由他们官方维护的排行榜数据。

Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4

💡 SuperCLUE总排行榜

SuperCLUE 是一个中文通用大模型综合性评测基准,从三个不同的维度评价模型的能力:基础能力、专业能力和中文特性能力。

SuperCLUE

💡 MMLU 大规模多任务语言理解基准

MMLU 全称 Massive Multitask Language Understanding,是一种针对大模型的语言理解能力的测评,是目前最著名的大模型语义理解测评之一,由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务,包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛,语言是英文,用以评测大模型基本的知识覆盖范围和理解能力。

Papers with Code - MMLU Benchmark (Multi-task Language Understanding)

💡 LLMEval

LLMEval是由复旦大学NLP实验室推出的大模型评测基准,最新的LLMEval-3聚焦于专业知识能力评测,涵盖哲学、经济学、法学、教育学、文学、历史学、 理学、工学、农学、医学、军事学、管理学、艺术学等教育部划定的13个学科门类、50余个二级学科,共计约20W道标准生成式问答题目。

LLM-EVAL

简单测试

对话效果对比:

https://blog-1259751088.cos.ap-shanghai.myqcloud.com/uPic/CleanShot 2024-03-09 at 20.03.28.png

支持的客户端

Cherry Studio

一个更现代的LLM客户端,支持国内和海外的各大服务商,界面流畅,整合了翻译、画图、智能体商店等服务。

Github地址:

https://github.com/kangfenmao/cherry-studio

https://blog-1259751088.cos.ap-shanghai.myqcloud.com/uPic/CleanShot%202024-11-01%20at%2015.35.38@2x.png

Opencat

在 2.8 版本里加入对本地的模型的支持

前往设置里配置URL http://localhost:11434

显示验证成功即可

在对话界面上点击头像选择模型即可:

NotesOllama

让你苹果备忘录可以使用Ollama的本地LLM进行交流。

https://github.com/andersrex/notesollama

选择笔记本中要交互的文本,在笔记的右下角会出现交互的菜单

Lobe Chat

https://github.com/lobehub/lobe-chat

这是一款跨平台的客户端,支持多语言、插件系统、自部署。

在新版本里,已经支持Ollama的本地调用,以下是教程网页:

在 LobeChat 中使用 Ollama · LobeChat Docs · LobeHub

界面UI预览:

BMO Chatbot

Obsidian的AI插件,使用 Ollama、LM Studio、Anthropic、Google Gemini、Mistral AI、OpenAI 等大型语言模型(LLM)为Obsidian生成和集思广益时,记录你的想法。

Github地址:

https://github.com/longy2k/obsidian-bmo-chatbot

也可以在Obsidian的插件商店里搜索安装

💡 感谢您的观看!欢迎分享文章,或是来信与我交流。

文章标题:Ollama 本地大模型部署教程

文章作者:CHACAT

文章链接:https://blog.chawfoo.com/posts/ai3[复制]

最后修改时间:


商业转载请联系站长获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。
本文采用CC BY-NC-SA 4.0进行许可。