本地安装Ollama+WebUI

本地安装Ollama+WebUI

B站教程地址：https://www.bilibili.com/video/BV1Kz421h7Jk/?spm_id_from=333.337.search-card.all.click&vd_source=42b07826977d09765ec11b9fa06715e5

一、下载Ollama

https://ollama.com/download 支持mac、linux、windows

选择在ubuntu下安装

odoo@odoo-pc:~$ curl -fsSL https://ollama.com/install.sh | sh>>> Installing ollama to /usr/local[sudo] odoo 的密码： >>> Downloading Linux amd64 bundle######################################################################## 100.0%######################################################################### 100.0%>>> Creating ollama user...>>> Adding ollama user to render group...>>> Adding ollama user to video group...>>> Adding current user to ollama group...>>> Creating ollama systemd service...>>> Enabling and starting ollama service...Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.>>> The Ollama API is now available at 127.0.0.1:11434.>>> Install complete. Run "ollama" from the command line.WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.从上面的安装过程发现两点：1、api的端口号是114342、没有检测到显卡，Ollama运行在cpu模式下

安装第一个大模型： 其实这一步可用不用做，后面通过webui来安装。

odoo@odoo-pc:~$ ollama run llama3pulling manifest pulling 6a0746a1ec1a... 100% ▕████████████████▏ 4.7 GB                         pulling 4fa551d4f938... 100% ▕████████████████▏  12 KB                         pulling 8ab4849b038c... 100% ▕████████████████▏  254 B                         pulling 577073ffcc6c... 100% ▕████████████████▏  110 B                         pulling 3f8eb4da87fa... 100% ▕████████████████▏  485 B                         verifying sha256 digest writing manifest success >>> Send a message (/? for help)

到这里就可以向大模型提问了，进行交互了，不过只能在本地终端进行，下面，我们需要安装WebUI，可用通过web界面进行交互。

二、安装WebUI

https://docs.openwebui.com

因为我的机器没有GPU，所以找了一个不需要GPU命令进行安装：

For CPU Only: If you're not using a GPU, use this command instead:docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

odoo@odoo-pc:~$ sudo docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama[sudo] odoo 的密码： Unable to find image 'ghcr.io/open-webui/open-webui:ollama' locallyollama: Pulling from open-webui/open-webuia2318d6c47ec: Pull complete 334af29dc78e: Pull complete d534b3df1e9e: Pull complete 95b5b248c442: Pull complete 98d167576f7c: Pull complete ac786ed3fe21: Pull complete 4f4fb700ef54: Pull complete 0b3cbd1796a0: Pull complete 08dcfffb691a: Pull complete 290e855a01d4: Pull complete da884a0397a7: Pull complete 46fe1a8da679: Pull complete 6497c5d13491: Pull complete 2e2171744e6b: Pull complete 8558874c3ff3: Pull complete 15f64213e6de: Pull complete Digest: sha256:b70396e243682d7e93fc426b5aa6ade41c2240e5559aa00301dbdcf8e520235bStatus: Downloaded newer image for ghcr.io/open-webui/open-webui:ollamaba2b5958578f44030936768b324f451ecce00865047fc53e158ce84c616e91e1

安装完成后打开地址

http://127.0.0.1:3000/

注册一个账号，账号会保存在本地而不是云端，第一个注册的账号会成为管理员。

进入界面后，选择左下角的头像进入设置菜单，通用里面可用选择语言，默认会跟操作系统的语言保持一致。

选择管理员设置：

会出现模型的设置。

注意： Ollama是一个管理平台，它可用管理很多模型，像开源的llama3， chatgpt等

从ollama.com选取一个模型，然后输入模型的名称，就可以进行下载。下载速度还是比较快的。

可用多安装几个模型，获取更多元化的回答。

注册了一个账号：

fatux 156277468@qq.com 密码是最复杂的

三、使用技巧

1、模型

可用安装别人训练好的agent

2、提示词

3、指定检索文件

在让大模型回答问题之前可用指定文件，不过这样有个缺点，大模型需要经过检索和回答两个步骤，可能需要的时间会变长。

四、微调模型

让AI将特定领域的知识，内化整合成模型的一部分，而这种让语言模型在原有知识的基础上进行额外训练的过程被称为模型微调。fine-tuning

要微调模型，我们要准备一些问答的范例协助AI进行学习，其中一种常见的格式叫Json

格式类似于QA，有问有答

可用通过chatgpt转换成JSON格式的文本。

https://unsloth.ai/ 训练和微调语言模型的工具