当前位置:首页 » 《休闲阅读》 » 正文

ubuntu下open-webui + ollama本地大模型部署

19 人参与  2024年09月22日 14:40  分类 : 《休闲阅读》  评论

点击全文阅读


文章目录

nvidia gpu驱动安装安装卸载 ollama 部署添加docker秘钥docker配置添加国内镜像源ollama安装从源拉取ollama镜像。启动一个ollama容器 通过ollama下载模型到本地检验本地模型 open-webui 部署安装容器和镜像下载webui使用查看模型运行时内存、cpu、gpu占用


业余兴趣,部署下最近很火的LLM大模型玩玩,现在市面做这种大模型的部署快速应用还是挺多的,比如下面这些。
在这里插入图片描述

这里介绍采用nvidia gpu,基于ubuntu docker环境下的open-webui + ollama本地大模型部署过程。

nvidia gpu驱动安装

如果电脑有nvidia gpu,使用本地大模型最好采用gpu,否则用cpu的推理速度极慢,还占用资源。

安装

# nvidia镜像源curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listapt-get update#安装 NVIDIA Container Toolkit 软件包   apt-get install -y nvidia-container-toolkit#配置 Docker 以使用 Nvidia 驱动程序   sudo nvidia-ctk runtime configure --runtime=dockerapt-get install dkmsubuntu-drivers devices # 查询系统建议安装的nvidia版本apt install nvidia-driver-550-open  #选择驱动版本安装ls /usr/src/ |grep nvidia #可以看到nvidia开头的驱动版本文件

安装后reboot重启
然后执行nvidia-smi查看gpu情况,确认是否安装成功。

卸载

sudo apt-get --purge remove nvidia*sudo apt autoremove# To remove CUDA Toolkit:sudo apt-get --purge remove "*cublas*" "cuda*"sudo apt-get --purge remove "*nvidia*"

ollama 部署

添加docker秘钥

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

添加阿里docker软件源

sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

在这里插入图片描述

docker配置添加国内镜像源

创建文件:/etc/docker/daemon.json, 添加如下内容, docker镜像源将会从如下站点拉取。同时配置Nvidia运行时,能在docker中使用GPU。

{    "registry-mirrors": [  #镜像源        "https://docker.mirrors.ustc.edu.cn",        "https://hub-mirror.c.163.com",        "https://docker.m.daocloud.io",        "https://ghcr.io",        "https://mirror.baidubce.com",        "https://docker.nju.edu.cn"    ],    "default-runtime": "nvidia","runtimes": {       "nvidia": {           "args": [],           "path": "nvidia-container-runtime"       } },    "data-root": "/home/docker/data/"  #docker镜像默认安装路径    }

其中,"data-root"为docker镜像默认安装路径,用户根据自己情况选择路径。如果不选择,默认安装到:/var/run/docker/
sudo systemctl restart docker 生效。

ollama安装

从源拉取ollama镜像。

docker pull ollama/ollama:latest

启动一个ollama容器

docker run -d --gpus=all --restart=always -v /root/project/docker/ollama:/root/project/.ollama -p 11434:11434 --name ollama ollama/ollama

使用镜像为ollama/ollama,映射端口11434。

通过ollama下载模型到本地

#下载通义千问:docker exec -it ollama ollama run qwen2#下载通义ollama3docker exec -it ollama ollama run  llama3.1:8b

查看已经安装好的模型:

docker exec -it ollama ollama list

在这里插入图片描述
可下载其他模型库如下,根据自身电脑配置下载

模型参数数量大小下载方式
Llama 27B3.8GBdocker exec -it ollama ollama run llama2
Mistral7B4.1GBdocker exec -it ollama ollama run mistral
Dolphin Phi2.7B1.6GBdocker exec -it ollama ollama run dolphin-phi
Phi-22.7B1.7GBdocker exec -it ollama ollama run phi
Neural Chat7B4.1GBdocker exec -it ollama ollama run neural-chat
Starling7B4.1GBdocker exec -it ollama ollama run starling-lm
Code Llama7B3.8GBdocker exec -it ollama ollama run codellama
Llama 2 Uncensored7B3.8GBdocker exec -it ollama ollama run llama2-uncensored
Llama 213B7.3GBdocker exec -it ollama ollama run llama2:13b
Llama 270B39GBdocker exec -it ollama ollama run llama2:70b
Orca Mini3B1.9GBdocker exec -it ollama ollama run orca-mini
Vicuna7B3.8GBdocker exec -it ollama ollama run vicuna
LLaVA7B4.5GBdocker exec -it ollama ollama run llava
Gemma2B1.4GBdocker exec -it ollama ollama run gemma:2b
Gemma7B4.8GBdocker exec -it ollama ollama run gemma:7b

检验本地模型

通过命令运行ollama3.1,能直接进行对话,说明正常了。

docker exec -it ollama ollama run  llama3.1:8b

在这里插入图片描述

open-webui 部署

上面命令方式跟模型对话不太通用,通常会做成网页形式交互,这里可以采用open-webui。

安装容器和镜像下载

支持 Nvidia GPU 的 Open WebUI

sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

但下载估计非常慢,可以用国内的:

sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always  registry.cn-shenzhen.aliyuncs.com/funet8/open-webui:cuda

如果不支持 Nvidia GPU 可以下载main版本:

$ sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

映射端口号为3000.
查看ollama和open-webui安装的容器和镜像:
在这里插入图片描述
在这里插入图片描述

webui使用

网页登入:
http://127.0.0.0:3000/
在这里插入图片描述
第一次登入,需要注册个管理员账号。

进入webui后,查看是否识别到模型。
在这里插入图片描述

以及管理模型docker的端口号是否与ollama一致。
在这里插入图片描述
第一次启动模型提问,可能要等待一段时间,等模型加载启动后才有回应。
(如果一直没有回应,但命令行方式有回应,那可能是webui安装问题,或者浏览器问题)。
在这里插入图片描述

查看模型运行时内存、cpu、gpu占用

模型开始回答问题时,cpu变化不大,回答结束后cpu恢复,但内存被占用很多,而且回答结束后仍然占用,说明模型已经被加载到内存处于活跃状态。
在这里插入图片描述
nvidia-smi查看,模型j计算的主要占用在GPU中。
在这里插入图片描述


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/163117.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • (此去经年无故人)南初陆南城:结局+番外精品选集起点章节+阅读即将发布预订
  • 沈凝夏叶晚怡附加完整在线阅读(归雁不栖故人枝)最近更新列表
  • 剧情人物是时初,白浩雄的玄幻言情小说《召诸神,踏万界,天命帝女逆乾坤》,由网络作家&ldquo;海鸥&rdquo;所著,情节扣人心弦,本站TXT全本,欢迎阅读!本书共计381345字,185章节,:结局+番外免费品鉴:结局+番外评价五颗星
  • 凤青禾,江明远,***枢小说(别人修仙我捡漏,卷王们破防了)最近更新(凤青禾,江明远,***枢)整本无套路阅读
  • 薛梨小说无删减+后续(曾经亲情似草芥)畅享阅读
  • 沈南栀小说(穿越时空,我要修补时空裂缝)章节目录+起点章节(沈南栀)全篇清爽版在线
  • 未婚妻被巨蟒缠身,我该吃就吃该喝就喝前言+后续_阿豪林月周然后续+番外_小说后续在线阅读_无删减免费完结_
  • 陆骁,陆本初小说(陆骁,陆本初)(癫!睁眼穿成老太太挥鞭***逆子)前传+阅读全新作品预订
  • 姐姐含冤而死后冥王另娶,我杀穿整个地府在线阅读_阎罗殿殷红别提一口气完结_小说后续在线阅读_无删减免费完结_
  • (书荒必看)毒后重生:疯王的神医小娇妻沈清歌,萧绝:+后续热血十足
  • 重生后我和太监联手灭了敌国喻辰,林雪续集(重生后我和太监联手灭了敌国)终极反转(喻辰,林雪)全篇一口气阅读
  • 我不做灵媒后,自称灵媒摆渡人的养妹害怕了内容精选_苏晓霍老阿姐无广告_小说后续在线阅读_无删减免费完结_

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1