当前位置:首页 » 《休闲阅读》 » 正文

open-web UI 实用指南

27 人参与  2024年10月15日 14:40  分类 : 《休闲阅读》  评论

点击全文阅读


open-web UI 类似于chatgpt的界面,可以私有化模型本地部署,也可以用商业模型.本文只是用开源模型. 它可以实现AI聊天 , AI 翻译 , 语音转文本, 文本转语音, 文生图,代码助手,可谓利器。

前提:安装好ollama

安装open-web UI

使用 pip 安装

需要 Python 3.11

安装Open WebUI:打开你的终端并运行以下命令:

pip install open-webui

启动 Open WebUI:安装完成后,使用以下命令启动服务器:

open-webui serve

安装后,可以在 http://localhost:8080 访问Open WebUI

AI 聊天,AI翻译

点用户,打开管理员面板,选择设置–外部连接,输入Ollama API的链接地址,点击右边按钮,测试连接

在这里插入图片描述

然后在 设置–界面 ,选择一个默认模型

在这里插入图片描述

然后就可以回到新对话,进行聊天了。

可以在工作空间编辑一下提示词,便于翻译

在这里插入图片描述

在这里插入图片描述

语音转文本

安装 faster-whisper-serve

faster-whisper-serve 是一个兼容 OpenAI API 的转录服务器,它使用fast-whisper作为后端。特征:

GPU 和 CPU 支持。 使用 Docker 可以轻松部署。 可通过环境变量进行配置(请参阅config.py ) 。 兼容 OpenAI API。 流媒体支持(转录是在音频转录时通过SSE发送的。您无需等待音频完全转录后再接收)。 实时转录支持(音频在生成时通过 websocket 发送)。 动态模型加载/卸载。只需在请求中指定您要使用的模型,它将自动加载。经过一段时间不活动后,它将被卸载。
git clone https://github.com/fedirz/faster-whisper-servecd faster-whisper-servedocker compose up --detach faster-whisper-server-cuda

设置open-web UI 语音转文本

点用户,打开管理员面板,选择设置–语音。 语音转文本模型输入 deepdml/faster-whisper-large-v3-turbo-ct2, 这个是多语言模型; API密钥随便输入,没有被使用到。


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/172159.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 祖母寿宴,侯府冒牌嫡女被打脸了(沈屿安秦秀婉)阅读 -
  • 《雕花锦年,昭都旧梦》(裴辞鹤昭都)完结版小说全文免费阅读_最新热门小说《雕花锦年,昭都旧梦》(裴辞鹤昭都) -
  • 郊区41号(许洛竹王云云)完整版免费阅读_最新全本小说郊区41号(许洛竹王云云) -
  • 负我情深几许(白诗茵陆司宴)完结版小说阅读_最热门小说排行榜负我情深几许白诗茵陆司宴 -
  • 九胞胎孕妇赖上我萱萱蓉蓉免费阅读全文_免费小说在线看九胞胎孕妇赖上我萱萱蓉蓉 -
  • 为保白月光,侯爷拿我抵了债(谢景安花田)小说完结版_完结版小说全文免费阅读为保白月光,侯爷拿我抵了债谢景安花田 -
  • 陆望程映川上官硕《我的阿爹是带攻略系统的替身》最新章节阅读_(我的阿爹是带攻略系统的替身)全章节免费在线阅读陆望程映川上官硕
  • 郑雅琴魏旭明免费阅读_郑雅琴魏旭明小说全文阅读笔趣阁
  • 头条热门小说《乔书意贺宴临(乔书意贺宴临)》乔书意贺宴临(全集完整小说大结局)全文阅读笔趣阁
  • 完结好看小说跨年夜,老婆初恋送儿子故意出车祸_沈月柔林瀚枫完结的小说免费阅读推荐
  • 热推《郑雅琴魏旭明》郑雅琴魏旭明~小说全文阅读~完本【已完结】笔趣阁
  • 《你的遗憾与我无关》宋怀川冯洛洛无弹窗小说免费阅读_免费小说大全《你的遗憾与我无关》宋怀川冯洛洛 -

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1