当前位置:首页 » 《休闲阅读》 » 正文

open-web UI 实用指南

20 人参与  2024年10月15日 14:40  分类 : 《休闲阅读》  评论

点击全文阅读


open-web UI 类似于chatgpt的界面,可以私有化模型本地部署,也可以用商业模型.本文只是用开源模型. 它可以实现AI聊天 , AI 翻译 , 语音转文本, 文本转语音, 文生图,代码助手,可谓利器。

前提:安装好ollama

安装open-web UI

使用 pip 安装

需要 Python 3.11

安装Open WebUI:打开你的终端并运行以下命令:

pip install open-webui

启动 Open WebUI:安装完成后,使用以下命令启动服务器:

open-webui serve

安装后,可以在 http://localhost:8080 访问Open WebUI

AI 聊天,AI翻译

点用户,打开管理员面板,选择设置–外部连接,输入Ollama API的链接地址,点击右边按钮,测试连接

在这里插入图片描述

然后在 设置–界面 ,选择一个默认模型

在这里插入图片描述

然后就可以回到新对话,进行聊天了。

可以在工作空间编辑一下提示词,便于翻译

在这里插入图片描述

在这里插入图片描述

语音转文本

安装 faster-whisper-serve

faster-whisper-serve 是一个兼容 OpenAI API 的转录服务器,它使用fast-whisper作为后端。特征:

GPU 和 CPU 支持。 使用 Docker 可以轻松部署。 可通过环境变量进行配置(请参阅config.py ) 。 兼容 OpenAI API。 流媒体支持(转录是在音频转录时通过SSE发送的。您无需等待音频完全转录后再接收)。 实时转录支持(音频在生成时通过 websocket 发送)。 动态模型加载/卸载。只需在请求中指定您要使用的模型,它将自动加载。经过一段时间不活动后,它将被卸载。
git clone https://github.com/fedirz/faster-whisper-servecd faster-whisper-servedocker compose up --detach faster-whisper-server-cuda

设置open-web UI 语音转文本

点用户,打开管理员面板,选择设置–语音。 语音转文本模型输入 deepdml/faster-whisper-large-v3-turbo-ct2, 这个是多语言模型; API密钥随便输入,没有被使用到。


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/172159.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 家宴过后,我捉奸了庶妹和我老公无广告_庶妹老公侍卫TOP10_小说后续在线阅读_无删减免费完结_
  • 寝室六个人,她们背着我建五人群必读文_太天真申请书冷笑最新阅读_小说后续在线阅读_无删减免费完结_
  • 开局获得狐仙传承结局+番外_江帆赵雪隐藏剧情_小说后续在线阅读_无删减免费完结_
  • 刀锈春根生,白骨犹温完结全文_卫舟棠棠知意一口气完结_小说后续在线阅读_无删减免费完结_
  • 夫君立筷子定我灾星罪名,我改嫁冷宫皇子后他追悔莫及好评_赵荀孟如安青瑶精心编著_小说后续在线阅读_无删减免费完结_
  • 邻居低素质,而我没素质独家番外_老太太赖皮欣欣超长版_小说后续在线阅读_无删减免费完结_
  • 重生后我转嫁首富瘸腿独子,总裁前夫却疯了一口气看完_妹妹傅云琛沈明辉独家番外_小说后续在线阅读_无删减免费完结_
  • 我拒绝给系花捐款后,全系同学悔疯了在线阅读_小说后续在线阅读_无删减免费完结_
  • 我让位给女友的透视眼竹马,他却说如果能重生再也不来了。虐心反转_玉石林若女友推荐_小说后续在线阅读_无删减免费完结_
  • 相国独子的丫鬟砸坏我的玉佩后,我当场拒婚阅读_玉佩陈郡谢氏全新_小说后续在线阅读_无删减免费完结_
  • 手术时,我看着病人惨死最新试读_淼淼陆知衍姜颜全本完结_小说后续在线阅读_无删减免费完结_
  • 男友霸道给我开黑卡,转头却骂我是捞女最新章节_肖年顾客黑卡热文_小说后续在线阅读_无删减免费完结_

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1