当前位置:首页 » 《休闲阅读》 » 正文

【AI开发:语言】二、Qwen1.5-7B模型本地部署CPU和GPU版

1 人参与  2024年05月04日 11:22  分类 : 《休闲阅读》  评论

点击全文阅读


前言

        之前文章,我们采用了Koblod运行Yi-34B大模型,本文采用LM Studio来运行千问模型。

LM Studio并没有开源,但是可以免费使用,他是目前本地进行模型测试最好的工具了。

        在这里,依然使用Windows 10进行部署和测试,没有GPU。

        注意:LM的运行速度相比较Kobold两者差不多,而且也提供WEB服务,稍后也研究下他的API功能,LM的功能更多一些有待开发。

        完整工具包下载(均为官方版本):AI开发工具包官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘123云盘为您提供AI开发工具包最新版正式版官方版绿色版下载,AI开发工具包安卓版手机版apk免费下载安装到手机,支持电脑端一键快捷安装icon-default.png?t=N7T8https://www.123pan.com/s/b5zTTd-tyaH.html%E6%8F%90%E5%8F%96%E7%A0%81:rnwi

一、LM Studio下载

下载地址:LM Studio - Discover, download, and run local LLMs

二、模型下载

下载地址:AI快站 - HuggingFace模型免费加速下载

我们要从这里选择需要的模型。其他模型资源如下:

1.其他模型资源

国内厂商模型
序号厂商访问地址
1阿里通义千问AI快站 - HuggingFace模型免费加速下载
2百川智能AI快站 - HuggingFace模型免费加速下载
3CodeFuseAI快站 - HuggingFace模型免费加速下载
4上海人工智能实验室AI快站 - HuggingFace模型免费加速下载
5智谱AI快站 - HuggingFace模型免费加速下载
6智源人工智能研究院AI快站 - HuggingFace模型免费加速下载
7FlagAlphaAI快站 - HuggingFace模型免费加速下载
8零一万物AI快站 - HuggingFace模型免费加速下载
海外厂商模型
序号厂商访问地址
1googleAI快站 - HuggingFace模型免费加速下载
2codefuse-aiAI快站 - HuggingFace模型免费加速下载
3mosaicmlAI快站 - HuggingFace模型免费加速下载
4bigcodeAI快站 - HuggingFace模型免费加速下载
5lmsysAI快站 - HuggingFace模型免费加速下载
6NousResearchAI快站 - HuggingFace模型免费加速下载
7OpenAssistantAI快站 - HuggingFace模型免费加速下载
8tiiuaeAI快站 - HuggingFace模型免费加速下载
9bigscienceAI快站 - HuggingFace模型免费加速下载
10diffusersAI快站 - HuggingFace模型免费加速下载
11microsoftAI快站 - HuggingFace模型免费加速下载
12runwaymlAI快站 - HuggingFace模型免费加速下载
13HuggingFaceH4AI快站 - HuggingFace模型免费加速下载
14garage-bAIndAI快站 - HuggingFace模型免费加速下载
15openaiAI快站 - HuggingFace模型免费加速下载

2.需要的模型

本次部署,我们依然选择4B,当然还是选择了GGUF格式,稍后我还要部署到服务器端。

三、安装和打开LM Studio

双击 LM Studio setup.exe,稍等片刻,它会自动安装到C盘,可以挪走,也可以不动。

四、加载和使用模型

1.创建模型文件夹        

        我们先把已经下载好的本地模型,放到它指定的目录下,否则就无法加载模型,其中有两个文件夹第一次可能需要手动建立Publisher和Repository,他俩是上下级关系 。

C:\Users\Administrator\.cache\lm-studio\models\Publisher\Repository

 将我们需要用的模型拷贝进来

2.重新启动LM

重启后,我们就可以去查看自己的模型了。

 3.修改模型文件夹

D:\LM-Studio\models\Publisher\Repository#新建Publisher和Repository

在选择模型的时候,只选择到 models这一级就可以了,多选无效。

4.使用AI对话

五、LS的API功能

API文档:Local LLM Server | LM Studio

由于时间问题,稍后再做整理和测试。

六、最后

        Kobold和LM Studio各有千秋吧,一个是简单,另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/103513.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • 联姻,我的夫君是个粘人精:结局+番外(姜时愿沈律初)全书免费_(姜时愿沈律初)联姻,我的夫君是个粘人精:结局+番外后续(姜时愿沈律初)
  • 成为太子妃后我躺赢了+后续(布尔和)_成为太子妃后我躺赢了+后续
  • 下一个路口是分别+后续(姜屿月闻聿风),下一个路口是分别+后续
  • 林妍傅璟(云本无心风起意:全书+后续)结局_(林妍傅璟云本无心风起意:全书+后续全书结局)结局列表_笔趣阁(林妍傅璟)
  • 「老公秘书把我当小白花暴打后,我选择离婚」小说无删减版在线免费阅读_[老公梁婉莹过敏]最新章节目录番外+全文
  • 水自无情舟渡人:结局+番外季铭穆婉免费_(水自无情舟渡人:结局+番外)水自无情舟渡人:结局+番外列表_笔趣阁(季铭穆婉)
  • 二二的再无一人恰似我沈梓煜沈陌江倾辰全书在线
  • 不再执念爱情后我逆光重生(林晚舒)全书免费_(林晚舒)不再执念爱情后我逆光重生后续(林晚舒)
  • 恰似晚风不留我全书+后续(顾墨琛沈冉)_(恰似晚风不留我全书+后续)恰似晚风不留我全书+后续列表_笔趣阁(顾墨琛沈冉)
  • 全书浏览幽思燃烬忘川路新鲜出炉(叶墨谨幽璃)_幽思燃烬忘川路新鲜出炉(叶墨谨幽璃)全书结局
  • 春晓提成王雪谢强江晚完本_春晓提成(王雪谢强江晚)
  • [完结]乔染顾时夜(致命偏宠顾少步步诱哄)全

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1