当前位置:首页 » 《随便一记》 » 正文

Mamba-2 Error: ‘NoneType‘ object has no attribute ‘causal_conv1d_fwd‘已解决!!!

27 人参与  2024年11月18日 15:22  分类 : 《随便一记》  评论

点击全文阅读


  在网上试了很多解决办法,终于解决。

1.安装

想要运行mamba-2,需要安装causal-conv1d>=1.4.0这是官方github中说的。

GitHub - state-spaces/mamba: Mamba SSM architecture

关于mamba_ssm版本我安装了2.2.2

下图是我安装的两个版本,

注意:我选择的是两个FALSE版本,我第一次安装的时候causal-conv1d选择了TRUE版本所以出现了上述问题。后面,我卸载了之后重装了FALSE版本就没有这个问题了。

还有就是,如果你是第一次安装可以参考我之前写的博客。

https://blog.csdn.net/lihaiyuan_0324/article/details/138076262icon-default.png?t=N7T8https://blog.csdn.net/lihaiyuan_0324/article/details/138076262

如果你是已经安装过1.0版本的,最好是先卸载在装1.0版本的,因为我第一次没卸载1.0,直接安装1.4还是出现了标题的问题,但是后面卸载后重装就没有这个问题了。

causal-conv1d:

mamba_ssm:Releases · state-spaces/mamba · GitHub

2.AttributeError: module 'triton.language' has no attribute 'cumsum'

我解决标题的问题之后,又出现了,上述问题。

按照作者的回复,Please use triton >= 2.1.0

我安装了triton = 2.2.0

就成功了。

3.测试代码

import torchfrom mamba_ssm import Mambabatch, length, dim = 2, 64, 16x = torch.randn(batch, length, dim).to("cuda")model = Mamba(    # This module uses roughly 3 * expand * d_model^2 parameters    d_model=dim,  # Model dimension d_model    d_state=16,  # SSM state expansion factor    d_conv=4,  # Local convolution width    expand=2,  # Block expansion factor).to("cuda")y = model(x)print("Mamba result", y.shape)assert y.shape == x.shapeimport torchfrom mamba_ssm import Mamba2batch, length, dim = 2, 64, 512x = torch.randn(batch, length, dim).to("cuda")model = Mamba2(    # This module uses roughly 3 * expand * d_model^2 parameters    # make sure d_model * expand / headdim = multiple of 8    d_model=dim,  # Model dimension d_model    d_state=64,  # SSM state expansion factor, typically 64 or 128    d_conv=4,  # Local convolution width    expand=2,  # Block expansion factor    headdim=64,  # default 64).to("cuda")y = model(x)print("Mamba2 result", y.shape)assert y.shape == x.shape

以下是运行结果

Mamba result torch.Size([2, 64, 16])
Mamba2 result torch.Size([2, 64, 512])

希望可以帮助到你!


点击全文阅读


本文链接:http://m.zhangshiyu.com/post/188241.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

最新文章

  • (此去经年无故人)南初陆南城:结局+番外精品选集起点章节+阅读即将发布预订
  • 沈凝夏叶晚怡附加完整在线阅读(归雁不栖故人枝)最近更新列表
  • 剧情人物是时初,白浩雄的玄幻言情小说《召诸神,踏万界,天命帝女逆乾坤》,由网络作家&ldquo;海鸥&rdquo;所著,情节扣人心弦,本站TXT全本,欢迎阅读!本书共计381345字,185章节,:结局+番外免费品鉴:结局+番外评价五颗星
  • 凤青禾,江明远,***枢小说(别人修仙我捡漏,卷王们破防了)最近更新(凤青禾,江明远,***枢)整本无套路阅读
  • 薛梨小说无删减+后续(曾经亲情似草芥)畅享阅读
  • 沈南栀小说(穿越时空,我要修补时空裂缝)章节目录+起点章节(沈南栀)全篇清爽版在线
  • 未婚妻被巨蟒缠身,我该吃就吃该喝就喝前言+后续_阿豪林月周然后续+番外_小说后续在线阅读_无删减免费完结_
  • 陆骁,陆本初小说(陆骁,陆本初)(癫!睁眼穿成老太太挥鞭***逆子)前传+阅读全新作品预订
  • 姐姐含冤而死后冥王另娶,我杀穿整个地府在线阅读_阎罗殿殷红别提一口气完结_小说后续在线阅读_无删减免费完结_
  • (书荒必看)毒后重生:疯王的神医小娇妻沈清歌,萧绝:+后续热血十足
  • 重生后我和太监联手灭了敌国喻辰,林雪续集(重生后我和太监联手灭了敌国)终极反转(喻辰,林雪)全篇一口气阅读
  • 我不做灵媒后,自称灵媒摆渡人的养妹害怕了内容精选_苏晓霍老阿姐无广告_小说后续在线阅读_无删减免费完结_

    关于我们 | 我要投稿 | 免责申明

    Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1