论文地址： https://arxiv.org/pdf/2303.16900.pdf
代码： GitHub - sail-sg/inceptionnext: InceptionNeXt: When Inception Meets ConvNeXt
单位：NUS, Sea AI Lab(颜水成等人)
1. InceptionNeXt介绍
摘要：受ViT的 long-range 建模能力的启发，大核卷积来扩大感受野用于提升模型性能，比如ConvNeXt了采用7x7深度卷积。虽然这种深度操作符只消耗少量FLOPs，但高内存访问成本，它在很大程度上损害了强大计算设备上的模型效率。为了解决这个问题，我们提出将大核深度卷积分解为沿通道维度的四个并行分支，即小平方内核、两个正交带核和一个恒等映射。通过这种新的Inception深度卷积，我们构建了一系列网络，即IncepitonNeXt，它们不仅具有高吞吐量，而且保持了有竞争力的性能。
图 1：准确性和训练之间的权衡吞吐量。 所有模型均在 DeiT 训练下进行训练超参数 [61、37、38、69]。 训练吞吐量在批量大小为 128