张士玉小黑屋

近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET:ScalingoutHugeEmbeddingModelTrainingviaCache-enabledDistributedFramework》已被国际顶会VLDB2022录用。HET提出了一种新颖的基于Embedding缓存的训练方法，能够显著降低稀疏大模型分布式训练时通信开销，提升模型训练整体效率。HET目前已正式开源：https://github.com/PKU-DAIR/Hetu稀疏大模型日

稀疏数组定义稀疏数组可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组为什么要进行压缩数组存在大量的无效数据，占据了大量的存储空间，真正有用的数据却少之又少😂😂😂所以压缩存储可以节省存储空间以避免资源的不必要的浪费，在数据序列化到磁盘时，压缩存储可以提高IO效率完成效果第一行的前两个元素代表原二维数组的行列数，第三个元素代表压