墨芯单卡支持大模型首个高稀疏率AI计算卡S100在浪潮内测中表现优异

创享投

creationventure

本文中「墨芯人工智能」为创享投资已投项目:

墨芯人工智能是稀疏化计算的全球引领者,以稀疏化算法为核心,打造云端和终端AI计算加速方案,可广泛应用于数据中心、互联网、运营商、生命科学等场景,推动稀疏化计算生态建设。浪潮是墨芯人工智能的战略投资者和生态合作伙伴。


 


2022年7月5日,墨芯人工智能首次发布SparseOne®️ S100在浪潮服务器中的测试数据。





2022年7月5日,墨芯人工智能首次发布SparseOne®️ S100在浪潮服务器中的测试数据, S100是全球首个高稀疏率AI计算卡,运行多个AI主流模型,性能表现为国际大厂主流AI推理卡的6倍。更重要的是,它不仅性能优秀,能效比、功耗和精度同样能给业界带来惊喜,并具有良好的通用性。 


墨芯人工智能是稀疏化计算的全球引领者,以稀疏化算法为核心,打造云端和终端AI计算加速方案,可广泛应用于数据中心、互联网、运营商、生命科学等场景,推动稀疏化计算生态建设。浪潮是墨芯人工智能的战略投资者和生态合作伙伴。


S100单卡力挑T5-8B
可支持千亿级别大模型


该报告在以下测试环境中进行,测试结果仅对被测系统当时的状态有效。 
测试环境 

项目
明细
服务器型号
浪潮NF5468M6
操作系统
Ubntu18.04
内核版本
5.4.173-0504173-generic
CPU/内存
Intel 4316 20C 150W 2.3GHz*2
内存
32G DDR4 RECC 3200 服务器内存*16
加速器
Moffett S100计算卡x1 700 MHz
编译环境
Moffett模型编译器
运行环境
RuntimeModelTester


报告中的实测数据显示,与国际大厂主流AI推理卡对比,S100运行多个AI主流模型如T5、BERT和ResNet-50,性能为后者6倍。


值得注意的是,这是墨芯首次披露S100运行能够实现单卡推理大模型,突破单卡难以满足高算力需求的瓶颈,有效解决业界对大模型,普遍采取多机多卡分布式的方式,完成推理所带来的时间长、功耗高、成本高等问题。


近年来新兴的NLP模型——T5,曾被称为“全新NLP SOTA预训练模型”,以其高参数量,让许多计算卡“望而却步”。但在本次测试中,S100在单机单卡环境下就能运行T5-8B模型,算力高达141.8 SPS。


除了高算力的优势,相较于当前国际大厂主流推理卡单卡只能支持百亿参数级别的模型,墨芯S100可以支持千亿参数级别的模型


S100不仅运行大模型性能测试表现优秀,运行其他经典AI模型,如自然语言处理领军模型BERT、图像分类识别模型ResNet-50的性能数据也很亮眼,为国际大厂主流AI推理卡的6倍以上。


S100运行BERT模型,SST-2数据集,在单机单卡环境下,不影响精度的前提下,性能达12176 SPS。 


S100运行ResNet-50模型,ImageNet数据集,在单机单卡环境下,不影响精度的前提下,性能达28260 FPS。 


在主频800 MHz的测试环境中,S100运行ResNet-50模型时算力达33197 FPS。浪潮内测主频为700 MHz。


所有测试均是在实际环境中,意味着S100计算卡能够直接投入实际场景的使用,“实战能力”超群,拥有极高的应用价值。这意味着,S100不仅能够提供高性能,还能同时满足高能效比、低功耗和高精度,为企业大幅降低部署成本和运维成本。 


稀疏化计算:不止于快


S100超高性能的秘密武器是稀疏化计算。简单来说,稀疏化的原理是指,在AI矩阵运算中,将无效元素剔除,极大加快计算速度,降低计算成本。它在需要海量数据处理的AI加速计算中优势尤为突出,能在提供高性能的同时,为企业提供高能效比、高精度和低功耗,为企业降本增效。


2021年8月,谷歌人工智能主管Jeff Dean在一次TED演讲中表示,稀疏化是下一代AI架构中最重要的趋势之一。他认为当前模型密集且效率低下,而谷歌的研发方向会把模型变得稀疏而高效。


如果说谷歌现在是稀疏化算法的推动者、稀疏化架构的倡导者,那么墨芯已是稀疏化产业实践者。早在2018年,墨芯即致力于稀疏计算的4产业化进程,采用软硬协同的设计创新方法,将稀疏化算法升级到计算层面,实现高性能和高能效。


现在,根据潜在客户的反馈,稀疏化计算成为极富有竞争力的AI计算解决方案,因为它既能够突破算力极限,又具有良好的通用灵活性,企业能够能以极低的迁移成本,一键式地将稀疏计算功能添加到现有的计算设施中。


因此,墨芯的稀疏化计算解决方案具有广阔的生态前景。墨芯人工智能创始人兼CEO王维表示,墨芯将构建涵盖软件、硬件、应用的AI计算平台,与研究人员、开发者、软件开发商等合作伙伴一起,为各行各业用户提供高性能AI计算服务,共同构筑场景丰富、生机勃勃的稀疏化生态。

640 (13).jpg




创享投资是专注早期投资的创投机构,持续在科技创新、文创消费两大赛道深耕,挖掘高成长性的投资机会。洞察融合商业模式的核心价值,创享围绕“科技+产业”、“文化+消费”两大战略赛道,在新一代信息技术、碳中和、半导体产业、数字经济、元宇宙等核心行业,实现了精准的投资布局,挖掘行业内优秀的创业领袖。

自成立以来,创享持续在创新科技、文创消费领域进行前瞻性布局投资,投资了超过80家优秀创业,代表性投资案例包括:欢瑞世纪(000892)、崇达技术(002815)、墨芯、轻橙时代、列拓科技、天狼芯半导体、天上友嘉、摩奇卡卡、动图宇宙、重力聿画、PKFARE比客、绽放文创、艾葵斯、哇哇鱼等八十余个项目。

秉承着“做创业者背后的支持者”的企业理念,我们时刻关注有创业及实干梦想的团队。通过自身丰富的企业经验和深厚的多方资源,为被投企业提供系统化的投后服务,扶持企业快速成长。

创享投资荣获投中“2021年度中国最佳早期创业投资机构TOP50”、私募排排网“2020年度最佳天使投资机构”、中国风险研究院“2019中国天使投资机构TOP30”、清科 “2017最佳早期投资机构TOP30”、融资中国“2017年度中国天使投资机构TOP30”、中国财经峰会“2019年卓越投资机构”等多项奖项。