3月31日,清华系创业公司无问芯穹在上海发布了大模型开发与服务平台“无穹Infini-AI”,公司发起人汪玉携联创团队首次集体公开亮相。这是一家主要做大模型软硬件一体化计算加速解决方案的公司,成立不到一年,背后已有豪华阵容加持。
天眼查信息显示,上海无问芯穹智能科技有限公司去年5月才成立,12月时曾发生工商信息变更,新增多名股东,包括百度、腾讯和智谱AI。红杉中国、金沙江资本、徐汇资本和无限基金此前也入股了这家公司。
界面新闻了解到,无问芯穹的发起人汪玉是清华大学电子工程系长聘教授、系主任,长期从事智能芯片、高能效电路与系统研究,他的另一身份是AI芯片公司深鉴科技联合创始人。无问芯穹联合创始人兼CEO夏立雪曾任阿里云用户增长产品技术负责人,汪玉是其导师。
2022年底,大模型引发社会广泛关注后,夏立雪和汪玉认为,国内整体算力情况距离国际先进水平有明显差距,光靠芯片工艺提升或是多元芯片的迭代已远远不够,需要建立一个大模型生态系统,让不同模型能自动部署到不同硬件上,促使各种算力得到有效利用。
此外,无问芯穹联合创始人兼CTO颜深根为原商汤科技数据与计算平台部执行研究总监,帮助商汤搭建了两万片GPU的大规模高性能AI计算平台。联合创始人兼首席科学家戴国浩现任上海交通大学长聘教轨副教授,清源研究院人工智能设计自动化创新实验室负责人。
人工智能对算力资源的需求及高昂成本,是大模型落地的公认难题。这或许是前述入股者在光环之外,向无问芯穹抛出橄榄枝的重要原因之一。
市场咨询机构IDC和浪潮信息发布的数据显示,预计2022到2027年期间,中国智能算力规模年复合增长率达33.9%。中信证券研报指出,随着业界对超长文本的支持需求不断提升,预计硬件基础设施也将随之升级,以满足海量文本数据的存储和计算要求,因此持续看好AI算力层面的投资机会。
算力贵、算力少、不会用,这是目前大模型落地的三个关键难点。夏立雪指出,各个公司对于AI技术的掌握能力不一样,获取适合自己业务规模和需求的算力能力也不相通。此外,各家公司面临的共同难题是如何控制大模型的“性价比”。
例如,行业软件公司具有稳定的业务基础和一定的软件开发实力,但随着业务深入探索,他们需要与业务增长速度匹配的训练和推理资源。当应用场景突然出现爆款时,公司立刻需要弹性算力,这时遇到的难点就是灵活性和性价比——一个具有100万DAU(日活)的应用,每年要承担的成本达到千万级。
当下的大模型产业包含大模型公司、软件和应用公司及下游解决方案公司,而解决方案公司所做的就是控制算力成本。
无问芯穹处于模型和芯片之间的“中间层”。汪玉曾指出,我国AI大模型的发展在芯片和算法上存在挑战。在模型层和芯片层之间,如何做高效的部署,通过统一的中间层解决异构芯片的适配问题会是一条重要途径。该公司在努力做这样的中间层,在云端优化不同的算力,以此支撑更多不同的模型。
为解决大模型落地“最后一公里”的问题,近两年已有不少“中间层”公司的探索浮出水面,但方向不尽相同。
成立于2021年的潞晨科技,主要通过分布式AI开发和部署平台降低大模型落地成本。今年,潞晨科技旗下的国内开源团队Colossal-AI开源Sora复现架构方案Open-Sora,据称可降低46%复现成本。有头部AI和RPA(机器人流程自动化)背景的澜码科技则基于底层大语言模型制定⾃动化平台,协助企业实现人机交互。
近一年,无问芯穹主要在“优化”上进行逐步突破。2023年11月,其宣布了在英伟达GPU和AMD等芯片上取得的优化效果,据称取得了当时最好的计算加速效果,实现大模型任务2到4倍的推理速度提升。目前,无穹Infini-AI已支持20多个模型及10余种计算卡。
具体而言,该公司对大模型成本的优化包含算法创新、模型计算优化、平台优化和硬件推理优化四个方面。已有的落地案例是,同道猎聘在一个月前发布了AI驱动的数字人面试官等AI应用,其中部分应用使用了无问芯穹提供的弹性算力方案,在推理加速和成本上实现了进步。
发布平台的同时,无问芯穹宣布“无穹Infini-AI”自3月31日起正式开放全量注册,给所有实名注册的个人和企业用户提供百亿tokens(文本处理过程中的最小单位)免费配额。如何加速拓展商业化,将是这家新AI初创公司面临的重要节点。
不过这仅仅是开始。如今大模型行业已经“明星”云集,有了资本支持之后,在不同缺口着力的创业公司如何建立长久的商业模式,决定了谁能在淘汰赛中留到最后。