豆包的压力才刚刚开始
据记者了解,目前豆包团队内部还在讨论豆包App是否要接入DeepSeek。
文章来源:张洋洋, 财联社 AI daily
图片来源:由无界AI生成
今日,字节跳动豆包大模型团队提出了全新的稀疏模型架构 UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较 MoE 架构提升2-6倍,推理成本最高可降低83%。
目前,国内外大模型领域的竞争愈发激烈,已然进入白热化阶段。豆包在AI基础层和应用层上均进行了全面布局,并持续迭代升级。
大模型持续降本增效
根据豆包大模型团队的研究,在Transformer架构下,模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大,推理成本会急剧增加,速度变慢。
尽管MoE(混合专家)架构已经成功将计算和参数解耦,但在推理时,较小的batch size就会激活全部专家,导致访存急剧上升,进而使推理延迟大幅增加。
字节跳动豆包大模型Foundation团队提出了UltraMem,这是一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。
实验结果表明,在参数和激活条件相同的情况下,UltraMem在模型效果上超越了MoE,并将推理速度提升了2-6倍。此外,在常见batch size规模下,UltraMem的访存成本几乎与同计算量的Dense模型相当。
可以看到,不论是训练端还是推理端,大模型厂商均在力争降本增效。核心原因是随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈,而DeepSeek已经走通了“低成本高性能”突破的这条路。
岩芯数智CEO刘凡平在接受《科创板日报》记者采访分析认为,降低大模型的成本,业内更倾向于从技术和工程层面进行突破,实现架构优化的“弯道超车”。基础架构,如Transformer架构成本依旧高企,新的架构研究必须要有;基础算法,主要是反向传播算法,这类算法可能是深度学习的瓶颈。
在刘凡平看来,短期内,高端芯片市场仍然还是会由英伟达主导。推理应用市场需求在增加,国产GPU公现在也有机会。从长期来看,算法一旦创新出的结果,还是比较惊人,整个算力市场需求后期有待观察。
豆包的压力才刚刚开始
在刚刚过去的春节,DeepSeek以其低廉的训练成本和高效的运算效率迅速火爆全球,成为AI领域的黑马。目前,国内外大模型领域的竞争愈发激烈,已然进入白热化阶段。
DeeSeek是目前国内大模型中,豆包最强劲的对手,前者在1月28日的日活跃用户数首次超越后者。目前DeepSeek的日活数据已经突破4000万,成为中国移动互联网历史上第一个上线不足一个月,但闯进全网日活Top50的应用。
近几日,豆包大模型团队连续发力。两天前,其刚刚发布视频生成实验模型“VideoWorld”,不同于 Sora 、DALL-E 、Midjourney 等主流多模态模型,VideoWorld 在业界首次实现无需依赖语言模型,即可认知世界。
目前,豆包在AI基础层和应用层进行了全面布局,并持续迭代升级。其AI产品矩阵已涵盖多个领域,如AI聊天助手豆包、猫箱、即梦AI、星绘、豆包MarsCode等。
2月12日,豆包概念股午后快速走高。据Wind数据显示,抖音豆包指数2月以来累计涨幅已超15%。个股方面,博彦科技强势涨停,汉得信息快速拉升一度涨停,广和通、先进数通等盘中冲高。
中信证券此前发布研报认为,豆包AI的生态扩张将引发新一轮巨头的技术投资周期。AI产业具有强网络效应和规模效应,当头部AI应用获得用户领先优势后,其模型精准度、边际成本以及用户粘性等竞争优势将逐渐加强。
豆包用户数持续增长,基于豆包AI的应用生态将有望加速,一方面,将催化公司对AI训练及推理算力基础设施投资,另一方面,豆包AI的快速增长将刺激其它巨头厂商加大对AI基础设施投资。
但是对于豆包自己而言,与尖子生DeepSeek的较量或许才刚刚开始。
作为一个开源模型,DeepSeek的低成本和高性能正在改变不少公司的模型选择策略。目前,华为、百度等公司旗下的不少AI应用都宣布了接入DeepSeek,甚至字节跳动自己,旗下的飞书的多维表格功能已接入DeepSeek-R1模型,火山引擎也做了适配。
据《科创板日报》记者了解,目前,豆包团队内部还在讨论豆包App是否要接入DeepSeek,从用户体验的角度来讲,选择一个效果更优的模型无可厚非,但是放弃自家模型选择友商,也很难向股东交代。这还不考虑,新增模型接入,增加适配负担等问题。
免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。
免责声明:文章中的所有内容仅代表作者的观点,与本平台无关。用户不应以本文作为投资决策的参考。
你也可能喜欢
XRP鲸鱼继续积累狂欢,增加了2000万
XRP鲸鱼积累了20M令牌,这加剧了人们对潜在价格转移的猜测。鲸鱼在48小时内收购了150m XRP,这表明了看涨的情绪。分析师预测…
![](https://img.bgstatic.com/multiLang/image/social/1c3a6b7ae79d83e7bee75e7a0c56dc181739999402200.jpg)
![](https://img.bgstatic.com/multiLang/image/social/118007458585f198d75b83e5a4e913c91739999402439.jpg)
摩根大通(JPMorgan Chase)在Chase,America和Wells Fargo客户的一年中损失了456,000,000美元的骗局,以推出新的Zelle限制
摩根大通(JPMorgan Chase)正在对客户使用付款服务Zelle的方式进行重大更改。从下个月开始,该银行表示将开始阻止Zelle付款,这些Zelle付款似乎与社交媒体联系和在线市场相关。 “为了保护您免受欺诈和骗局的侵害,应使用Zelle服务[…]
![](https://img.bgstatic.com/multiLang/image/social/f1a62719ab7fd9eba8d4286e76215f221739999402556.jpg)
Mantra获得了第一辆Vara Defi许可证,为金融产品的全球增长和创新铺平了道路
![](https://img.bgstatic.com/multiLang/image/social/07f86e35d5c5399011a920be6d35ab491739999402696.jpg)
加密货币价格
更多![Bitcoin](https://img.bgstatic.com/multiLang/coinPriceLogo/bitcoin.png)
![Ethereum](https://img.bgstatic.com/multiLang/coinPriceLogo/ethereum.png)
![XRP](https://img.bgstatic.com/multiLang/coinPriceLogo/ripple.png)
![Tether USDt](https://img.bgstatic.com/multiLang/coinPriceLogo/0208496be4e524857e33ae425e12d4751710262904978.png)
![BNB](https://img.bgstatic.com/multiLang/coinPriceLogo/binance.png)
![Solana](https://img.bgstatic.com/multiLang/coinPriceLogo/solana.png)
![USDC](https://img.bgstatic.com/multiLang/coinPriceLogo/usdc.png)
![Dogecoin](https://img.bgstatic.com/multiLang/coinPriceLogo/dogecoin.png)
![Cardano](https://img.bgstatic.com/multiLang/coinPriceLogo/cardano.png)
![TRON](https://img.bgstatic.com/multiLang/coinPriceLogo/tron.png)