火山引擎谭待:大模型的超低定价,来自对技术的信心
“降价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”
5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。
豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”
据介绍,大模型推理成本的优化,技术上有很多手段。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。
其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。
谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。
另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。
对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”
“一个人现在创业,如果要花1万块钱调用大模型,可能会觉得有点贵。我们把价格降到1%都不到,100块钱就能用起来,他的想法也就更容易尝试。”谭待表示,企业的AI转型充满不确定性,试错成本要尽量低,才能更快更多地实现大模型的应用落地,从而让整个行业受益。
- 最近发表
-
- 随机阅读
-
- (走进中国乡村)“中国核雕之乡”千年技艺藏致富乾坤
- 2024北京中轴线美食文化节启动 品“舌尖上的中轴”
- 让百万民众共饮丹江水 河南沈丘“南水北调”供水工程提速
- 全球24城市长(代表)杭州对话城市治理
- 提振信心!多项增长数据见证中国经济“拔节向上”活力足
- 春节期间新疆短途游花样繁多受热捧
- 中法产业文化交流活动周在北京经开区启动
- 音乐剧《一出好戏》深圳全球首演
- 黑龙江谷雨时节开犁春播 旱田已播77.5万亩
- 国产大飞机C919累计承运旅客突破100万人次
- 台风“贝碧嘉”逼近日本冲绳 日本气象厅发布“严重预警”
- 人这一辈子,一定要去一趟木垒!
- 广西助残就业产品推介会活动在南宁启动
- 美国共和党全国代表大会将举行 特朗普乘飞机抵达密尔沃基
- 中国能源转型变革的成果主要有哪些?国家能源局从五个方面总结
- 6月份北京CPI环比下降 同比涨幅回落
- (高质量发展调研行)探访黄山黟县民宿产业:化身“文化之窗” 讲述乡村故事
- 激发市场活力 上海支持多种业态混合经营
- 美网站刊文对比中美政治:谁才是真正的民主?
- 江西乡村振兴见闻:“新农人”的“创业带富经”
- 热门推荐
-
- 何以中国·弦歌不辍|“和为贵”调解室的文化秘方
- 加拿大3月份通胀率轻微反弹
- 广东乐昌再发现中华穿山甲 将择时放归野外
- (台青话融合)台胞张一民:爱上天津人的热情
- 代餐食品减肥靠谱吗?专家释疑
- 墨西哥发生5.8级地震 震源深度120千米
- 全国消费品以旧换新行动—北京站暨北京消费季焕新生活节启动
- 中国国家发改委官员简介增发1万亿元国债主要用途
- 景德镇御窑博物院院长翁彦俊:以国际化表达讲好申遗故事
- 广州市公安局接收其首架空客H175直升机
- 央渝同行(南岸)发展对接活动举行 签约投资金额495亿元
- 马来西亚华裔扎根宁夏 变“不毛地”成“绿色银行”
- 男性也会得乳腺癌 专家:遗传基因突变是最明确的危险因素之一
- 西安:文化惠民为仲夏夜“添彩”
- 一架从台北飞往香港的航班出现“紧急情况”返航
- 中方对卡霍夫卡水电站堤坝被破坏表示严重关切
- 北京首批市级旅游度假区出炉
- 安徽局部或有强对流天气
- 哈铁全力迎战暴雪保障铁路安全畅通
- 中国宣布终止对原产于澳大利亚进口大麦“双反”措施