火山引擎谭待:大模型的超低定价,来自对技术的信心
“降价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”
5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。
豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”
据介绍,大模型推理成本的优化,技术上有很多手段。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。
其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。
谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。
另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。
对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”
“一个人现在创业,如果要花1万块钱调用大模型,可能会觉得有点贵。我们把价格降到1%都不到,100块钱就能用起来,他的想法也就更容易尝试。”谭待表示,企业的AI转型充满不确定性,试错成本要尽量低,才能更快更多地实现大模型的应用落地,从而让整个行业受益。
- 最近发表
-
- 随机阅读
-
- 年产量破千万!新能源汽车跑出“中国速度”
- 瑞典研究型火箭发射时出故障 意外坠入挪威境内!
- 中国驻英使馆回应英官员言论:英国负有排放温室气体历史责任
- 菲律宾发生一起交通事故致7死8伤
- 2023年安徽省人民币各项贷款增量破万亿元
- 南开教师卜欣欣:因为“淋过雨”更愿为无声世界的听力障碍者“撑起伞”
- 湘粤快线货运列车“客车化”开行 加速“湘品入湾”
- “请帮帮我们”,韩国海女发声抗议福岛核污染水排海
- 世界首条“高速公路”秦直道历史文化价值再定位
- 穿越秦岭隧道“气候骤变”视频被指拼接而成
- 韩国在韩日争议岛屿附近开展海洋调查?日方抗议 韩国:不接受
- 鄂尔多斯向世界发出“爱的邀请”:希望遇见每一个浪漫的你
- 8月中国新能源车市场零售102.7万辆 同比增逾四成
- (身边的变化)旅游周边产品进入“Next level”窥见消费活力足
- 以军方称叙利亚向戈兰高地发射至少一枚火箭弹
- 自媒体无底线蹭流量风气几时休
- 国家软实力关键基础工程实验室在浙江大学挂牌
- 陈逸恒:《天山之子张仲瀚》是一部有情怀、值得演的电影
- 创新高、收获丰!第四届消博会“成绩单”精彩纷呈
- 八宿县旺比村:盐碱地变身植物工厂
- 热门推荐
-
- 2024年中非合作论坛峰会期间 北京禁飞“低慢小”航空器
- 《狂飙》:扫黑除恶题材创作的新探索
- 【寻味中华】柳州螺蛳粉:吃否吃否,应是汤鲜笋臭
- 中国超20城出台购房即可申请落户政策
- 陕西全省小麦收获已过七成
- 剧作家谢丽泓:越剧《钱塘里》原型故事发生在我家
- 报告公布中国数字经济先导省份 广东等7省份在列
- 外媒:德国社民党提名朔尔茨为总理候选人
- 俄罗斯留学生晓燕寻梦红楼:这是看过最棒的演出
- 曹操高陵遗址博物馆开馆
- 长假35城楼市成交下滑约2成
- 亚洲最大火电二氧化碳捕集利用封存项目建成投产
- 美洲玻利瓦尔联盟:强烈反对特朗普威胁“收回”巴拿马运河言论
- 生活中的感受开出创作之花 《二十不惑2》豆瓣8.1引热议
- 阿曼首都一清真寺附近发生枪击已致4人死亡
- 留学期间如何做好职业规划?
- 2024青岛啤酒节潍坊首棒开跑
- 美国中央司令部:摧毁也门胡塞武装七台雷达
- 传播文化 增进友谊(走近中国文化·架起友谊桥梁)
- 2024年电力行业电能质量发展论坛致力电力行业的绿色低碳转型