火山引擎谭待:大模型的超低定价,来自对技术的信心
“降价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”
5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。
豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”
据介绍,大模型推理成本的优化,技术上有很多手段。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。
其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。
谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。
另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。
对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”
“一个人现在创业,如果要花1万块钱调用大模型,可能会觉得有点贵。我们把价格降到1%都不到,100块钱就能用起来,他的想法也就更容易尝试。”谭待表示,企业的AI转型充满不确定性,试错成本要尽量低,才能更快更多地实现大模型的应用落地,从而让整个行业受益。
- 最近发表
-
- 随机阅读
-
- 台风“马力斯”袭粤 部分地区学校停课客船停航
- 三年来 西藏那曲乡村振兴促群众增收9334万元
- 不可忽视的沙门氏菌:夏秋季为感染高峰期,儿童感染占比较高
- “复兴号”开上西格段 青藏铁路正式进入“动车时代”
- 持续发力!广发银行加快推进房地产融资协调机制落地见效
- 福建宁德海警局成功处置一起渔排火情
- “三合一”产前筛查技术高效防控出生缺陷
- 俄官员:若七国集团禁止对俄出口 俄将终止黑海港口农产品外运协议
- 2024年云南省社会科学普及宣传周启动 200余项活动开启“社科盛宴”
- 广东公共资源交易平台一年累计交易金额1.9万亿元 将持续优化风险防控模型
- 青海湖畔“海滨藏城”:白藏羊高效养殖成牧民致富“喜羊羊”
- 年轻戏剧人创作 新趋势:重体验,强思辨
- 关注外贸促稳提质:推动海铁联运 促进降本增效
- 全国台联第二十一届台胞青年千人夏令营贵州分营开营
- (经济观察)中国多地“试水”现房销售,期房的时代过去了?
- 加拿大野火为何今年如此猛烈?
- 中国团队研发出一种用于环保电池的高效催化剂
- (新春走基层)铁路客运值班员牛佳松:守护每一位旅客平安回家
- 推动高质量发展·权威发布|安徽:积极服务长三角优质产业资源在省内布局
- “水韵江苏”文旅推介会暨东方美学生活展在巴黎举办
- 热门推荐
-
- 拍摄历时六年 这部电影如何记录雪豹点滴生活?
- 法润彩云南 | 法治“和谐曲”让民族团结欢歌越唱越响亮
- 宁夏遭遇特强浓雾 最低能见度27米
- 山西11市市本级不动产登记业务年底将实现跨市办理
- 大熊猫“云川”和“鑫宝”已适应美动物园新家环境与食物
- (寻味中华丨文博)在孔子故里观击鼓破蒙 与圣贤对望
- 产假每月仅预支2500元生活费?法院:协议无效 公司要赔偿
- 云南大象表演公益诉讼案一审宣判
- “反浪费”成为餐饮服务的常态功能,已有4.8亿美团用户选择“无需餐具”
- 前9月人民币跨境收付金额增长24%
- 千余项科创成果北京亮相 首设东盟展区
- 年产7400万度清洁电能 全球单机容量最大风电机组启动发电
- 开心果、玫瑰花茶、皮影戏……中国市场给叙利亚产品带来机遇
- “世界稀土之都”包头再添稀土产业新成员
- 过度追求社交“轻量化” 63.5%受访青年担心缺少知心人
- 南音《文姬归汉》亮相第22届上海国际艺术节演出
- 著名诗人作家齐聚武汉 共话诗歌发展趋势
- 兴业银行晋升全球银行1000强第16位
- 惠普发布战99 Monster满血高算工作站 为中小企业转型提供强大动能
- 案值68.91亿元!黄埔海关开展打击走私及虚开骗退税专项行动