浪潮信息彭震:加速智算系统创新,切实解决大模型算力难题
中新网北京11月7日电(邱牧子)2023年,生成式人工智能的爆发带来了历史性产业机遇,正在逐步改造重塑社会、经济、文化等各个领域。
浪潮信息董事长彭震近日在接受中新网采访时称,生成式AI蓬勃发展的背后,算力尤其是AI算力已经成为驱动大模型进化的核心引擎。但大模型时代的算力供给,与云计算时代的算力供给,存在很大的差异性。目前大模型研发已经进入万卡时代,从事大模型研发的公司和团队,普遍面临“买不起、建不了、算不好”的困局。
如何解决上述困境?彭震认为,需要以算力基建化改善算力供给,促进算力普惠,以算力工程化指导完善算力系统最佳实践,提升算力效率,以模型训练工具化手段,降低模型训练门槛,推动全栈智算系统创新,通过“三化”融合互补,促进产业链条各环节协同配合,加速释放大模型生产力,打造人工智能产业良好发展环境。
一方面,要实现算力供给基建化,缓解“买不起”困境。彭震表示,大模型对海量算力资源的消耗,急剧抬高了准入门槛。除了通过政策引导、政策补贴等方式降低企业融资成本外,还应大力发展普适普惠的智算中心,通过算力基建化使得智算力成为城市的公共基础资源,供用户按需使用,发挥公共基础设施的普惠价值。用户可以选择自建算力集群,或者是采用智算中心提供的算力服务来完成大模型的开发。
在他看来,通过大力发展智算中心新基建,中国和美国大模型产业的发展已经呈现出完全不同的发展路径。在美国,算力的私有化决定了大模型产业技术只能掌握在少数企业手中,而中国大力推动的算力供给基建化,为大模型创新发展提供了一片沃土,将使得整个产业呈现“百模争秀”的全新格局。
另一方面,追求算力效率工程化,化解大模型算力系统“建不了”难题。彭震直言,即使解决了算力供应的问题,通用大模型开发仍然是一项极其复杂的系统工程,如同F1赛车的调校一样。F1赛车的性能非常高,但如何调校好这部赛车,让它在比赛中不仅能跑出最快圈速,而且能确保完赛,对整个车队的能力要求是非常高的。
彭震认为,大模型不应是简单粗暴的“暴力计算”,算力系统构建也不是算力的简单堆积,而是一项复杂的系统工程,需要从多个方面进行系统化的设计架构。包括要解决如何实现算力的高效率、要解决算力系统如何保持线性可扩展以及算力系统长效稳定训练问题等。
“因此,化解大模型‘建不了’难题,根源在于提升算力效率。但目前业界开源项目主要集中在框架、数据、神经网络乃至模型等软件及算法层面,硬件优化的方法由于集群配置的差异,难以复用而普遍处于封闭状态。这就需要具备大模型实践的公司将集群优化经验予以工程化,以硬件开源项目、技术服务等多种方式,帮助更多公司解决算力效率低下的难题。”彭震说。
此外,还要通过模型训练工具化,解决“算不好”难题。彭震表示,解决“算不好”难题,根本上要保障大模型训练的长时、高效、稳定训练的问题。例如,大模型训练过程的失效故障,大模型训练会因此中断,不得不从最新的检查点重新载入以继续训练,这个问题在当前是不可避免的。提高算力系统的可持续性,不仅需要更多机制上的设计,更依赖于大量自动化、智能化的模型工具支撑。
由此,彭震进一步指出,模型训练工具化保障手段,能够有效降低断点续训过程中所耗费的资源,这意味着大大降低训练成本并提升训练任务的成功率,会让更多公司和团队参与到大模型创新之中。(完)
- 最近发表
-
- 随机阅读
-
- 中年题材剧的苦恼与夹生
- 西安一高校开设烹饪课:让学生们都能“露一手”
- 2024年我国举办经贸类展会超3800场
- 走出围墙 艺术共享
- 江西兴国县打造《长征组歌》驻地演出传承红色基因
- 美国得州一辆汽车冲撞公交站候车人群 致8死11伤
- 渣打集团2023年对中国相关投资效益显著
- 伊朗总统:美军必须离开中东地区!
- (经济观察)中国制造业表现不俗
- 广西玉林一商场突发持刀伤人案 致4人受伤
- 马斯克或将年底卸任推特首席执行官
- 人这一辈子,一定要去一趟石家庄!
- 哈铁春运累计运送旅客1169万人次 同比增长45.8%
- 员工待遇岂能画饼充饥
- 欧洲青年在渝谈文化传承:用数字化手段创新表达
- “清洁陇电”外送形成新品牌
- 减重版司美格鲁肽在中国获批,减肥人士都能用吗?
- 广东开平一校园周边出现“人贩子”?当地教育局辟谣
- 巴西里约州发生翻船事故 已致6死2失踪
- 美参议院批准布朗出任美军参谋长联席会议主席
- 热门推荐
-
- 巧合?美少数族裔居住区频繁遭遇“水危机”
- 甘肃连续六年免费检查妇女“两癌”累计受检超260万人
- 福建平潭扎实做好防台风防汛工作
- 美国国会正式确认特朗普当选总统
- 福州版“清明上河图”来了!
- 超强台风“苏拉” 裹挟狂风暴雨靠近闽粤沿海
- 中央气象台继续发布高温橙色预警
- 菲律宾国会参议院正式批准RCEP
- 沪指周三探底回升 实现“两连涨”
- “汉译世界学术名著丛书”出版规模将达1000种
- 国际原子能机构:扎波罗热核电站周围局势仍不稳定
- 新疆举行单次最大规模文物移交仪式
- 冰雪运动属于高风险运动 滑雪前该不该买份保险?
- 推动高质量发展·权威发布|江西:持续深化细化“1269”行动计划
- 中新人物 | 郑佩佩:“侠女”的一生
- 记者手记:在千年古县岐山当“文物普查员”
- 共建“一带一路”促进全球共同发展——访西班牙前驻华大使胡安·莱尼亚·卡萨斯
- 超七成受访大学生认为“如何找准人生方向”是主要困惑
- 马来西亚沙巴举行马中谊跑活动 冀增进沙中联系
- 高考倒计时 如何给考生正确补充营养