华为:企业开发及实施大模型应用过程面临四大挑战
华为公司副总裁、数据存储产品线总裁周跃峰在发布会上 华为 供图
中新网深圳7月14日电(记者 郑小红 陈文)14日在深圳举行的“大模型时代华为AI存储新品发布会”上,华为公司副总裁、数据存储产品线总裁周跃峰表示,企业在开发及实施大模型应用过程中,面临四大挑战。
首先,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右;其次,多模态大模型以海量文本、图片为训练集,当前海量小文件的加载速度不足100MB/s,训练集加载效率低;第三,大模型参数频繁调优,训练平台不稳定,平均约2天出现一次训练中断,需要Checkpoint机制恢复训练,故障恢复耗时超过一天;最后,大模型实施门槛高,系统搭建繁杂,资源调度难,GPU资源利用率通常不到40%。
OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体 华为 供图
目前全球高端存储的主要玩家包括华为、美国的EMC、日本的日立等。当天,华为针对不同行业、不同场景大模型应用,推出OceanStor A310深度学习数据湖存储与FusionCube A3000训/推超融合一体机。这为基础模型训练、行业模型训练,细分场景模型训练推理提供存储最优解,释放AI新动能。
华为分布式存储领域副总裁韩振兴表示,无论在大的计算中心、大的模型里,目前还存在对算力的建设过多、存力的建设过少的问题,这会导致数据归集、预处理到训练/推理的全流程的过程中,算力会闲置,存力不上去的时候,算力只能等待,这样就造成资源的浪费。(完)
- 最近发表
-
- 随机阅读
-
- 欧盟理事会批准向乌克兰提供500亿欧元援助
- 预算绩效管理迈入提质新阶段
- 今年前8月,内蒙古与其他金砖国家进出口贸易总值达262.9亿元
- 强降雨过程趋于结束 广东省结束防汛应急响应
- IMF上调2023年全球经济增长预期至3.0%
- 广西海警出动执法舰艇1900余艘次 维护伏季休渔秩序
- 马岛主权问题,英方不能装聋作哑
- 山东打造优化营商环境5.0版 着力解决企业民众“烦心事”
- 专家:创新生物制剂为重度哮喘患者带来福音
- 泰国一学校体育馆屋顶在暴风雨中坍塌 酿7死18伤
- “过年好!”洪都拉斯外长用中文向中国人民拜年
- 建设银行与腾讯公司签署全面战略合作协议
- 中国航运实力彰显 谋求行业话语权
- 医保“网上办”,便民新举措
- 血肿反复出现!4岁女孩患上少见皮肤肿瘤
- 暴利惊人!几元一斤的散装酒“装”成高价“特供酒”
- 天津10家非物质文化遗产研究基地正式挂牌
- 六盘山区华北豹种群向外围扩散
- 1-9月中国国有企业营业总收入同比增长1.2%
- 2024中关村论坛年会设置人工智能主题日 将发布一批重磅成果
- 热门推荐
-
- 甘肃邀客乡村“踏秋”:61条精品线路“秋日胜春朝”
- 美军军舰在红海击落来袭无人机 伊朗否认参与袭击
- 中国爱乐乐团发布第23个音乐季 以“青春之力”奉上21场音乐会
- “工业元景,数智未来”行业专家相聚辽宁沈阳共探工业元宇宙
- 山西柳林“西瓜之乡”石西:借资源优势助瓜农增收
- “跨越”1400公里 西安医生借助5G远程机器人为患者手术
- 台风“杜苏芮”将致风雨影响 福建沿海9条客运航线停运
- 为《千字文》续新篇章 周兴嗣短篇文学作品推优发布
- 砟肩平推装置首次亮相青藏铁路 让线路检修省时省力
- (第七届进博会)浙江“买手团”进博会下单超150亿元
- 兜牢“老有所养”底线
- 第十届“农民文学奖”湖南湘阴颁发 助力建设和美乡村
- 出厂价45却卖四百元 警惕假机油让汽车发动机报废
- 俄称一夜间共摧毁乌军75架无人机 乌方暂无回应
- 中国成品油价年内第七次上调
- 国家金融监管总局:2023年银行业保险业总资产和主要业务平稳增长
- 彝族画家瓦其比火油画艺术作品展亮相中央民族大学
- 青海海西州都兰县发生4.1级地震 震源深度10千米
- 商界女性赢得大选 冰岛选出第二位女总统
- 2024北京博物馆月电影周将推出近40场观影活动