让人工智能大模型做K12学科试题,能赶上人类水平吗?
中新网北京5月21日电(中新财经记者 宋宇晟)记者了解到,近日,在北京市海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异,其中,答案不唯一的主观题,由海淀教师亲自评卷。
评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。
北京市海淀区教师进修学校校长姚守梅解读大模型K12学科测试结果时指出,在语文、历史等人文学科的考试中,模型欠缺对文字背后的文化内涵以及家国情怀的理解。面对历史地理综合题时,模型并不能像人类考生一样有效识别学科属性。相较于简单的英语题,模型反而更擅长复杂的英语题。解理科题目时,模型会出现以超出年级知识范围外的方法解题的情况。当出现无法理解的考题时,模型依然存在明显的“幻觉”。
此外,智源研究院还发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡的情况。在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上,对比各家公布的演示视频长度和质量,Sora有明显优势,其他开放评测的文生视频模型中,国产模型PixVerse表现优异。
据介绍,本次用于评测的评测体系依托科技部“人工智能基础模型支撑平台与评测技术”和工信部“大模型公共服务平台”项目,智源研究院与10余家高校和机构联合开展大模型评测方法与工具研发。
评测使用20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集,如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、中文语言及认知主观评测集CLCC、面向复杂算法代码生成任务的评测集TACO、文生图主观评测集Image-gen、多语言文生图质量评测数据集MG18、文生视频模型主观评测集 CUC T2V prompts。其中,主观题4000余道,均来源于自建原创未公开并保持高频迭代的主观评测集,严格校准打分标准,采取多人独立匿名评分、严格质检与抽检相结合的管理机制,降低主观偏差的影响。此外,为了更准确地评测语言模型的各项能力,智源专门对所有客观数据集的子数据集进行了能力标签映射。(完)
- 最近发表
-
- 随机阅读
-
- 宁夏综合算力指数首次进入全国前10
- 打卡杭州亚运会丨感受中医文化魅力,通过亚运会向全世界传递
- 2023年云南林木植被碳储量达11.7亿吨 居全国第一
- 澳门同胞抗战图片展在北京开幕
- 以军:已包围汗尤尼斯,将继续向哈马斯据点推进
- 西藏博物馆举办丰富活动庆祝中华人民共和国成立75周年
- 张燕生:中国式现代化要跨越三个陷阱
- 上海专家云端义诊:为云南偏远地区癫痫患儿提供高水平诊疗
- 国产大型邮轮将于2024年商业首航 首航船票自9月20日起发售
- 山西:5G助力不可移动文物“动”起来
- 武汉集中开工101个项目建设世界一流城市电网
- 探访世界智能产业博览会:“绿电”点亮科技未来
- 国家医保局发布生育保险常见问题解答
- 河南新野一小区6名居民被狗咬伤 官方通报处置情况
- 聚焦国乐发展 艺术对谈节目《国乐尽话论》推出
- 四川农业大学3万余名学子用科技助力农业新质生产力发展
- 海南港航回应“新能源车过海”热点:原价运营 增加专班运能
- 海地首都两社区遭黑帮袭击致至少12人死亡
- 浙江东阳寀卢村:“寀卢经验”赋能乡村振兴
- 甘肃以数据全过程监管危险废物 打通危废收集“最后一公里”
- 热门推荐
-
- 城市“伤疤”变成生态公园 废弃矿坑实现华丽转身
- 人民大学报告:未来十年“紫领”人才需求将超过3100万人
- 回应“马克龙称俄乌冲突应谈判解决”,泽连斯基:他在浪费时间
- “未来篇章不输过往华章” 聆听运河文明“碰撞”国潮文化的中外声音
- 清明假期多国游客打卡内蒙古 恐龙博物馆人气足
- 广西崇左45家A级景区“玩个够” 东北游客凭身份证可享首道门票免费
- 市场监管部门2023年查处网络违法违规案件2.7万件
- 英中协会成立50周年招待会举行
- 重庆城市管理职业学院新校区全面竣工
- 特朗普就职当天 加拿大特鲁多内阁将研讨应对关税威胁
- 潮玩新品类:棉花娃娃强势“破圈”
- 推动高质量发展·权威发布|江西:全力建设“旅游诚信省”
- 第二届“北京大学·国家大剧院艺术周”举行
- 中国智能网联汽车驶入全球领先赛道(专家解读)
- 留法勤工俭学运动105周年,如何启迪后人?
- 长沙邮局海关在进境邮件中查获摇头丸15粒
- 纪录片《再会长江》鉴赏交流会在东京举办
- 美巴领导人白宫会晤 “反对政治暴力”成主题词
- 访华回国飞机上,马克龙称不愿再做美国“跟班”|世界观
- 新疆首个中学考古社:用教育连接“丝绸之路”