让人工智能大模型做K12学科试题,能赶上人类水平吗?
中新网北京5月21日电(中新财经记者 宋宇晟)记者了解到,近日,在北京市海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异,其中,答案不唯一的主观题,由海淀教师亲自评卷。
评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。
北京市海淀区教师进修学校校长姚守梅解读大模型K12学科测试结果时指出,在语文、历史等人文学科的考试中,模型欠缺对文字背后的文化内涵以及家国情怀的理解。面对历史地理综合题时,模型并不能像人类考生一样有效识别学科属性。相较于简单的英语题,模型反而更擅长复杂的英语题。解理科题目时,模型会出现以超出年级知识范围外的方法解题的情况。当出现无法理解的考题时,模型依然存在明显的“幻觉”。
此外,智源研究院还发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡的情况。在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上,对比各家公布的演示视频长度和质量,Sora有明显优势,其他开放评测的文生视频模型中,国产模型PixVerse表现优异。
据介绍,本次用于评测的评测体系依托科技部“人工智能基础模型支撑平台与评测技术”和工信部“大模型公共服务平台”项目,智源研究院与10余家高校和机构联合开展大模型评测方法与工具研发。
评测使用20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集,如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、中文语言及认知主观评测集CLCC、面向复杂算法代码生成任务的评测集TACO、文生图主观评测集Image-gen、多语言文生图质量评测数据集MG18、文生视频模型主观评测集 CUC T2V prompts。其中,主观题4000余道,均来源于自建原创未公开并保持高频迭代的主观评测集,严格校准打分标准,采取多人独立匿名评分、严格质检与抽检相结合的管理机制,降低主观偏差的影响。此外,为了更准确地评测语言模型的各项能力,智源专门对所有客观数据集的子数据集进行了能力标签映射。(完)
- 最近发表
-
- 随机阅读
-
- 西藏林芝:退役老兵重聚消防,重温热血生活
- 江淮中东部四川盆地中部有大雾天气 广西等地多阴雨天气
- 山西借“数字化”向亚美尼亚民众展示晋国青铜艺术
- 中新教育丨由“输血”到“造血” 北京推进“组团式”教育帮扶工作
- 全国朗诵艺术第10届朗诵雅集在京举办
- 《恒星异客》第三季上新 获中国科幻界“四大天王”联袂推荐
- 2024非遗年货嘉年华火热开场 “潮味”年货“杭儿风”满满
- 享受研发费用加计扣除税收优惠 四川1.77万家企业减免195.05亿元
- 文化中国行丨凤凰古城:历史和文化交织独特魅力焕发新活力
- “为我们打开了更多了解中国的窗口”
- 郑州民企话发展:现代企业制度建设激活内生动能
- 确保不遗漏任何车辆人员 梅大高速塌方灾害救援将不间断开展
- 今年国庆就地过节 严格控制跨地市团队游
- 法治如何为“千万工程”赋能?专家学者建言落脚共同富裕
- 中新健康丨专家倡导规范化治疗提升中国淋巴瘤患者五年无病生存率
- 柬埔寨多个省份宣布成为“无雷区”
- 金边中国签证申请服务中心正式开业
- 祁连山生态摄影作品再获国际赛事金牌
- 首届全国大学生职业规划大赛总决赛即将开赛
- 铁路上海站单日客发量65.6万人次创新高 虹桥站有望连破纪录
- 热门推荐
-
- 湖北湖南安徽江苏等地有强降雨
- 共话新质生产力丨 新质生产力的“新”,关键在何处?
- 欧盟新一轮出手,将裁掉俄罗斯100多亿欧元?
- 浙江创新医疗人才“县聘乡用”机制 提高基层医护待遇
- 踏实演戏的热依扎终于迎来“大水花”
- 机械科技齐助力 各地秋粮作物播种和田间管理有序进行
- 2023年中国(阿尔山)旅游大会开幕
- 中国证监会同意碳酸锂期货及期权注册
- 拿他人肖像AI换脸?侵权!
- 金庸小说翻拍史:停不下来的“射雕” 毁誉参半的评价
- 隐形加班“认定难,下班后的“离线权“该咋保障?
- “中国普洱茶第一县”规范普洱茶生产营销
- 新疆喀什市逾20万亩棉花陆续开播 农田里满满科技范儿
- 俄罗斯著名艺术家瓦列里·列德涅夫作品展在四川博物院开展
- 剩菜盲盒悄然兴起 “临期食品”你会买吗?
- 同江铁路口岸累计过货量突破800万吨
- 民政部:将聚焦整治养老服务领域非法集资的突出风险隐患
- 四川省气象台发布暴雨蓝色预警
- 冰雪经济“多点开花”打造新业态 “滑雪+”点燃民众冬日热情
- 湖南永州加速开放发展 蔬菜产业“链”全球