网上问医断病,这轮AI行不行?
网上问医断病,这轮AI行不行?
【今日视点】
◎本报记者 张梦然
你在网上搜过“我哪哪疼是不是得了啥啥病”吗?答案可能不尽如人意。但随着ChatGPT等大型自然语言模型(LLM)风生水起,人们开始尝试用它来回答医学问题或医学知识。
不过,靠谱吗?
就其本身而言,人工智能(AI)给出的答案是准确的。但英国巴斯大学教授詹姆斯·达文波特指出了医学问题和实际行医之间的区别,他认为“行医并不只是回答医学问题,如果纯粹是回答医学问题,我们就不需要教学医院,医生也不需要在学术课程之后接受多年的培训了。”
鉴于种种疑惑,在《自然》杂志新近发表的一篇论文中,全球顶尖的人工智能专家们展示了一个基准,用于评估大型自然语言模型能多好地解决人们的医学问题。
现有的模型尚不完善
最新的这项评估,来自谷歌研究院和深度思维公司。专家们认为,人工智能模型在医学领域有许多潜力,包括知识检索和支持临床决策。但现有的模型尚不完善,例如可能会编造令人信服的医疗错误信息,或纳入偏见加剧健康不平等。因此才需要对其临床知识进行评估。
相关的评估此前并非没有。然而,过去通常依赖有限基准的自动化评估,例如个别医疗测试得分。这转化到真实世界中,可靠性和价值都有欠缺。
而且,当人们转向互联网获取医疗信息时,他们会遭遇“信息超载”,然后从10种可能的诊断中选择出最坏的一种,从而承受很多不必要的压力。
研究团队希望语言模型能提供简短的专家意见,不带偏见、表明其引用来源,并合理表达出不确定性。
5400亿参数的LLM表现如何
为评估LLM编码临床知识的能力,谷歌研究院的专家谢库菲·阿齐兹及其同事探讨了它们回答医学问题的能力。团队提出了一个基准,称为“MultiMedQA”:它结合了6个涵盖专业医疗、研究和消费者查询的现有问题回答数据集以及“HealthSearchQA”——这是一个新的数据集,包含3173个在线搜索的医学问题。
团队随后评估了PaLM(一个5400亿参数的LLM)及其变体Flan-PaLM。他们发现,在一些数据集中Flan-PaLM达到了最先进水平。在整合美国医师执照考试类问题的MedQA数据集中,Flan-PaLM超过此前最先进的LLM达17%。
不过,虽然Flan-PaLM的多选题成绩优良,进一步评估显示,它在回答消费者的医疗问题方面存在差距。
专精医学的LLM令人鼓舞
为解决这一问题,人工智能专家们使用一种称为设计指令微调的方式,进一步调试Flan-PaLM适应医学领域。同时,研究人员介绍了一个专精医学领域的LLM——Med-PaLM。
设计指令微调是让通用LLM适用新的专业领域的一种有效方法。产生的模型Med-PaLM在试行评估中表现令人鼓舞。例如,Flan-PaLM被一组医师评分与科学共识一致程度仅61.9%的长回答,Med-PaLM的回答评分为92.6%,相当于医师作出的回答(92.9%)。同样,Flan-PaLM有29.7%的回答被评为可能导致有害结果,Med-PaLM仅5.8%,相当于医师所作的回答(6.5%)。
研究团队提到,结果虽然很有前景,但有必要作进一步评估,特别是在涉及安全性、公平性和偏见方面。
换句话说,在LLM的临床应用可行之前,还有许多限制要克服。(来源:科技日报)
-
上一篇
-
下一篇
相关推荐
中新健康周报|医疗领域全国共立案5.2万人;海尔生物并购上海莱士
中新健康 | 首儿所通州院区主体结构封顶 预计2027年投入使用
中新健康|北大医疗今年前三季度收入约39.3亿元 预计年内实现盈亏平衡
医保统筹支付、个人自付、个人自费分不清?看完你就明白了!
东北铁栏杆是甜的?打出溜滑也能受重伤?这些操作轻易别尝试
专访哈佛大学刘军:AI医疗是人类医生的助手而非对手
在冬季如何防滑?不慎跌倒,如何正确处理?
好医生集团董事长耿福能:守正创新,促进中医药产业高质量发展
为什么有些食物让我们心情愉悦
“碎片化睡眠法”危害大不宜效仿
木薯糖水爆火,有人为啥喝“中毒”了
厚底雪地靴易摔伤或致筋膜炎 提醒:80%的人鞋都选错了
- 最近发表
-
- 随机阅读
-
- 走进南博实验室,探秘纸质文献如何“冻龄”?
- 56幅《红楼梦》系列书画作品在冯其庸学术馆展出
- 慕思举办睡眠博物馆(筹)开馆系列活动,解锁睡眠新世界
- 截至9月底中国登记在册经营主体达1.88亿户
- 全球近2000家品牌亮相2024广州中食展
- 侵犯名誉权案元气森林胜诉 某自媒体被判公开道歉并赔偿
- 旅日大熊猫“彩浜”迎6岁生日
- 第六届湘江金融论坛长沙举办 共话金融强国
- 山西启动“趣享山西好风光”城市名片联动计划
- 1100万人次!我国入境旅游恢复发展的态势持续向好
- 河南平顶山发生煤矿事故 超过10人被困失联
- 浙江瑞安“清明早茶”开采 侨力助推茶叶出海“破圈”
- 世卫回应“阿斯巴甜致癌”:两大机构7月14日发布结论
- 数字空间升维传统节日文化
- 访澳大利亚学者古德曼:回忆中国45年变迁 改革开放影响巨大
- 广州本外币各项存款余额8.62万亿元
- 诗酒趁年华!酒文化诗词大赛彰显中华文脉魅力
- 避免“缠腰龙”袭扰 最好接种疫苗
- 知网被罚敲响信息安全警钟
- 甘肃文县茶农半生“与茶为伍”:谋生工具更是修身养性佳品
- 热门推荐
-
- 传统民俗活动“出圈” 催热福建旅游市场
- 2024年中国十大税收新闻、世界税收十件大事公布
- 广西贺州将首次开行进港动车 2小时28分可达香港
- 河北省市监局回应假防火玻璃事件:会有相应安排
- 农旅融合“特色”发展 湖南衡阳乡村旅游正热
- 再呈永恒的歌剧经典 浙音版《图兰朵》上演
- 商务部:京沪等5城离境退税销售额约占全国80%
- 俄媒:车臣特种部队进入顿河畔罗斯托夫
- (“八八战略”观澜)海岛守“候”20年:让“神话之鸟”有个家
- 制造业转型升级再提速 为经济发展注入新动能
- 防灾减灾宣传周,各地铁路公安机关讲常识查隐患防风险
- 一名旅客藏匿SD卡走私进境 蛇口海关查获SD卡6800张
- (新春走基层)浙江金华酿冬酒:年夜饭中的“点睛之笔”
- 印度比哈尔邦一列火车发生脱轨事故 致4人死亡
- 陕西省气象台发布暴雨蓝色预警、山洪灾害橙色预警
- 大连一居民楼发生燃气闪爆事件 造成一人受伤
- 最新报告:超八成职场人存在睡眠困扰
- 赓续船政学堂薪火 福建船政交通职业学院持续提升人才育训质量
- 山东泰安一炒鸡比赛涉嫌造假?竞赛组委会通报
- 中国教育机构与印尼总统大学签约合作