中新健康|复旦大学团队研发AI大模型 助视障者“看见”世界
中新网上海3月2日电 (记者 陈静)只需一枚摄像头和一对耳机,画面能够被转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷……记者2日获悉,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,将成为视障人士的生活助手与智能管家。
2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,被称为中国版的GPT,仅用半年时间多模态模型“眸思”问世。据介绍,“眸思”和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。
基于“眸思”,“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。
在自由问答模式中,“眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式中,“眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。
复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异,科技应该要改变更多人的生活,希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”据介绍,该项目的主导者都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。
自去年9月以来,复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型,对核心关键点开展研究,希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处,团队成员模拟真实情境,蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入,进一步摸清真实而具体的需求。
在基于几亿张图片训练出“眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使“眸思”具备能够适配更多场景的能力。据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。
据了解,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。(完)
相关推荐
中新健康周报|医疗领域全国共立案5.2万人;海尔生物并购上海莱士
中新健康 | 首儿所通州院区主体结构封顶 预计2027年投入使用
中新健康|北大医疗今年前三季度收入约39.3亿元 预计年内实现盈亏平衡
医保统筹支付、个人自付、个人自费分不清?看完你就明白了!
东北铁栏杆是甜的?打出溜滑也能受重伤?这些操作轻易别尝试
专访哈佛大学刘军:AI医疗是人类医生的助手而非对手
在冬季如何防滑?不慎跌倒,如何正确处理?
好医生集团董事长耿福能:守正创新,促进中医药产业高质量发展
为什么有些食物让我们心情愉悦
“碎片化睡眠法”危害大不宜效仿
木薯糖水爆火,有人为啥喝“中毒”了
厚底雪地靴易摔伤或致筋膜炎 提醒:80%的人鞋都选错了
- 最近发表
-
- 随机阅读
-
- 中国田径协会通报“大连马拉松车辆阻挡运动员”事件:通报批评、书面整改
- 推进人工智能全球治理,推动AI技术造福全人类
- 员工离职前可以删除公司电脑资料吗?专家解读
- 南苏丹与苏丹争议地区爆发冲突致37人丧生
- 浙江出台工会新规 加强新就业形态劳动者权益维护
- 合肥派河至宁波舟山港首列铁海联运班列正式开行
- 美国总统拜登开始2024年大选竞选活动
- 四川:雅砻江流域水风光一体化基地累计发电量突破1万亿千瓦时
- (第七届进博会)上海交易团大型零售采购商联盟集中采购签约
- 中国首颗主要由职业院校研制的卫星发射成功
- 中国首个跨省异地城市航站楼再升级
- 广东加强防御“龙舟水” 各水库为防洪预泄腾库容
- 市场监管总局发布《合同行政监督管理办法》 7月1日起正式施行
- 第八届科技外交官创新资源对接活动在京举办
- 国际禁毒日:全国铁路公安一年多来破获毒品案件556起
- 存在心肌炎表现的患者切忌强行复工
- 暴雨袭击巴西南里奥格兰德州致21人死亡
- 京津冀协同创新指数年均增速12.9%
- (经济观察)“5G+工业互联网”规模应用提速 升级版政策将出台
- 中国商务部:推动电信等领域有序扩大开放
- 热门推荐
-
- 第28届中韩国际摄影交流展在天津开幕 百幅作品增进文明互鉴
- 国产新冠药地方医保报销比例达95% 自费支付最多低至30元
- 重庆上线雨雾天气指数预报类产品
- 70%人患有口腔疾病 这三类人更要护好牙
- 韩剧爆火背后隐忧重重
- (投资中国)百胜中国在华最大自建供应链管理中心竣工并投入运营
- 中国国航108亿美元购买100架C919飞机
- 文物保护单位内严禁燃放烟花爆竹、禁放孔明灯
- 多地皮影戏班齐聚“中国皮影之乡”:好戏又开场
- (进博故事)参与共建“一带一路” 共乘进博开放东风
- 广西“十一超级假期”游客数量“井喷” 边海民族游成新时尚
- 跨越60余年 内蒙古又一名“国家的孩子”寻亲梦圆
- 冬闲人不闲 探访“三北”防护林本巴图沙漠治理现场
- 印尼一船只倾覆 4人失踪
- 汕头华侨试验区多举措打造“工业立市、产业强市”新高地
- 天津港2024年集装箱吞吐量创历史新高
- 2024金融街论坛年会闭幕
- 有人在囤米面油?官方回应来了:这个,真没必要
- 余兵:做好“六个抓”,构建电力安全新格局
- 加拿大原住民寄宿学校问题持续发酵