中新健康|复旦大学团队研发AI大模型 助视障者“看见”世界
中新网上海3月2日电 (记者 陈静)只需一枚摄像头和一对耳机,画面能够被转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷……记者2日获悉,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,将成为视障人士的生活助手与智能管家。
2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,被称为中国版的GPT,仅用半年时间多模态模型“眸思”问世。据介绍,“眸思”和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。
基于“眸思”,“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。
在自由问答模式中,“眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式中,“眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。
复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异,科技应该要改变更多人的生活,希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”据介绍,该项目的主导者都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。
自去年9月以来,复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型,对核心关键点开展研究,希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处,团队成员模拟真实情境,蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入,进一步摸清真实而具体的需求。
在基于几亿张图片训练出“眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使“眸思”具备能够适配更多场景的能力。据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。
据了解,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。(完)
相关推荐
中新健康周报|医疗领域全国共立案5.2万人;海尔生物并购上海莱士
中新健康 | 首儿所通州院区主体结构封顶 预计2027年投入使用
中新健康|北大医疗今年前三季度收入约39.3亿元 预计年内实现盈亏平衡
医保统筹支付、个人自付、个人自费分不清?看完你就明白了!
东北铁栏杆是甜的?打出溜滑也能受重伤?这些操作轻易别尝试
专访哈佛大学刘军:AI医疗是人类医生的助手而非对手
在冬季如何防滑?不慎跌倒,如何正确处理?
好医生集团董事长耿福能:守正创新,促进中医药产业高质量发展
为什么有些食物让我们心情愉悦
“碎片化睡眠法”危害大不宜效仿
木薯糖水爆火,有人为啥喝“中毒”了
厚底雪地靴易摔伤或致筋膜炎 提醒:80%的人鞋都选错了
- 最近发表
-
- 随机阅读
-
- 透明质酸产业专家汇聚山东济南 助力打造中国美妆“第三极”
- 自然资源部:前三季度海洋生产总值7.7万亿元,同比增长5.4%
- 石家庄15家“城市书房”揭牌 为城市增添书香氛围
- 雄安自贸试验区累计注册超1500家企业
- 中外专家共论博物馆何以推动文明互鉴
- 推进高水平对外开放 江苏连云港书写新时代“西游记”
- 赵秀池:上半年楼市先扬后抑,后续仍然需耐心、信心、政策支持
- 专访杨晓培:最大的挑战是保持作品的“当下性”和“前瞻性”
- 洗碗机为何要用专用洗涤剂
- 99岁美国前总统卡特深情缅怀妻子:这一生,被她爱着支持着
- “点到点、门到门” 我国定制客运“加速”驶来
- 海南首条环岛旅游公路观光巴士线路将于2月21日开通
- 撞鸟、设计违规、准备不足?韩国失事客机原因为何?
- 青海“河南蒙旗”启幕那达慕 万人共赴草原盛会
- 哥伦比亚和巴拿马海上查获5.5吨可卡因
- 2025年春运中国铁路、民航客运量有望创历史新高
- 《骄阳伴我》隐喻的都市“充电式爱情”
- 190件吉祥文化主题展品长沙“喜相逢”
- 寒潮暴雪冰冻三预警齐发 大范围降温和雨雪天气即将开启
- 66分钟同步转体! 四川成都总重7.6万吨的四座公路桥梁完成转体
- 热门推荐
-
- 中国驻加拿大使馆:敦促加方停止借网络安全问题抹黑中国
- 2024浙江国际电子商务博览会开展 中外客商共拓贸易新蓝海
- 央行明年继续推动降低企业和居民综合融资成本 最新解读→
- 第三届湾商大会暨湾区未来产业发展论坛在广州举行
- 昆明海关查获未向海关申报人民币150万元
- 广西多名山歌手同台竞技 角逐“歌王”称号
- “小众体验”变身“大众消费” City fly飞入寻常百姓家
- 我国首套自主研发的海底注水树投用
- 港股三大指数涨跌不一 恒指收涨近1%
- 时隔8年,日本将把它们还给中国
- 安徽芜湖“口袋公园”:街头转角的一抹赏心绿色
- 14国科学教育界代表在重庆交流创新与实践成果
- 外媒:巴基斯坦前总统穆沙拉夫去世 终年79岁
- 一英国船只在也门附近海域遭袭
- 广西推动西部陆海新通道运行质效提升 带动西部开发开放
- 外媒:莫迪或将于6月8日宣誓就任印度总理
- 中国贸促会新闻发言人就美对华发起301调查发表谈话
- 培育完整体系 充分激发潜力——中国经济圆桌会年终共话扩内需
- 记者手记:在巴西里约塞拉隆阶梯上寻找“中国印记”
- 四川瓦屋山景区1名游客被飞石砸中身亡