中新健康|复旦大学团队研发AI大模型 助视障者“看见”世界
中新网上海3月2日电 (记者 陈静)只需一枚摄像头和一对耳机,画面能够被转化成语言,描绘场景、提示风险,让视障者出行更安全、生活更便捷……记者2日获悉,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线,将成为视障人士的生活助手与智能管家。
2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,被称为中国版的GPT,仅用半年时间多模态模型“眸思”问世。据介绍,“眸思”和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。
基于“眸思”,“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。
在自由问答模式中,“眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式中,“眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。
复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异,科技应该要改变更多人的生活,希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”据介绍,该项目的主导者都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。
自去年9月以来,复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型,对核心关键点开展研究,希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处,团队成员模拟真实情境,蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入,进一步摸清真实而具体的需求。
在基于几亿张图片训练出“眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使“眸思”具备能够适配更多场景的能力。据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。
据了解,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。(完)
相关推荐
中新健康周报|医疗领域全国共立案5.2万人;海尔生物并购上海莱士
中新健康 | 首儿所通州院区主体结构封顶 预计2027年投入使用
中新健康|北大医疗今年前三季度收入约39.3亿元 预计年内实现盈亏平衡
医保统筹支付、个人自付、个人自费分不清?看完你就明白了!
东北铁栏杆是甜的?打出溜滑也能受重伤?这些操作轻易别尝试
专访哈佛大学刘军:AI医疗是人类医生的助手而非对手
在冬季如何防滑?不慎跌倒,如何正确处理?
好医生集团董事长耿福能:守正创新,促进中医药产业高质量发展
为什么有些食物让我们心情愉悦
“碎片化睡眠法”危害大不宜效仿
木薯糖水爆火,有人为啥喝“中毒”了
厚底雪地靴易摔伤或致筋膜炎 提醒:80%的人鞋都选错了
- 最近发表
-
- 随机阅读
-
- 内蒙古首笔境外机构投资银行间债券市场业务落地
- 超算互联网全国标准体系启动建设 算力之城“郑”在崛起
- 北京发布工作日高峰时段区域限行交通管理措施 4月1日起施行
- 辽宁:小额诉讼程序审理的案件标的额上限调整为4.7万元
- 西藏电力投入4.51亿元 完成13.38万户转供电用户改造
- 哈萨克斯坦央行决定维持基准利率为16.75%
- 壁纸电视、车载咖啡机……“老三样”和“新科技”在这里双向奔赴→
- 韩国国会司法委员会通过第二版“内乱特检法”
- 【祁连山下是我家】文旅击楫图强 张掖一路荣光
- (新春走基层)打卡江苏东台条子泥湿地:“爱鸟的人越来越多”
- 外媒:乌克兰称很快将与欧盟签署安全协议
- 开学季,你家孩子的“远视储备”余额还多吗
- 加拿大知名富商罗伯特·米勒涉嫌一系列性犯罪被捕
- 共享发展机遇、释放“西引力” 古城西安扩大国际“朋友圈”
- 雾凇为媒助吉林力拓“白金经济”
- 刹车失灵车辆高速狂奔 宿迁高速交警紧急救援
- 爱奇艺影业出品邱礼涛新作《绝地追击》8月25日全国影院上映
- “空天地人”一体 擦亮“眼睛”护秦岭(锚定现代化 改革再深化)
- 国家数据局:持续为中小企业数字化转型营造良好环境
- 评论:两岸青年正以自己的眼和心认识彼此
- 热门推荐
-
- 青海货车超载交通事故财产损失下降 严查“百吨王”
- 国产新能源轻型运动飞机交付
- 第七届虹桥论坛主题议题国际研讨会举行
- 俄乌局势进展:俄称准备好进行“无先决条件”的谈判 穆迪下调对乌信用评级
- 上海专家为罹患直径12cm巨大胰腺肿瘤19岁女孩成功实施微创手术
- City Walk成中国民众过节新选择 城市漫步所见皆风景
- 河南睢县鞋博会启幕:鞋业“智造”再出发
- 文化中国行丨掐丝、上釉、镶嵌……来看精美的花丝镶嵌作品→
- 高速路基镂空无土?河南绿色高速建设再出新招
- 受台风“贝碧嘉”影响 安徽芜湖240趟列车临时停运
- 首都机场暑运预计运送旅客1044万人次
- 日本石川县能登地区发生4.5级地震
- 年纪轻轻就“糊涂”了?这病可不是老年人专利
- 阿德莱德动物园举行欢送中国大熊猫回国仪式
- 俄乌局势进展:泽连斯基与法总统马克龙会面 俄称两名俄军指挥官在前线阵亡
- 海南紧锣密鼓准备自贸港封关运作
- 公益电影人高崇:20余年,让“大片”点亮北疆农牧林垦区的星空
- 深圳福田推出文体场馆“一网统管·一键预约”平台
- 广东时装周回归 58场活动启幕中国潮流新声
- 日本茨城县附近海域发生4.4级地震 无海啸风险