复旦团队研发大模型“眸思” 助力视障者“看见”世界

复旦团队研发大模型“眸思” 助力视障者“看见”世界 “听见世界”App街道行走模式图。本文图片均为 复旦大学 供图2023年上半年,由复旦大学自然语言处理实验室开发的MOSS被称为中国版的GPT,仅用半年时间后,多模态模型“眸思”问世。“眸思”与MOSS同音,但和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。设计使用概念图基于“眸思”的“听见世界”APP,为视障者日常生活需求量身打造设计三种模式。在街道行走模式下,“眸思”如一位忠实的向导,红绿灯、十字路口、障碍物……它将细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。在自由问答模式下,“眸思”则是一位贴心的朋友,让视力障碍者走进博物馆、艺术馆、公园,帮助捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式下,“眸思”将成为一名可靠的管家,被移动的手杖、最爱口味的牛奶……日常物件的寻觅过程变得轻松无压力。据研究团队透露,中国盲人数量有1700多万,也就是说,每一百人中就有一位。但为什么在大多数人的认知里极少在街上看到盲人?这是因为,面对大量不安全因素,他们难以独自跨出家门。复旦大学自然语言实验室张奇教授说,人工智能发展日新月异,科技应该要改变更多人的生活,希望“眸思”能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”项目落地背后,是一支年轻的团队和开放的氛围,从本科生到博士生共25名复旦学子及桂韬等多位教师、专家的加入,才有了“眸思”接续“MOSS”的成功。张奇介绍,该项目的主导者实际上都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。自去年9月以来,为了更好地感受视障者的难处,团队成员同样模拟真实情境,蒙眼探索视障者“黑暗”世界,并邀请视障人士加入,进一步摸清真实而具体的需求。复旦大学研究团队今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别,下半年团队希望将“眸思”升级到基于视频的判断。更多模式也正在开发中,比如阅读模式服务盲人朋友点菜、读书等场景,解说模式承担无障碍电影解说员的工作等。在政府的支持下,团队计划与NGO组织、智算中心和硬件厂商等开展合作,致力于让视障者免费使用产品和相关服务。预计今年3月,“听见世界”APP将完成第一轮测试,并在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。 ... PC版: 手机版:

相关推荐

封面图片

复旦团队发布国内首个类 ChatGPT 模型 MOSS,邀公众参与内测

复旦团队发布国内首个类 ChatGPT 模型 MOSS,邀公众参与内测 昨日,记者从复旦大学自然语言处理实验室获悉,国内第一个对话式大型语言模型「MOSS」已由邱锡鹏教授团队发布至,邀公众参与内测。 MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。 邱锡鹏表示:「尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术上的重要挑战。」MOSS 研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。

封面图片

复旦大学开源国内首个类ChatGPT模型MOSS,支持插件增强

复旦大学开源国内首个类ChatGPT模型MOSS,支持插件增强 4月21日消息,国内首个类ChatGPT模型MOSS已正式开源。该模型由复旦大学自然语言处理实验室开发,名字致敬于《流浪地球2》中的量子机器人MOSS。此前,在测试时曾发布在公开平台,但由于瞬间压力过大,导致服务器过载,学术团队也表示了道歉和承诺进一步优化。 目前,MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

【复旦团队发布国内首个类ChatGPT模型MOSS,邀公众参与内测】MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让

【复旦团队发布国内首个类ChatGPT模型MOSS,邀公众参与内测】MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。 #抽屉IT

封面图片

【复旦大学团队研发新设备,核酸检测只需 5 分钟】值得一提的是,MolEMS 的开发还可以在几分钟内实现对其他疾病的超精确诊断,

【复旦大学团队研发新设备,核酸检测只需 5 分钟】值得一提的是,MolEMS 的开发还可以在几分钟内实现对其他疾病的超精确诊断,而无需通常需要数小时或数天的目标纯化、扩增或培养。除了生物传感之外,MolEMS 的设计原理还可用于设计其他更高精度的机电设备和功能系统。 #抽屉IT

封面图片

复旦团队重大突破登Cell 破纪录复活“冰封”18个月人脑

复旦团队重大突破登Cell 破纪录复活“冰封”18个月人脑 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 论文地址: Pedro Magalhães教授表示,自己被震撼到了。要知道,脑细胞是非常脆弱,对压力极其敏感的。而团队采用的方法却可以成功防止细胞死亡,甚至让它们保留功能,这不得不说是一项奇迹。Magalhães教授大胆预言,我们现在完全可以想象这样的场景几十年或几个世纪后,绝症患者可以被冷冻保存,等待有治愈方法的那天。宇航员可以被冷冻,醒来时就已经被送到了其他星系。这是一场豪赌,赌赢了可能就是永生至此,看来三体是要成真了,云天明的大脑不用靠三体人拦截,靠我们自己就能让他复活。图源:知乎“吴牛喘月”这样看来,马斯克大概会非常喜欢这个研究,人体冷冻技术,或将成为可行性巨大的投资。总的来说,这个研究的亮点就是团队开发了一种全新的冷冻保存方法(MEDY)MEDY不会破坏神经细胞结构或功能MEDY可用于保存各种脑类器官和人类脑组织有趣的问题来了大脑解冻后,脑中所有的信息/记忆也会被完好无损地保存吗?所以,我们究竟有没有灵魂?网友:请让我在机器人体内醒来此消息一出,网友们立马震惊了。“人类的冰冻世时代要来了,我们将穿越浩瀚的虚空海洋,那里的每一颗星星,每一个未曾见过的角落,都将感受人类的触摸。”“太癫狂了,我们不仅能扫描人类大脑,还能把它们冷冻起来。”此前,Google的十年神经科学成果人脑图谱,登上了Science。人们被这张1立方毫米的纳米级人脑皮层图震撼到了已经有志愿者表示,愿意参加人体试验了。这位表示,已经迫不及待想冷冻自己的大脑,然后在机器人体内醒来了。一觉睡过奇点,醒来就会身处一个崭新的纪元。“等我老了,把我冰冻,推送到一艘殖民船上,让我的大脑在罐子里操作机器人。”所以,如果当初有人冷冻爱因斯坦的大脑,我们或许就能让它复活了。评论区被提到最多的科幻,就是三体和波比宇宙。“现在我们只需要一个1%光速行进的探针,就可以依靠自身动力运行数百万年,同时还要避免空间碎片。三体舰队已经走了200年了。”当然从现实层面讲,还需要有一个巨大的铅罩,来保护大脑免受宇宙辐射的影响。」总之,这项研究实在太不可思议了,堪称是打破了科幻和现实的壁垒。讨论甚至上升到了玄学。言归正传,之前的那些低温冷冻人,他们还好吗?目前,美国已有数百人冰封在-196℃液氮罐中,等待复活。最小的冷冻人只有2岁,费用高达22万美金有懂行的网友解释说,其实这些冷冻人也使用了类似的化学物质。冻整个人和只冻大脑最大的不同是,在人冷冻后,需要尽快让化学物质进入大脑的血液系统。冷冻必须逐渐进行,以防止冰晶的形成,速度必须很快,因此任务很紧迫。如果没有活跃的血液循环,大脑很快就会退化了。而只冻大脑的时候,因为是小样本,因此不存在这些问题。从技术上讲,这些人的身体并不是“冷冻”的,而是“玻璃化”的。一旦身体冷却到零度以下,溶液非但不会结晶,反而会越来越厚。它就像一个玻璃块,将所有细胞固定在原位,没有任何内部结构变化,因此不会造成任何损害为了保证冰冻人们的未来,Alcor公司成立了一个信托基金,作为一个独立的实体来管理和保护冷冻患者的资金,以防几百年后实施冰冻公司不在了冷冻人脑组织,现在可以无损复苏就在最近,著名科学杂志New Scientist,还针对这项研究做了一篇专题报道。复旦大学团队利用人类胚胎干细胞,在三周时间内培育出了大脑类器官,这些自组织脑细胞的小簇,就可以发育成各种类型的脑细胞。然后,研究人员将这些类器官浸入不同的化合物中,包括糖和防冻液,这样就可以让它们在液氮中冷冻至少24小时。样本解冻后,他们在接下来的两周内,监测它们的生长和细胞死亡情况。尝试了各种不同化合物的组合之后,研究者发现了一种理想组合,可以让组织解冻后死亡的细胞最少、生长得更多。这种组合,就是由甲基纤维素、乙二醇、DMSO和Y27632组成的化学混合物,被研究者命名为“MEDY”。有网友在MEDY的成分中发现了“华点”如果喝了有其中3种成分的洗发水,会长生不老吗?为何MEDY能保存脆弱的脑组织细胞呢?研究者认为,这是因为MEDY干扰了一个通常会导致脑细胞死亡的路径。随后,团队对MEDY进行了一系列测试,实验对象包括从28天到超过100天的脑类器官。这些器官在冷冻前,都会被放入MEDY中冷冻48小时,然后再解冻。团队惊喜地发现,解冻后的类器官,在外观、生长和功能上与从未冷冻过的同龄类器官非常相似!即使是在MEDY中冷冻了18个月的类器官,也依然如此。他们甚至创造了一项纪录在解冻后,大脑类器官可以继续生长,存活长达150天!这种组合的有效性已经得到了证明:研究者从一名9个月大、患有癫痫的女孩身上取出了3立方毫米的脑组织,脑组织在解冻后至少两周内,仍然保持着活跃状态。冷冻大脑怎样保存以下,就是冷冻和解冻大脑的具体步骤。首先,在进行冷冻保存之前,大脑类器官需要在含有10μM Y27632的培养基中培养1.5小时。随后,我们需要将它转移到冷冻保存溶液中,在室温下静置1/6-5小时。这个静置时间,取决于大脑类器官的直径,它的直径每增加1毫米,室温预处理时间就需要延长20分钟。之所以要进行预处理,就是为了让Y27632充分渗透到器官内部,从而减少玻璃化现象,增加渗透压。预处理完成后,类器官就就可以放入存储管中,在−80°C的低温下保存了。24小时后,我们需要把它转移到液氮中,进行长期保存。冷冻完成了,该如何解冻呢?过程是这样的。首先,把类器官从液氮中取出,尽快在37°C下解冻,这个速度越快越好。然后,我们需要小心地将类器官转移到含有10μM Y27632的W4培养基中培养两天,然后继续在37°C下培养。两天后,每天都要更换一次培养基。从第三天起,就要开始使用不含 Y27632的W4培养基,继续培养两天。最后,将解冻后的类器官用Matrigel包裹起来,并继续培养。掌握了以上步骤,我们就可以顺利冷冻自己的大脑了不是。论文结果高效保存皮质类器官为了解决3D脑类器官长期可靠存储的挑战,团队开发出了一种新的冷冻保存方法,包括对冷冻介质成分和冷冻解冻过程的精确控制(图 1A)。为了进一步提高冷冻保存的效率,团队测试了候选试剂与ROCK抑制剂Y27632的不同组合,形成了新的冷冻介质(CM1–CM4)。综合来看,CM1(1% 甲基纤维素 + 10% 乙二醇 + 10% DMSO + 10μM Y27632)是脑类器官的最佳冷冻介质即MEDY。图 1. MEDY冷冻保存技术的建立维持功能性细胞结构脑室区(VZ)的结构和多个皮质层在维持脑类器官功能方面起着重要作用,能否在冷冻保存后保留这种功能结构至关重要。团队使用MEDY冷冻保存了28天的皮质类器官,并在解冻后继续培养3周,然后进行皮质层标记物的免疫染色(图 2A和2B)。在第50天,解冻后的类器官中Sox2+和Pax6+的VZ样结构完全保留(图 2C和2D... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人