AI根据人类大脑活动重建视觉图像

AI根据人类大脑活动重建视觉图像 这项研究利用了开源的 Stable Diffusion 模型，由日本大阪大学的科学家完成。该AI模型能够有效地生成高质量图像，并且能够捕捉到图像中不同层次的特征，从低级的边缘和纹理到高级的语义和场景。 他们使用功能性磁共振成像 (fMRI) 记录了人类大脑在观看不同类型的图片时产生的神经活动。然后设计了一个AI神经网络，学习大脑活动与 Stable Diffusion 的潜在表示 (图片的多维特征) 之间的映射关系。通过这个网络，他们能够从大脑活动中重建出与原始图片非常相似的图像。

【AI换图】 Stable Diffusion 背后团队之一的 Runway 公司发布了一个由该模型驱动的图像擦除和替换工具，该

【AI换图】 Stable Diffusion 背后团队之一的 Runway 公司发布了一个由该模型驱动的图像擦除和替换工具，该工具可以修改图像任何部分。用户需要做的就是擦除该区域并编写自然语言描述，剩下的交给程序就可以了。 #抽屉IT

Stability AI产量很高啊，推出了一个新的 AI 图像生成模型Stable Cascade，还会发布对应的微调、Cont

Stability AI产量很高啊，推出了一个新的 AI 图像生成模型Stable Cascade，还会发布对应的微调、ControlNet 和 LoRA 训练的脚本。 这个模型基于Würstchen架构，可以显著降低模型训练的算力成本，比 SD2.1 的算力成本降低了 10 倍左右。另外推理速度会比现有的 SD 模型快一倍左右。 更多功能： 除了标准的文本到图像生成之外，Stable Cascade 还可以执行图像变化和图像到图像生成。 会跟随模型一起发布的 Controlnet： 局部重绘：输入与文本提示附带的蒙版配对的图像。该模型根据提供的文本提示填充图像的遮罩部分。 Canny Edge：通过跟踪输入到模型的现有图像的边缘来生成新图像。该测试也可以从草图进行扩展。 2x超分辨率：也可用于C阶段生成的潜在空间。 了解更多：

正在用这个新酷工具，

正在用这个新酷工具， 读这则AI和神经科学交叉领域的劲爆消息和论文，来自日本大阪大学 Yu Takagi 和 Shinji Nishimoto的突破性进展： 《使用人脑活动的潜在扩散模型进行高分辨率图像重建》 各位对大脑感兴趣的同学， 不妨读一手消息来发现AI 对大脑的探索进展。 建议保持理性，不要被自媒体的标题党影响。 （“AI 读脑术” “人类的谋略和谎言不存在了”这类说法都是相当荒唐的） 值得一提的是， 读大脑的视觉信号不代表读懂大脑思维，神经科学早就探索出可以微弱捕捉梦境的技术了。 读出视觉信号并进行图像构建，不是AI 界的突破，是 fMRI 脑成像技术本身和神经科学的进展。 我们对大脑未知的部分，远远多于知道的部分。 论文摘要和链接：

继 Stable Diffusion 后，图像生成界又诞生了新的革新技术。来自谷歌的一组研究人员与马克斯普朗克信息学研究所和麻省

继 Stable Diffusion 后，图像生成界又诞生了新的革新技术。来自谷歌的一组研究人员与马克斯普朗克信息学研究所和麻省理工学院 CSAIL 最近发布了 「DragGAN」，一种新的图像生成方法。 通过 DragGAN，任何人都可以通过精确控制像素的位置对图像进行变形，从而操纵动物、汽车、人类、风景等不同类别的姿势、形状、表情和布局。 作者在 github 上表示代码将在六月发布，该项目一天时间内已有 1.2K 标星。以下是演示视频： （代码放出来后，如果 DragGAN 真的可以精准地控制图像生成的具体像素位置，那图像生成界真的又要变天了...） Invalid media:

突破性人工智能利用大脑数据预测小鼠运动 准确率高达95%

突破性人工智能利用大脑数据预测小鼠运动 准确率高达95% 一种用于预测行为状态的新型"端到端"深度学习方法使用了无需预处理或预先指定特征的全皮层功能成像。该方法由医科学生梶冈武弘（AJIOKA Takehiro）和神户大学高见彻（TAKUMI Toru）领导的团队开发，他们还能确定哪些大脑区域与算法最相关（如图）。提取这些信息的能力为未来开发脑机接口奠定了基础。资料来源：梶冈武弘要制作脑机接口，就必须了解大脑信号和受影响的动作之间的关系。这就是所谓的"神经解码"，这一领域的大部分研究都是通过植入大脑的电极来测量脑细胞的电活动。另一方面，功能成像技术，如核磁共振成像或钙成像，可以监测整个大脑，并通过代理数据使活跃的大脑区域清晰可见。其中，钙成像速度更快，空间分辨率更高。但在神经解码工作中，这些数据源仍未得到利用。其中一个特别的障碍是需要对数据进行预处理，如去除噪音或确定感兴趣的区域，因此很难为多种不同行为的神经解码设计出通用的程序。神户大学医科学生 Ajioka Takehiro 利用神经科学家 Takumi Toru 领导的团队的跨学科专业知识解决了这一问题。Ajioka 说："我们在基于 VR 的小鼠实时成像和运动跟踪系统以及深度学习技术方面的经验，让我们能够探索'端到端'深度学习方法，这意味着它们不需要预处理或预先指定的特征，从而可以评估整个皮层的神经解码信息。他们将两种不同的深度学习算法（一种针对空间模式，一种针对时间模式）结合到小鼠在跑步机上休息或奔跑的全皮层胶片数据中，并训练他们的人工智能模型从皮层图像数据中准确预测小鼠是在移动还是在休息。"神户大学的研究人员在《PLoS 计算生物学》杂志上报告说，他们的模型预测动物真实行为状态的准确率高达 95%，而无需去除噪声或预先定义感兴趣的区域。此外，他们的模型仅凭 0.17 秒的数据就做出了这些准确的预测，这意味着他们可以达到接近实时的速度。而且，这种方法适用于五个不同的个体，这表明该模型可以过滤掉个体特征。然后，神经科学家们通过删除部分数据并观察模型在该状态下的表现，确定图像数据中哪些部分对预测起主要作用。预测结果越差，数据就越重要。梶冈武弘释说："我们的模型能够识别行为分类的关键皮层区域，这尤其令人兴奋，因为它打开了深度学习技术'黑盒'的盖子。"神户大学团队建立了一种可通用的技术，从整个皮层功能成像数据中识别行为状态，并开发了一种技术来识别预测是基于数据的哪些部分。这项研究为进一步开发能够利用无创脑成像进行近实时行为解码的脑机接口奠定了基础。编译自:ScitechDaily ... PC版： 手机版：