一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。

一个非常有意思的项目可以用 SD 直接生成透明的 PNG 图片，也可以直接生成带有透明度分层的图片。 这个想象力很大能带来很多玩法。也可以使用现有的 SD 社区模型。 项目介绍： LayerDiffusion使得大型已经过预训练的潜在扩散模型（latent diffusion model）能够创造透明图像。 这项技术不仅可以生成单独的透明图像，还能生成多层透明图层。它通过一种被称为“潜在透明度”的方法，将透明度（即 alpha 通道）整合到预训练的潜在扩散模型的潜在结构中。 这样做的好处是，它通过以潜在偏移的形式加入透明度，几乎不改变模型原有的潜在分布，从而保持了模型的高质量输出能力。基于这种方法，任何一个潜在扩散模型都可以通过对潜在空间的微调，转化为透明图像生成器。 我们训练这个模型时，使用了一种涉及人机互动的方法，收集了一百万组透明图像层数据。 我们的研究显示，这种潜在透明技术不仅可以应用于不同的开源图像生成器，还可以适配多种条件控制系统，实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。 一项用户研究发现，大多数情况下（97%），相比于之前的临时解决方案（如先生成图像再进行抠图处理），用户更喜欢我们直接生成的透明内容。用户还表示，我们生成的透明图像在质量上可媲美真实的商业级透明素材，例如 Adobe Stock 提供的素材。 论文地址：

斯坦福科学家开发出革命性的AR头戴设备 全息技术让普通眼镜展示3D仙境

斯坦福科学家开发出革命性的AR头戴设备 全息技术让普通眼镜展示3D仙境 通过全息技术和人工智能，这些眼镜可以在直接观看真实世界的基础上显示全彩 3D 移动图像。图片来源：安德鲁-布罗德海德电子工程系副教授、快速崛起的空间计算领域专家戈登-韦茨坦（Gordon Wetzstein）说："我们的头显在外界看来就像一副日常佩戴的眼镜，但佩戴者透过镜片看到的是一个丰富的世界，上面叠加着生动的全彩三维计算图像。"韦茨坦和一个工程师团队在《自然》杂志上发表的一篇新论文中介绍了他们的设备。他们说，虽然这种技术现在只是一个原型，但它可以改变从游戏和娱乐到培训和教育等领域在任何地方，计算机图像都可以增强或告知佩戴者对周围世界的了解。韦茨坦领导的斯坦福计算成像实验室的博士生、该论文的共同第一作者马努-戈帕库马尔（Manu Gopakumar）说："我们可以想象，外科医生戴着这样的眼镜来规划精细或复杂的手术，或者飞机机械师戴着这样的眼镜来学习如何操作最新的喷气发动机。"这种新方法首次将复杂的工程要求串联起来，迄今为止，这些要求要么导致头戴式头显不美观，要么导致 3D 视觉体验不令人满意，佩戴者会感到视觉疲劳，有时甚至有点恶心。斯坦福大学计算成像实验室博士后研究员、论文共同第一作者 Gun-Yeal Lee 说："目前还没有其他增强现实系统能与我们的三维图像质量相媲美。"为了取得成功，研究人员结合人工智能增强全息成像和新型纳米光子设备方法，克服了各种技术障碍。第一个障碍是，显示增强现实图像的技术通常需要使用复杂的光学系统。在这些系统中，用户实际上无法通过头显镜头看到真实世界。相反，安装在头显外部的摄像头会实时捕捉世界，并将图像与计算图像相结合。然后将生成的混合图像立体投射到用户眼中。"用户看到的是现实世界的数字化近似图，上面叠加了计算图像。这是一种增强虚拟现实，而不是真正的增强现实。"Wetzstein 解释说，这些系统必然非常笨重，因为它们在佩戴者的眼睛和投影屏幕之间使用放大镜片，要求眼睛、镜片和屏幕之间的距离最小，从而增加了体积。斯坦福计算成像实验室的博士生、论文的共同作者 Suyeon Choi 说："除了笨重之外，这些局限性还可能导致感知真实度不尽人意，通常还会造成视觉不适。"为了制作出在视觉上更令人满意的三维图像，韦茨坦摒弃了传统的立体方法，转而采用全息技术，这是一种在 20 世纪 40 年代末获得诺贝尔奖的视觉技术。尽管全息技术在三维成像方面大有可为，但由于无法描绘准确的三维深度线索，全息技术的广泛应用一直受到限制，导致视觉体验不佳，有时甚至令人有类似晕车的反应。Wetzstein 团队利用人工智能改进了全息图像中的深度提示。然后，利用纳米光子学和波导显示技术的进步，研究人员能够将计算出的全息图像投射到眼镜镜片上，而无需依赖笨重的附加光学器件。通过在透镜表面蚀刻纳米级的图案来构建波导。安装在每个太阳穴上的小型全息显示屏通过蚀刻图案投射计算图像，这些图案会在镜片内反弹光线，然后将光线直接传送到观看者的眼睛。透过眼镜片，用户既能看到真实世界，又能看到上面显示的全彩 3D 计算图像。3D 效果之所以得到增强，是因为它是通过立体和全息两种方式产生的，前者是指每只眼睛都能看到略有不同的图像，就像传统的 3D 成像一样；后者则是指每只眼睛都能看到略有不同的图像，就像传统的 3D 成像一样。斯坦福大学计算成像实验室的博士生布莱恩-赵（Brian Chao）是这篇论文的共同作者，他说："利用全息技术，你还可以在每只眼睛前获得完整的三维体积，从而提高栩栩如生的三维图像质量。"新的波导显示技术和全息成像技术的最终成果是提供逼真的三维视觉体验，既能满足用户的视觉需求，又不会让用户感到疲劳，而这种疲劳感正是早期方法所面临的挑战。Wetzstein 说："全息显示一直被认为是终极 3D 技术，但它从未取得过重大的商业突破。也许现在他们有了多年来一直在等待的杀手级应用"。编译来源：ScitechDaily ... PC版： 手机版：

苹果头显Vision Pro国行版开售：体验预约已排满 3万元价格“有点高”

苹果头显Vision Pro国行版开售：体验预约已排满 3万元价格“有点高” 28日一早，苹果静安店内坐满了前来体验的尝鲜者。澎湃新闻记者 周玲 图6月11日凌晨，苹果CEO蒂姆·库克在苹果全球开发者大会（WWDC2024）上宣布苹果头显向海外市场发售。其中，北京时间6月14日上午9点向中国内地、中国香港、日本和新加坡的用户开放预购，于6月28日起正式发售。澳大利亚、加拿大、法国、德国以及英国的用户可于北京时间6月28日晚上8点起进行预购，正式发售从7月12日开始。苹果中国官网显示，国行版售价为29999元起，容量为256G、512G以及1TB。顾客在沉浸式体验visioPro。澎湃新闻记者 周玲 图第一批体验者有不少年轻人，高中生张同学在体验完产品后告诉澎湃新闻记者，他之前一直留意VisionPro的新闻，当中国区可以体验时第一时间申请来体验了。“跟iPhone和iPad完全不一样的体验，最大感受是大屏的3D效果。”张同学表示，目前这个价格对他一位学生来说有点贵，期待苹果未来开发价格更低一点的版本会考虑购买。一位自称“赛先生”用户购买了一台Vision Pro，他表示自己是资深果粉，最喜欢Vision Pro的空间视频，躺在床上也可以使用，还可以连接电脑，支持多个界面。苹果店内有VisionPro展示，但不能直接佩戴体验。   澎湃新闻记者 周玲 摄孙先生当初第一时间体验了美版Vision Pro，这次又第一时间来体验了国行版Vision Pro。“Vision Pro是一个新的东西，是有关空间计算的一个新东西，不是完全按照电脑或者手机那样去理解。空间交互是有多个窗口，这种交互跟折叠机手机也不一样。”孙先生表示，苹果自己界面呈现出来的清晰度“简直让人可怕”，但第三方很多视频、图像清晰度还需要提高。“作为初代产品，我认为苹果已经做得足够好。”孙先生表示，从价格上来说目前3万有点高，如果能下降三分之一的会有更多人购买。前一天的6月27日，澎湃新闻记者提前体验了Vision Pro，由于Vision Pro是靠眼睛、手势和语音来交互，尤其手势识别动作需要简单的学习一下。整体来说，比较容易上手，但也要先稍微适应几分钟，之后自己操作就非常顺利了。记者的个人感受是，VisionPro带来的大画面沉浸式体验，可以达到“虚拟”和“现实”世界融合的效果，随手拍摄的一张全景黄浦江边图，投到VisionPro显示后有一种坐在江边的感觉。苹果在零售店内展出了VisionPro供顾客观看，但不可以直接佩戴。另外，无论体验者还是购买者都需要提前预约才能有深度体验。值得注意的是，体验预约大约在30分钟，用户除了可以熟悉苹果头显的操作之外，还可以试用内置的游戏和应用，但无法下载APP深度体验，体验内容基本与发布会上的一致。澎湃新闻记者在另一家苹果店发现，早上也有部分取机用户，但更多的是通过预约前来演示体验的消费者，时长都在30分钟左右，如果此次体验还不尽兴，苹果店员表示可以预约第二次进行深度体验，但内容和应用仍仅限于演示机内。观众在MWC展上用VisionPro观看咪咕视频。作为空间计算的初代产品，内容比较少也是很多用户所抱怨的。28日当天，苹果宣布，中国用户可通过Vision Pro上的咪咕视频和腾讯视频APP欣赏苹果沉浸视频。苹果介绍称，这是一种专为Vision Pro 创造的全新叙事形式，利用视角达180度的8K 3D视频和空间音频赋予观众身临其境之感。中国的Vision Pro用户可欣赏动作冒险、音乐、动画和纪录片等一系列涵盖多种类型和格式的沉浸式电影和剧集，包括：《极限冒险》《Alicia Keys：走进排练现场》《史前地球》《野生动物》。前一天，咪咕视频已经在MWC上海展上演示了用Vision Pro观看咪咕视频。也吸引了很多观众体验。6月28日下午，澎湃新闻记者登录苹果官网查询发现，目前上海地区可预约演示体验时间已排至7月3日，目前下单购买，如需蔡司光学插片版本（备注：针对近视人群），需等待一周左右时间。苹果Vision Pro被认为是开启空间计算时代的一款产品。在技术层面，Vision Pro采用了VST（视频透视）方案来实现MR融合效果，也就是通过摄像头来捕捉真实世界的影像，并将其与虚拟元素融合，再投射到用户眼中。严格意义上来说，Vision Pro就是一部能够显示外部影像的VR头显。 得益于技术上的这些进步，根据多数用户的体验反馈，并没有感受到Vision Pro的“显示”与现实之间的时差。跟踪苹果产业链多年的天风国际证券分析师郭明𫓹认为，全球2024年出货量维持40万-45万部。 ... PC版： 手机版：