可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了

可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了DiT的扩展法则不仅适用于图像，现在也适用于视频Sora复制了在DiT中观察到的视觉扩展行为。 猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU我预计未来的迭代速度会非常快。 关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。 1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。 猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。 2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。 扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！ DiT论文地址：

OpenAI王炸模型引爆科技圈 官方技术报告说了什么？

OpenAI王炸模型引爆科技圈 官方技术报告说了什么？ 而在2024年开年，OpenAI就发布了王炸文生视频大模型Sora，它能够仅仅根据提示词，生成60s的连贯视频，“碾压”了行业目前大概只有平均“4s”的视频生成长度。为了方便理解，我们简单总结了这个模型的强大之处：1、文本到视频生成能力：Sora能够根据用户提供的文本描述生成长达60S的视频，这些视频不仅保持了视觉品质，而且完整准确还原了用户的提示语。2、复杂场景和角色生成能力：Sora能够生成包含多个角色、特定运动类型以及主题精确、背景细节复杂的场景。它能够创造出生动的角色表情和复杂的运镜，使得生成的视频具有高度的逼真性和叙事效果。3、语言理解能力：Sora拥有深入的语言理解能力，能够准确解释提示并生成能表达丰富情感的角色。这使得模型能够更好地理解用户的文本指令，并在生成的视频内容中忠实地反映这些指令。4、多镜头生成能力：Sora可以在单个生成的视频中创建多个镜头，同时保持角色和视觉风格的一致性。这种能力对于制作电影预告片、动画或其他需要多视角展示的内容非常有用。5、从静态图像生成视频能力：Sora不仅能够从文本生成视频，还能够从现有的静态图像开始，准确地动画化图像内容，或者扩展现有视频，填补视频中的缺失帧。6、物理世界模拟能力：Sora展示了人工智能在理解真实世界场景并与之互动的能力，这是朝着实现通用人工智能（AGI）的重要一步。它能够模拟真实物理世界的运动，如物体的移动和相互作用。可以说，Sora的出现，预示着一个全新的视觉叙事时代的到来，它能够将人们的想象力转化为生动的动态画面，将文字的魔力转化为视觉的盛宴。在这个由数据和算法编织的未来，Sora正以其独特的方式，重新定义着我们与数字世界的互动。一反常态，OpenAI在模型公布后的不久，就公布了相关的技术Paper，我们第一时间“啃”了这篇技术报告，希望能够帮助大家理解到底有哪些神奇的技术，让Sora能够有如此强大的魔力。01 以下为OpenAI文生视频模型Sora官方技术报告我们探索了利用视频数据对生成模型进行大规模训练。具体来说，我们在不同持续时间、分辨率和纵横比的视频和图像上联合训练了以文本为输入条件的扩散模型。我们引入了一种transformer架构，该架构对视频的时空序列包和图像潜在编码进行操作。我们最顶尖的模型Sora已经能够生成最长一分钟的高保真视频，这标志着我们在视频生成领域取得了重大突破。我们的研究结果表明，通过扩大视频生成模型的规模，我们有望构建出能够模拟物理世界的通用模拟器，这无疑是一条极具前景的发展道路。这份技术报告主要聚焦于两大方面：首先，我们详细介绍了一种将各类可视数据转化为统一表示的方法，从而实现了对生成式模型的大规模训练；其次，我们对Sora的能力及其局限性进行了深入的定性评估。需要注意的是，本报告并未涉及模型的具体技术细节。在过去的研究中，许多团队已经尝试使用递归网络、生成对抗网络、自回归Transformer和扩散模型等各种方法，对视频数据的生成式建模进行了深入研究。然而，这些工作通常仅限于较窄类别的视觉数据、较短的视频或固定大小的视频上。相比之下，Sora作为一款通用的视觉数据模型，其卓越之处在于能够生成跨越不同持续时间、纵横比和分辨率的视频和图像，甚至包括生成长达一分钟的高清视频。将可视数据转换成数据包（patchs）在可视数据的处理上，我们借鉴了大语言模型的成功经验。这些模型通过对互联网规模的数据进行训练，获得了强大的通用能力。同样，我们考虑如何将这种优势引入到可视数据的生成式模型中。大语言模型通过token将各种形式的文本代码、数学和自然语言统一起来，而Sora则通过视觉包（patchs）实现了类似的效果。我们发现，对于不同类型的视频和图像，包是一种高度可扩展且有效的表示方式，对于训练生成模型具有重要意义。图注：OpenAI专门设计的解码器模型，它可以将生成的潜在表示重新映射回像素空间在更高层次上，我们首先将视频压缩到一个低维度的潜在空间：这是通过对视频进行时间和空间上的压缩实现的。这个潜在空间可以看作是一个“时空包”的集合，从而将原始视频转化为这些包。视频压缩网络我们专门训练了一个网络，专门负责降低视觉数据的维度。这个网络接收原始视频作为输入，并输出经过压缩的潜在表示。Sora模型就是在这个压缩后的潜在空间中接受训练，并最终生成视频。此外，我们还设计了一个解码器模型，它可以将生成的潜在表示重新映射回像素空间，从而生成可视的视频或图像。时空包当给定一个压缩后的输入视频时，我们会从中提取出一系列的时空包，这些包被用作转换token。这一方案不仅适用于视频，因为视频本质上就是由连续帧构成的，所以图像也可以看作是单帧的视频。通过这种基于包的表示方式，Sora能够跨越不同分辨率、持续时间和纵横比的视频和图像进行训练。在推理阶段，我们只需在适当大小的网格中安排随机初始化的包，就可以控制生成视频的大小和分辨率。用于视频生成的缩放TransformersSora是一个扩散模型，它接受输入的噪声包（以及如文本提示等条件性输入信息），然后被训练去预测原始的“干净”包。重要的是，Sora是一个基于扩散的转换器模型，这种模型已经在多个领域展现了显著的扩展性，包括语言建模、计算机视觉以及图像生成等领域。在这项工作中，我们发现扩散转换器在视频生成领域同样具有巨大的潜力。我们展示了不同训练阶段下，使用相同种子和输入的视频样本对比，结果证明了随着训练量的增加，样本质量有着明显的提高。丰富的持续时间、分辨率与纵横比过去，图像和视频生成方法常常需要将视频调整大小、裁剪或修剪至标准尺寸，如4秒、256x256分辨率的视频。但Sora打破了这一常规，它直接在原始大小的数据上进行训练，从而带来了诸多优势。采样更灵活Sora具备出色的采样能力，无论是宽屏1920x1080p视频、垂直1080x1920视频，还是介于两者之间的任何视频尺寸，它都能轻松应对。这意味着Sora可以为各种设备生成与其原始纵横比完美匹配的内容。更令人惊叹的是，即使在生成全分辨率内容之前，Sora也能以较小的尺寸迅速创建内容原型。而所有这一切，都得益于使用相同的模型。图注：Sora可以为各种设备生成与其原始纵横比完美匹配的内容改进构图与框架我们的实验结果显示，在视频的原始纵横比上进行训练，能够显著提升构图和框架的质量。为了验证这一点，我们将Sora与一个将所有训练视频裁剪为方形的模型版本进行了比较。结果发现，在正方形裁剪上训练的模型有时会生成仅部分显示主题的视频。而Sora则能呈现出更加完美的帧，充分展现了其在视频生成领域的卓越性能。图注：将所有训练视频裁剪为方形的模型相比（左），Sora能呈现出更加完美的帧语言理解深化为了训练文本转视频生成系统，需要大量带有相应文本字幕的视频。为此，我们借鉴了DALL·E3中的re-captioning技术，并应用于视频领域。首先，我们训练了一个高度描述性的转译员模型，然后使用它为我们训练集中的所有视频生成文本转译。通过这种方式，我们发现对高度描述性的视频转译进行训练，可以显著提高文本保真度和视频的整体质量。与此同时，与DALL·E3类似，我们还利用GPT技术将简短的用户提示转换为更长的详细转译，并将其发送... PC版： 手机版：

更小、更平价的国产激光雷达，能让马斯克回心转意吗？

更小、更平价的国产激光雷达，能让马斯克回心转意吗？ 访问：Saily - 使用eSIM实现手机全球数据漫游 安全可靠 源自NordVPN 马斯克仍然坚持自己的“暴论”，他认为造激光雷达的供应商即将倒闭，未来是纯视觉智驾的天下。在神经网络技术引领之下，智驾算法有了突破性进展，并且具备了自我学习的能力，对感知硬件的依赖有所降低。智驾算法日益成熟，现在是端到端大模型的时代，供应商和车企更倾向用拟人的视觉和拟人的驾驶实现更高阶的AI智驾体验，似乎没有激光雷达什么事，尽管部分供应商有激光雷达高阶智驾方案，但很少着重宣传。难道激光雷达真如马斯克所说的那样，被汽车行业边缘化了吗？小型化、低价化，激光雷达潜力巨大4月19日，国内知名供应商禾赛推出了第四代芯片架构激光雷达ATX，相比上代产品AT128，ATX最高可支持256线，最远探测距离达到300米，最佳角分辨率达到0.08°x0.1°，功耗相比AT128降低55%，预计在2025年Q1量产。比参数更亮眼的，是禾赛ATX的体积，比AT128缩小了60%，重量减少了55%，外露最小视窗高度做到了25mm。这就意味着，新一代的激光雷达可以更好地隐藏在车体当中，不用再做成突兀的瞭望塔式。得益于ATX的小体积优势，禾赛与灯光解决方案公司马瑞利合作，将激光雷达无缝地集成到高端车灯解决方案当中，在不影响车辆外观和空气动力性能的基础上提升环境感知能力，汽车前大灯的罩子保护了激光雷达，也省去了额外的自清洁系统。同样是禾赛，在CES 2024展会上带来了512线超高清超远距激光雷达AT512，全局分辨率高达2400x512，性能不一般。对于激光雷达而言，有几组激光收发模块，垂直方向上就有几条线，也被称作为线数。一般来说，线数越高，激光首发模组的数量越多，雷达扫描出来的图像越清晰，便于智驾系统做出最准确的决策，降低误判、漏判的概率。行业主流的产品采用的还是128-192线激光雷达，芯片化技术将这些激光收发模块集成到几颗厘米级的芯片上，使得这些激光雷达模组也能够更加小巧，更容易塞进车身。速腾聚创于4月15日推出了新一代中长距离激光雷达MX，厚度控制在25mm，视场角达到120°x25°，ROI区域等效251线，拥有超低运行声音和低至10W的运行功耗。它的性能与主流产品相近，同样主打小型化。值得一提的是，MX还是一款高性价比激光雷达，速腾聚创CEO邱纯潮称MX会以200美元左右开启第一个项目的量产，之后会争取达到1000元人民币的水平。一径科技的ZVISION EZ6首次在CES 2024中亮相，基于SPAD架构打造，单颗雷达的价格打破了2000元的边界，进入到1000元时代；万集科技推出的超薄车载激光雷达WLR-760首次亮相于2024北京国际车展，定位也是千元级雷达产品。不难看出，2024年的车载激光雷达呈现两种大趋势小型化、低价化，芯片化技术使得元器件集成度有了突破性进展，激光雷达体积大幅减小，功耗也显著下降。另一方面，在保证技术参数不开倒车的前提下，将单颗激光雷达的成本和售价打下来，覆盖20万元以内的新能源车型，纯视觉智驾普及并不影响激光雷达的活力，至少厂商未曾停止探索的脚步。激光雷达仍大有可为时间回到2019年，马斯克在一次播客访谈中明确表示，使用激光雷达的自动驾驶公司注定要失败。多年以来，他对激光雷达在自动驾驶领域的应用持批评态度，并在多个场合“抵制”激光雷达，认为具有自动驾驶能力的汽车应该像人类一样用眼睛来驾驶。行业的脚步似乎在印证马斯克当年的说法，以特斯拉为代表的车企开始密谋纯视觉智驾的未来，去掉激光雷达。与百度渊源颇深的极越、华为鸿蒙智行、大疆车载等品牌不约而同地走上了纯视觉路线。纯视觉方案硬件成本低，虽然更依赖算法储备，但有利于向下普及。如今端到端大模型上马、AI推动了智驾发展，今年的北京车展，众多供应商都主推端到端大模型算法和视觉智驾方案。但在北京车展前后，激光雷达供应商争先恐后展示自己的新成果，在保证技术配置的前提下大搞小型化，车企觉得贵，那就把激光雷达的价格打下来。目前行业主流产品都是128-192线的激光雷达，256线、512线产品尚未成熟，选择也不多。这还不是激光雷达的全部，早在2022年，光秒科技就拿出了全球首款1024线的混合固态激光雷达GM1024，现在汽车所用的，还远远不是激光雷达的极限。事实上，坚持纯视觉路线的特斯拉，却是激光雷达供应商Luminar最大客户。5月8日，Luminar披露，特斯拉Q1至少采购210万美元的激光雷达产品，占Luminar该季度收入的10%。小通了解到，特斯拉将Luminar的激光雷达用于测试与开发，可能是验证完全自动驾驶系统，也有可能在探索激光雷达的潜力和应用。激光雷达的创新没有因为纯视觉方案兴起停下脚步，说明市场仍有需求，不过是碍于单颗雷达价格太高，不利于整车和智驾平台成本的控制，主机厂很难提起兴趣。再加上现阶段激光雷达对车辆外形的影响难以忽略，用还是不用，是车企不得不做的一道选择题。如今小体积、低价的方案照进行业，相信会重新引起车企的关注，为智驾多设一道冗余，汽车的造型也不需要再为激光雷达让路。智驾的“重头戏”，不止纯视觉近期，小通关注到这样的新闻，某些开着辅助驾驶的车型在遇到广告牌后紧急制动，导致后车刹车不及引发追尾事故。原因是车上的摄像头识别到了广告牌上的车辆、人物，车辆误判后执行了紧急避险的动作。车上的摄像头只能捕捉图像信息，缺乏几何感知能力，只能对画面当中的特征物进行甄别，因此才需要激光雷达、毫米波雷达等感知元器件辅助决策。不过随着驾驶算法和方案设计的进步，出现了多颗摄像头成像，靠视觉差形成空间信息的技术，小鹏汽车拿出了媲美激光雷达的超清视觉方案，还有能像人类一样感知和学习的端到端大模型，纯视觉智驾有了长足进步，特斯拉甚至做到了不依靠任意一颗雷达来感知空间。但激光雷达就此走到末路了吗？小通认为未必，像问界、理想、比亚迪、小米、极氪等众多新老势力品牌，都有对应的激光雷达智驾方案，并广泛应用在主打智驾的车型当中。有无激光雷达两个版本之间，智驾功能也有显著区别。前面也提到，纯视觉方案省下了硬件，但车企需要在数据、算法、算力上投入大量心血，隐性成本被拉高。而训练量不足的纯视觉智驾，还不能像激光雷达一样灵活处理障碍物。根据nuScences的提供的数据，截止到去年上半年，纯视觉方案的识别准确率为56%，带激光雷达的方案则为75%，激光雷达功不可没。而特斯拉、极越这样的品牌，在道路数据、软件算法上具备更多优势，OCC+Transformers融合即可实现不依赖高精地图的城区智驾，无需激光雷达辅助。大疆在无人机领域积累下来的经验，也成为了发展汽车智驾的基础，一套仅需7000元的方案就能够实现城区NOA，在纯视觉领域很有代表性。不过这并不代表用激光雷达就是技术落后的表现，小通认为纯视觉和激光雷达智驾方案会长期处于并行的状态，不同的技术路线决定了软硬件的布局，两者并没有严格上的好坏之分，都是为了实现更安全、稳定、精确的智能驾驶。L3以及更高级别的自动驾驶，驾驶员可以脱手行驶，更需要一套足够可靠稳定的智驾系统。另一方面，激光雷达仍然会成为区分入门和中高端车型的一项配置。可以说，智能驾驶领域仍然离不开激光雷达的照顾，等到单颗雷达价格足够低时，特斯拉也会重新考虑吧。 ... PC版： 手机版：

有车评人看不惯国产车崛起？ 周鸿祎发视频“反思得罪了谁”

有车评人看不惯国产车崛起？ 周鸿祎发视频“反思得罪了谁” 作为知名企业家、新晋网红兼顶流“车模”，频频与车圈产生互动的红衣大叔，让谁受益？同时又不小心得罪了哪些人？“卖掉迈巴赫，奔驰可能比较生气”“可能最近我拍卖迈巴赫的事儿让很多人都觉得不爽吧，我在想谁觉得不爽。”昨日，在车评人炮轰周鸿祎一天后，他发视频反思了“不经意间得罪的人”。首先，周鸿祎分析了自己不可能得罪的一批人，其中包括二手车商和国产新能源车。“肯定不是二手车商了，他们挺开心的，跟着我一块做公益，又证明了这个行业的实力，同时也说明了他们重承诺守信用。然后也不会是国产品牌新能源车，因为无论是华为、比亚迪、吉利、理想、蔚来、小鹏、长城、东风，还有长安汽车、上汽，大家都得到了关注，得到了流量。”周鸿祎分析道。他认为，自己卖掉迈巴赫后，可能比较生气的是奔驰因为迈巴赫是奔驰旗下品牌，但被他抛弃了。此外，豪车库里南肯定也很不高兴，因为他曾公开表示“选择买库里南那都是冤大头”。对于业界指出的保时捷销量下滑可能也会恨自己一事，周鸿祎也给予了否认。“这跟我八竿子打不着，我肯定没有这么大的影响力。”在他看来，今天国产新能源车在很多点上已经战胜了进口车，比如说Macan4卖70多万，零百加速5.2秒，在油车时代这肯定很优秀，可是现在国内的电车很多车都能轻松做到零百加速5秒、4秒，在续航能力上也是领先国外。“就算保时捷说是跑车精英不玩智能驾驶，但是一旦有国产智能车的这种参数对比，大家为什么愿意再花几十万去下单？这不就和库里南一样吗？你买了700多万的库里南没有支架、座舱你的舒适度还不如国内三四十万的国产车，最后买库里南买保时捷，买的不就是Logo。”周鸿祎坦言，过去可能很多人买豪车是为了面子，但现在国产的新能源高端车多如牛毛，都配了不少可以拿来炫耀的功能，国外的这些豪车上缺乏了可炫耀的特性。“这正好验证了我的观点，豪车在被重新定义。国产品牌已经崛起，未来的整个汽车的市场头把交椅非国产品牌莫属。”拥抱国产新能源一个月，周鸿祎兑现承诺周鸿祎关注车圈已久，“高潮”集中在最近的一个月。尽管不是任何一家车企的掌门人，但周鸿祎的热度也丝毫不逊于他们。在今年4月25日，2024北京国际车展期间，他身穿红衣走进展区，先后前往蔚来、理想、猛士、极氪、华为、哪吒、小米等多个品牌展台，与李斌、尹同跃等“车圈大佬”互动，从汽车安全、大模型上车等角度，对国产新能源车测评并提出建议。在参观东风汽车展区时，周鸿祎甚至还当着全体围观者的面，直接爬上了一辆东风高地雄狮豪华车型顶部，并顺势坐到了上面，扮演起“红衣车模”为该款车型吸引关注度，引发周围一片欢呼。多个品牌随即冲上了热搜，这份“泼天流量”，周鸿祎分给了中国的新能源品牌。自此，周鸿祎与汽车行业的紧密互动正式开启。紧随其后，周鸿祎举行了个人迈巴赫的拍卖仪式，最终以990万元成功拍卖，同时宣布将拍卖所得除税后全部捐给了关怀基金会，同时开始与一众前来竞拍的二手车商密切互动，他们做起了兄弟。卖掉迈巴赫后，如何购入新的国产新能源座驾，成为周鸿祎下一步需要考量的事情。借着购车的契机，周鸿祎摇身一变成了新能源车试驾测评人，决定前后买入7辆新能源车，一周7天，每天换乘一辆。直到前几天，伴随着极氪009光辉版车型开启交付，周鸿祎成为首批车主，极氪009光辉版成为他的第一辆新能源车型。为此，周鸿祎还亲自飞到了极氪宁波工厂参加交车仪式，同时与吉利控股集团总裁、极氪智能科技CEO安聪慧互动并见证了360集团与极氪战略合作的开启。当时有评价称，周鸿祎实实在在为国产新能源带来了流量和能量，这只是第一辆，后续的流量加持还将持续。周鸿祎的行为通过个人的实际行动，兑现了自己对于国产新能源车的拥抱。据业内人士透露，周鸿祎亲自领取极氪009实现了刷屏级扩散，官方统计全网总曝光超过2.8亿+，周鸿祎也将个人身上的流量，转化成了消费者对国产新能源的认可。吹捧进口车的车评人，看不惯国产车崛起？然而，就在周鸿祎纵情网络直播，频频与车圈亲密互动的同时，却有车评人对他的行为产生了不同看法。近日，知名车评人闫闯发布视频向周鸿祎“开炮”，称其拍卖迈巴赫是一场闹剧。闫闯认为，“周鸿祎是一个没有驾照、只坐过迈巴赫后排的人，不应该入局汽车圈。”在他看来，类似雷军、李书福、魏建军等人才是汽车行业做实事的企业家，他们自己搭建赛车场，自己也会去考赛车证，目的是在赛车这样极限的情况下测试车辆。而只会侃侃而谈、跟二手车贩子炒流量的周鸿祎，“不是汽车行业应该敬佩的人”。但在一些业内人士看来，闫闯这样的观点不成立，“不会炒菜就不能点评和投资饭馆了吗？”在此之前，闫闯曾因为理念的分歧与理想汽车创始人李想进行过一场口水战。同时也在“智己虚标小米参数事件”中公开喊话小米称，“正好今天在开保时捷，我觉得这件事小米应该闭嘴！”根据浏览闫闯多期历史视频内容发现，在其发布的视频中，包含大量合资车、进口车品牌内容。有评论认为，可能是出于对进口车的情感或其他原因，闫闯最终选择了出面“炮轰”。上述人士表示，周鸿祎拥抱新能源，唯一利益受到伤害的可能就是进口车了，“老周卖了迈巴赫，损库里南车主，号召大家都换国产车，据说此前北京车展期间进口车展位门可罗雀，保时捷也卖不动了，随着豪车的标准被安全和智能重新定义，老周再提几辆新能源车，进口车的日子就越来越难过了。这可能才是老周被炮轰的原因所在”。 文 | 新浪科技 周文猛 ... PC版： 手机版：