可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了

可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了DiT的扩展法则不仅适用于图像，现在也适用于视频Sora复制了在DiT中观察到的视觉扩展行为。 猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU我预计未来的迭代速度会非常快。 关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。 1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。 猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。 2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。 扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！ DiT论文地址：

更小、更平价的国产激光雷达，能让马斯克回心转意吗？

更小、更平价的国产激光雷达，能让马斯克回心转意吗？ 访问：Saily - 使用eSIM实现手机全球数据漫游 安全可靠 源自NordVPN 马斯克仍然坚持自己的“暴论”，他认为造激光雷达的供应商即将倒闭，未来是纯视觉智驾的天下。在神经网络技术引领之下，智驾算法有了突破性进展，并且具备了自我学习的能力，对感知硬件的依赖有所降低。智驾算法日益成熟，现在是端到端大模型的时代，供应商和车企更倾向用拟人的视觉和拟人的驾驶实现更高阶的AI智驾体验，似乎没有激光雷达什么事，尽管部分供应商有激光雷达高阶智驾方案，但很少着重宣传。难道激光雷达真如马斯克所说的那样，被汽车行业边缘化了吗？小型化、低价化，激光雷达潜力巨大4月19日，国内知名供应商禾赛推出了第四代芯片架构激光雷达ATX，相比上代产品AT128，ATX最高可支持256线，最远探测距离达到300米，最佳角分辨率达到0.08°x0.1°，功耗相比AT128降低55%，预计在2025年Q1量产。比参数更亮眼的，是禾赛ATX的体积，比AT128缩小了60%，重量减少了55%，外露最小视窗高度做到了25mm。这就意味着，新一代的激光雷达可以更好地隐藏在车体当中，不用再做成突兀的瞭望塔式。得益于ATX的小体积优势，禾赛与灯光解决方案公司马瑞利合作，将激光雷达无缝地集成到高端车灯解决方案当中，在不影响车辆外观和空气动力性能的基础上提升环境感知能力，汽车前大灯的罩子保护了激光雷达，也省去了额外的自清洁系统。同样是禾赛，在CES 2024展会上带来了512线超高清超远距激光雷达AT512，全局分辨率高达2400x512，性能不一般。对于激光雷达而言，有几组激光收发模块，垂直方向上就有几条线，也被称作为线数。一般来说，线数越高，激光首发模组的数量越多，雷达扫描出来的图像越清晰，便于智驾系统做出最准确的决策，降低误判、漏判的概率。行业主流的产品采用的还是128-192线激光雷达，芯片化技术将这些激光收发模块集成到几颗厘米级的芯片上，使得这些激光雷达模组也能够更加小巧，更容易塞进车身。速腾聚创于4月15日推出了新一代中长距离激光雷达MX，厚度控制在25mm，视场角达到120°x25°，ROI区域等效251线，拥有超低运行声音和低至10W的运行功耗。它的性能与主流产品相近，同样主打小型化。值得一提的是，MX还是一款高性价比激光雷达，速腾聚创CEO邱纯潮称MX会以200美元左右开启第一个项目的量产，之后会争取达到1000元人民币的水平。一径科技的ZVISION EZ6首次在CES 2024中亮相，基于SPAD架构打造，单颗雷达的价格打破了2000元的边界，进入到1000元时代；万集科技推出的超薄车载激光雷达WLR-760首次亮相于2024北京国际车展，定位也是千元级雷达产品。不难看出，2024年的车载激光雷达呈现两种大趋势小型化、低价化，芯片化技术使得元器件集成度有了突破性进展，激光雷达体积大幅减小，功耗也显著下降。另一方面，在保证技术参数不开倒车的前提下，将单颗激光雷达的成本和售价打下来，覆盖20万元以内的新能源车型，纯视觉智驾普及并不影响激光雷达的活力，至少厂商未曾停止探索的脚步。激光雷达仍大有可为时间回到2019年，马斯克在一次播客访谈中明确表示，使用激光雷达的自动驾驶公司注定要失败。多年以来，他对激光雷达在自动驾驶领域的应用持批评态度，并在多个场合“抵制”激光雷达，认为具有自动驾驶能力的汽车应该像人类一样用眼睛来驾驶。行业的脚步似乎在印证马斯克当年的说法，以特斯拉为代表的车企开始密谋纯视觉智驾的未来，去掉激光雷达。与百度渊源颇深的极越、华为鸿蒙智行、大疆车载等品牌不约而同地走上了纯视觉路线。纯视觉方案硬件成本低，虽然更依赖算法储备，但有利于向下普及。如今端到端大模型上马、AI推动了智驾发展，今年的北京车展，众多供应商都主推端到端大模型算法和视觉智驾方案。但在北京车展前后，激光雷达供应商争先恐后展示自己的新成果，在保证技术配置的前提下大搞小型化，车企觉得贵，那就把激光雷达的价格打下来。目前行业主流产品都是128-192线的激光雷达，256线、512线产品尚未成熟，选择也不多。这还不是激光雷达的全部，早在2022年，光秒科技就拿出了全球首款1024线的混合固态激光雷达GM1024，现在汽车所用的，还远远不是激光雷达的极限。事实上，坚持纯视觉路线的特斯拉，却是激光雷达供应商Luminar最大客户。5月8日，Luminar披露，特斯拉Q1至少采购210万美元的激光雷达产品，占Luminar该季度收入的10%。小通了解到，特斯拉将Luminar的激光雷达用于测试与开发，可能是验证完全自动驾驶系统，也有可能在探索激光雷达的潜力和应用。激光雷达的创新没有因为纯视觉方案兴起停下脚步，说明市场仍有需求，不过是碍于单颗雷达价格太高，不利于整车和智驾平台成本的控制，主机厂很难提起兴趣。再加上现阶段激光雷达对车辆外形的影响难以忽略，用还是不用，是车企不得不做的一道选择题。如今小体积、低价的方案照进行业，相信会重新引起车企的关注，为智驾多设一道冗余，汽车的造型也不需要再为激光雷达让路。智驾的“重头戏”，不止纯视觉近期，小通关注到这样的新闻，某些开着辅助驾驶的车型在遇到广告牌后紧急制动，导致后车刹车不及引发追尾事故。原因是车上的摄像头识别到了广告牌上的车辆、人物，车辆误判后执行了紧急避险的动作。车上的摄像头只能捕捉图像信息，缺乏几何感知能力，只能对画面当中的特征物进行甄别，因此才需要激光雷达、毫米波雷达等感知元器件辅助决策。不过随着驾驶算法和方案设计的进步，出现了多颗摄像头成像，靠视觉差形成空间信息的技术，小鹏汽车拿出了媲美激光雷达的超清视觉方案，还有能像人类一样感知和学习的端到端大模型，纯视觉智驾有了长足进步，特斯拉甚至做到了不依靠任意一颗雷达来感知空间。但激光雷达就此走到末路了吗？小通认为未必，像问界、理想、比亚迪、小米、极氪等众多新老势力品牌，都有对应的激光雷达智驾方案，并广泛应用在主打智驾的车型当中。有无激光雷达两个版本之间，智驾功能也有显著区别。前面也提到，纯视觉方案省下了硬件，但车企需要在数据、算法、算力上投入大量心血，隐性成本被拉高。而训练量不足的纯视觉智驾，还不能像激光雷达一样灵活处理障碍物。根据nuScences的提供的数据，截止到去年上半年，纯视觉方案的识别准确率为56%，带激光雷达的方案则为75%，激光雷达功不可没。而特斯拉、极越这样的品牌，在道路数据、软件算法上具备更多优势，OCC+Transformers融合即可实现不依赖高精地图的城区智驾，无需激光雷达辅助。大疆在无人机领域积累下来的经验，也成为了发展汽车智驾的基础，一套仅需7000元的方案就能够实现城区NOA，在纯视觉领域很有代表性。不过这并不代表用激光雷达就是技术落后的表现，小通认为纯视觉和激光雷达智驾方案会长期处于并行的状态，不同的技术路线决定了软硬件的布局，两者并没有严格上的好坏之分，都是为了实现更安全、稳定、精确的智能驾驶。L3以及更高级别的自动驾驶，驾驶员可以脱手行驶，更需要一套足够可靠稳定的智驾系统。另一方面，激光雷达仍然会成为区分入门和中高端车型的一项配置。可以说，智能驾驶领域仍然离不开激光雷达的照顾，等到单颗雷达价格足够低时，特斯拉也会重新考虑吧。 ... PC版： 手机版：