可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了

可扩展性是DiT论文的核心主题。首先，经过优化的DiT在每Flop的实际运行时间上比UNet要快得多。更重要的是，Sora证明了DiT的扩展法则不仅适用于图像，现在也适用于视频Sora复制了在DiT中观察到的视觉扩展行为。 猜测：在Sora报告中，第一个视频的质量相当差，我怀疑它使用的是基础模型尺寸。粗略计算一下：DiT XL/2的GFLOPs是B/2模型的5倍，所以最终16倍计算模型可能是3倍DiT-XL模型的大小，这意味着Sora可能有约3亿参数如果这是真的，这并非一个不合理的模型大小。这可能意味着，训练Sora模型可能不需要像人们预期的那样多的GPU我预计未来的迭代速度会非常快。 关键的收获来自于“新兴模拟能力”部分。在Sora出现之前，人们不清楚是否可以自然形成长篇连贯性，或者是否需要复杂的以主题为导向的生成流程，甚至物理模拟器。OpenAI已经证明，尽管不完美，但这些行为可以通过端到端训练来实现。然而，有两个关键点尚未被讨论。 1. 训练数据：关于训练数据的来源和构建完全没有提及，这可能意味着数据很可能是Sora成功的关键因素。 猜测：关于来自游戏引擎的数据已有许多猜测。我也预计可能会包括电影、纪录片、电影长镜头等。质量非常重要。我非常好奇Sora从哪里获取这些数据的（肯定不仅仅是YouTube，对吧？）。 2.（自回归的）长视频生成：Sora的一大突破是能够生成非常长的视频。制作2秒视频和1分钟视频之间的差异是巨大的。 在Sora中，这可能是通过联合帧预测实现的，允许自回归采样，但一个主要的挑战是如何解决错误累积，并在时间上保持质量和一致性。是需要一个非常长的（并且是双向的）上下文来进行条件化？还是说仅仅通过扩大规模就可以减少问题？这些技术细节可能非常重要，希望未来能够被逐渐揭示。 扩散变换器（DiT）在Sora中的应用效果非常出色。我们纽约大学的团队最近发布了一款新的DiT模型，名为SiT。它保持了与DiT完全相同的架构，但在性能上有所提升，收敛速度更快。我对它在视频生成方面的表现也非常感兴趣！ DiT论文地址：

中国硬科技霸场MWC：小米SU7出征，华为搞大事，AI炸了芯片窝

中国硬科技霸场MWC：小米SU7出征，华为搞大事，AI炸了芯片窝 今年的大会现场人潮涌动，在不少展台上，每当有新的展示出现，其周边都会迅速聚集起浩浩荡荡的人潮大军。在展会上，一眼望去，全是我们熟悉的身影：荣耀（荣耀AI全家桶炸场MWC！CEO赵明宣战苹果，解密平台级AI杀手锏）、华为、小米、中兴通讯等中国手机品牌和三星集中在同一区域，似乎在暗中相互角力。华为与往年一样，直接霸气地承包了将近一整个展厅，终端和ICT业务分列展厅两侧。荣耀、小米纷纷将自己的旗舰新机和看家本领技术都掏了出来，正面硬刚，好不热闹，甚至显得一旁的三星都有些“失宠”，人潮大部分都被中国手机品牌抢去。荣耀CEO赵明、小米总裁卢伟冰等厂商高管均来到了展会现场，介绍自家的产品，并与现场的海外人士进行交流，这样的情景并不常见，足见此次中国品牌对MWC的重视。小米总裁卢伟冰来到MWC小米展台讲解小米机器狗产品另一边，手机芯片巨头高通和联发科也是相距不远，两者不停地秀出各类搭载了自己芯片的产品，以及基于芯片实现的各类AI功能。芯片IP巨头Arm也来到了展会现场，不过其展示内容多为面向服务器市场的解决方案。没错，与CES一样，这一次AI再次占据了全场的C位，成为所有科技巨头拥抱的方向。此外，我们还能看到不少中国企业的身影，如屏幕显示领域的维信诺、智能终端领域的TCL、PC及服务器领域的联想、芯片领域的展锐、AR领域的XREAL等。智东西与XREAL CEO徐驰在MWC展会现场进行了深度交流，对于苹果Vision Pro给行业带来的新动能、新变量，这位行业老兵与智东西分享了自己的独到见解。当然，还有微软、Google、英特尔、AMD等海外知名科技巨头也来到了展会现场，与中国企业同台竞技。智东西逛遍几大核心展厅，也观察到了几大关键趋势，借此我们或许可以对2024年及未来的移动通信产业发展有更多有价值的思考和认识：1、中国产品抢占绝对的C位，中国科技走向世界舞台。2、AI依然是全场“主旋律”，从C端到B端，从手机、PC到通信技术。3、终端厂商都更加聚焦设备互联协同体验。4、噱头少了，实打实地落地产品多了。5、XR领域略显冷清，中国创企面对苹果Vision Pro有自己的独特思考。接下来，智东西将带你一文看尽本次MWC最抢眼的黑科技和最值得关注的产业趋势。01.中国科技抢占C位，荣耀小米秀肌肉，华为全线出击首先，此次展会最明显的一点感受，就是中国科技在世界舞台上拥有了更大声量。比如在智能手机领域，荣耀、小米、中兴的展台火爆程度明显超过了一旁的三星，海外人士对于中国厂商的新产品、新技术都抱有极高的兴趣。小米展台荣耀这边将国内不久前发布的Magic6 Pro和折叠屏旗舰Magic V2 RSR保时捷设计版带到了MWC上。小米则是秀出了上周刚刚发布的“超大杯”旗舰小米14 Ultra，这些产品的附近可以说是各种“长枪短炮”，海外市场对这些中国产品的关注度极高。小米14 Ultra展区一方面，这些国产旗舰手机在配置上远超同价位段的海外品牌机型，另外国产品牌机型往往会带来不少软硬件“黑科技”，令人眼前一亮，例如荣耀的“任意门”一步直达、基于荣耀信任环实现的多设备互联、小米澎湃OS中新加入的一系列大模型能力，以及小米荣耀手机各类抓拍、夜拍、潜望式长焦拍照等功能。小米展台在展会现场，小米CyberDog 2机器狗展示了一项新技能“跳群舞”，这是相比发布之初新增的技能，小米总裁卢伟冰还亲自来到了现场，为大家介绍了机器狗产品的相关功能和背后技术点。这也让小米的机器狗展台成为了全场最火爆的展点之一。除了机器狗，小米汽车SU7在海外的亮相也引来了不少海外人士的关注，这款产品是否会面向全球市场发布，是现场不少人关注的问题之一。另一边的中兴通讯，则展示了旗下努比亚的多款手机新品，其颇具特色、略显夸张的背部镜头设计，也吸引了不少人驻足。中兴此次还展示了大量裸眼3D显示设备，并让大家看到了3D显示在各个领域的应用潜力。与中兴类似，联想在现场吸引人群最多的，是其旗下摩托罗拉品牌相关折叠屏产品，从量产的折叠屏手机到可以戴在手腕上的卷曲屏概念产品。不过值得一提到是，此前我们在CES上看到的AI Now智能助手，并未在MWC展品上出现。联想MWC展出的PC产品除了To C的一面，在To B领域，华为云以及华为ICT相关产品和解决方案也成为第一展厅里最吸睛的存在。华为基于自身的软硬件全栈技术，向行业进行赋能，这对于不少海外企业来说颇有“降维打击”的意味。华为运营商业务的各类解决方案展台前，都挤满了询问的海外人士，华为展台人员透露，华为目前在欧洲的业务增长情况非常好，得到了不少行业合作伙伴的认可。手机芯片巨头联发科此次发布了5G-A卫星通信相关技术解决方案，据称其尚属行业首次，可以预见，未来会有更多支持卫星通信的Android手机会采用该方案。联发科用一只机械臂来演示卫星通信的过程，颇为直观，吸引了不少参展者驻足。其实这些中国品牌的产品、技术，我们早已不陌生，但毫无疑问，中国品牌对新技术的应用速度、产品的迭代速度、解决方案落地的速度、产品创新的形态多样性、产品品类的多样性，都超过不少海外科技巨头。中国科技，已经成为了MWC上毋庸置疑的焦点。02.AI仍然是主旋律，从芯片到软件算法，从手机到PC从2023年年初至今，一年多的时间里，AI都是整个消费电子产业最核心的趋势之一，尤其是以大模型技术为代表的生成式AI，今年的MWC也不例外，AI依然被所有公司所拥抱。最明显的一个感受就是，几乎所有科技公司的Slogan里面，都包含了“AI”的字样。比如高通、联发科等移动芯片巨头，纷纷在展区展示了基于自家芯片实现的各类AIGC功能，这些功能我们并不陌生了，从AI识图、AI语音闲聊、AI图片生成，到AI拍照抠图处理。值得一提的是，在高通的展台上，我们看到了搭载高通自研SoC X Elite的笔记本电脑概念产品，其在处理AI图片生成、AI文本生成等方面，相比x86平台产品都有着显著的能效比提升。搭载X Elite的笔记本概念机同时，前段时间的大火的、包含了诸多AI技术和AI大模型能力的Ai Pin也出现在了高通展台上。AI，还是AI。AI Pin三星今年虽然在声量上没能赢过小米、荣耀等中国厂商，但在AI上，尤其是AI的海外市场落地应用上，三星也是不甘示弱。其实纵观三星今年的产品和技术发布，颇有“All in AI”的趋势，在MWC上，三星也在展示如AI通话翻译、AI画圈搜索、AI录音整理、AI智能抠图这样的AIGC功能，Galaxy AI，在三星的展台上无处不在。三星的AI即圈即搜功能当然了，国内荣耀、小米、华为、OPPO、vivo的手机也早已支持了大模型加持的各类AIGC功能。值得一提的是，就在展会期间，Google发布了九个Android系统层面的新特性，帮助用户提升工作效率，仔细看去，这些功能有不少都与AI密切相关，比如在你开车的时候，AI可以帮你总结消息回复聊天；比如你可以直接在消息应用中跟Gemini聊天。由于MWC展会相比CES，更偏产业侧而非消费端，因此在很多普通消费者耳熟能详的厂商的展台上，我们看到的往往是面向产业侧的解决方案。比如在微软、英特尔、AMD、Google这些我们熟悉的科技巨头展台上，我们看不到Copilot助手、看不到搭载酷睿处理器、AMD GPU的各种PC产品，也看不到Google在手机端刚刚落地的生成式AI功能。我们能看到的更多是这些厂商在通信相关领域的一些解决方案，当然，这与MWC的主... PC版： 手机版：

成都减灾所长回应“地震预警”收费：更好改进科技与服务

成都减灾所长回应“地震预警”收费：更好改进科技与服务 中国成都高新减灾研究所一款“地震预警”应用程序因向用户收取每年10元（人民币，约1.9新元）的服务费遭到质疑，研究所所长王暾博士星期五（4月5日）对此回应称，研究所作为民办非盈利的科研单位，作为中国地震预警科技的创新者与引领者，向苹果用户收取的地震预警服务费，是为了更好改进预警科技与服务。 根据澎湃新闻报道，王暾强调，收取的资金将主要用于持续优化地震预警技术、研发多灾种预警技术及研究基于地下云图的地震预报技术。 据王暾介绍，目前，中国产手机如小米、华为、OPPO、vivo、荣耀等，都与成都高新减灾研究所进行了合作，在操作系统内置地震预警功能，“已内置该功能的手机超过8亿，收到预警信息的人次达到数亿。” 该研究所此前对收费争议作出回应称，目前安卓系统并不收费，只有在苹果应用商店下载才需要付费，是“和苹果达成了相关协议”。 王暾星期五对此回应说，自成都高新减灾研究所成立以来，各级党委政府、相关部门给予了大量的、非常重要的支持，包括资金、政策等支持。但为了更好的完善地震预警技术与服务、多灾种预警技术与服务、地震预报科技创新与服务，还需要筹集更多资金。 至于筹集的资金用途，王暾表示，将用于持续优化地震预警技术、研发多灾种（地震、滑坡、泥石流、山洪、内涝等灾害）预警技术及研究基于地下云图的地震预报技术。包括改进地震预警信息的秒级推送能力，优化地震预警链路，研发下一代地震预警技术等等。 王暾强调，未付费的“地震预警”App苹果用户，成都高新减灾研究所仍提供地震预警服务，只是预警服务器会优先将预警信息推送给付费用户。“收取的费用将为付费用户与未付费用户提供越来越好的预警服务。” 他说：“总之，苹果手机的地震预警服务收费，是为了更好改进预警科技与服务。” 2024年4月6日 4:26 PM

马斯克为何要作开源“秀”?

马斯克为何要作开源“秀”? 在开源之前，Grok最大的亮点是直接调用X中的实时数据和“幽默”。但开源版本的Grok已经打了折扣在开发者手里，Grok不可能调取X的数据。从本次开源的信息来看，2023年11月Grok上线以后调用过的X数据，也没有被作为训练数据沉淀到Grok中。除开源打折外，Grok本身的性能也并不占优。刚上线时，Grok的评分就远落后于当时的Palm 2、Claude 2和GPT-4。最典型的问题是，其支持的上下文长度只有8192个token。Grok取得的关注（上线3天在GitHub收获3.9万Star）,似乎很大一部分都来自马斯克本身的流量热度。开源Grok被马斯克说成是为了践行“AI造福全人类”的目标，但在与OpenAI的官司期间开源，有观点认为，Grok 开源的目的之一，就是为马斯克起诉、声讨OpenAI提供的事实依据这是一场由马斯克亲自操盘的“AI 大秀”。开源Grok是作秀？开源是一场让企业与开发者跳双人舞的“社区游戏”，但Grok这个“舞伴”，完全不是普通开发者所能掌控的。在Grok-1之前，很多开源大语言模型（LLM）的参数量只有70亿，LLaMA-2开源的最大参数量也只有700亿。而马斯克直接开源了自家尺寸最大的3140亿参数模型，据估计Grok-1需要约628 GB GPU内存才能勉强运行，普通开发者几乎不可能在本地尝试Grok-1，对于云服务用户来说，至少需要8张80GB显存的A100或H100 GPU。在Grok的GitHub讨论区有用户留言表示：Google云上80GB A100的4卡服务器每小时运行成本是20美元，这不适合我。（GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.）Grok开源之后，笔者也加入了一个关于Grok的开源讨论群，但到了第二天，群内的讨论焦点，已经转向了只有40亿参数的Qwen-1.5。不过，Grok-1也支持8bit量化，一些开发者认为，如果模型可以量化到160GB，“可玩性”会大幅提高。算力不太宽裕的开发者，可以等到官方或者其他开发者发布量化版本后再尝试。至少从短期来看，开源Grok对普通开发者并不是很友好。那么开源对于Grok本身来说，有什么帮助呢？从传统的开源视角来看，也很难说。一些人认为开源模型可以汇聚更多开发者力量，帮助优化模型。但今天的开源AI与传统的开源软件逻辑几乎完全不同。代码开源对于AI大模型的促进作用，并不像过去的开源软件那样明显。传统软件开发过程中，一款系统、工具或软件开源以后，开发者可以基于共享代码直接修复bug，优化程序。然而今天的多数AI模型本身就是一个很大的黑盒，要从中找到问题，并对模型的底层算法进行训练、调优并不容易。“AI大模型训练是一个很‘集中’的工作。”生数科技CEO唐家渝表示，AI大模型很难通过“分布式”的开源来收集开发者的“贡献”。闭源反而是更能集中包括智力的资源、算力的资源，去做不断地迭代的。一些开发者认为，对于开源AI模型的作者来说，最大的好处是打响知名度以Grok目前的模型能力来看，只有吸引一批开发者、公司、机构对模型进行试用、开发，逐步建立起对模型的认可，才能稳固其在AI大模型领域的“江湖地位”，提高这款既不太新，也不太强的AI大模型的影响力。闭源Grok把路走窄了？从AI行业角度来看，Grok的受关注度不高。由于模型跑分不高，过去几个月中发布的AI大模型，在对比评测数据集得分时，几乎很少有人对标Grok。从业务视角来看，Grok在X平台中的表现也不理想。Grok上线到X后，与ChatGPT Plus一样采取订阅制，但ChatGPT的GPT-3.5免费开放，而Grok则一刀切，只提供给X Premium会员。X Premium会员的订阅费用是16美元包月，168美元包年。由于一开始就设置了付费门槛，Grok没有吃到X庞大用户基础的红利。数据网站SimilarWeb的统计显示，2024年2月，x.com的总访问量为1.04亿次，平均访问时长只有24秒。对比其他几家主流闭源AI的同期流量，chat.openai.com访问量为15.5亿次，平均访问时长是7分33秒；gemini.google.com访问量为3.161亿次，平均访问时长6分22秒；相对小众一些的claude.ai访问量为2086万次，平均访问时间为5分48秒。X与三款AI对话网站流量  数据来源|SimilarWeb虽然影响网站流量的因素很多，且x.com网站的受众、属性与其他几家也有明显差异，直接对比流量并不能完全说明问题，但访问时长的巨大差异，也侧面反映了X用户大概率没有跟付费的Grok聊太多。马斯克最早给Grok的战略定位，可能更多是考虑促进X的Premium会员销售，以补贴X的广告收入。然而，如今Grok在X中发挥的作用很可能并没有达到马斯克的预期。与其一直在X Premium中“躺平”，开源Grok或许能给马斯克和x.AI打开新局面。开源激起千层浪在AI大模型热潮中，靠开源大模型树立行业地位的公司并不少见，包括MistralAI以及国内的智谱，阿里的通义千问等。深陷元宇宙泥潭的Meta更是依靠开源LLaMA模型打了一次翻身仗。在2023年中，全球市场最大的变数是AI大模型，而Meta最大的变数就是开源了一款AI大模型。通过开源LLaMA，Meta展现了其在大型语言模型（LLM）领域的技术实力和开放创新的姿态，这在一定程度上帮助公司缓解了市场对其元宇宙战略的担忧。由此Meta的股价也在一年内翻了几番，市值从3155亿美元涨到1.2万亿美元，涨出了19个京东。LLaMA的开源，特别是其成本效益高的特点，对Meta而言具有战略意义。与Google和Microsoft等竞争对手的AI大模型相比，LLaMA的小巧和高性能使得Meta能够以较低成本部署高效的AI模型。这不仅提高了AI技术的普及率，也为Meta未来在各种应用和用例上的广泛部署提供了可能。有分析人士认为，基于Meta的业务范围，从聊天机器人到游戏，再到未来的生产力软件，生成式AI预计将带动一个价值超过500亿美元的市场。虽然LLaMA最初的开源一直被业界传说是无意间的“泄露”，但其最终的结果却为Meta在AI大模型行业奠定了技术和市场的领导地位。“开源”的战略逻辑，对于马斯克来说并不陌生。2014年，马斯克开放了特斯拉的350多项电动车专利技术。当时马斯克在接受采访时表示，“特斯拉的首要目标是加速全世界向可持续能源转变”。事实证明，马斯克大公无私的“开源”，在后来使得他自己成为了最大的受益者。特斯拉开放专利的做法，一举将全球汽车市场的水搅浑。大量新能源车企借助特斯拉的专利异军突起，直接激活了整个新能源汽车市场。而特斯拉作为行业领军企业，则借助长期积累的行业口碑和技术开发实力，持续保持了行业的领先地位。虽然开源Grok大概不会像特斯拉开放专利那一石激起千层浪，改变整个AI行业的格局，但对于目前的x.AI来说，应该也会产生一些积极的影响。 ... PC版： 手机版：