特斯拉Dojo超算细节大公开：涉及指令集结构、数据格式等

特斯拉Dojo超算细节大公开：涉及指令集结构、数据格式等特斯拉备受关注的Dojo超算指令集结构细节史上首次大公开！而且还大秀了一把Dojo的数据格式、系统网络，以及软件系统绕行死节点的能力。关于特斯拉自研的AI芯片D1，更多细节也被披露。原标题：特斯拉Dojo超算最新细节大公开！涉及指令集结构、数据格式，还有系统网络一切来自刚刚举办的硅谷芯片技术研讨会HOTCHIPS，听特斯拉硬件工程师EmilTalpes怎么说。特斯拉Dojo超算所谓Dojo，是特斯拉自研的超级计算机，能够利用海量的视频数据，做“无人监管”的标注和训练。它有高度可扩展且完全灵活的分布式系统，能够训练神经网络，还能适应新的算法和应用。不仅如此，还能从头开始构建大系统，而不是从现有的小系统演变而来。每个DojoExaPod集成了120个训练模块，内置3000个D1芯片，拥有超过100万个训练节点，算力达到1.1EFLOP*（每秒千万亿次浮点运算）。微架构方面，每个Dojo节点都有一个内核，是一台具有CPU专用内存和I/O接口的成熟计算机。这很重要，因为每个内核都可以做到独立处理，而不依赖于共享缓存或寄存器文件。每个内核拥有一个1.25MB的SRAM，这是主存储器。这种SRAM能以400GB/秒的速度加载，并以270GB/秒的速度存储。芯片有明确的指令，可以将数据移入或移出Dojo超算中其他内核的外部SRAM存储器。嵌入SRAM中的是列表解析器引擎（listparserengine），诸如此类的引擎可以将信息一起发送到其他节点或从其他节点获取信息，无需像其他CPU架构一样。至于通信接口，每个节点都与2D网格相连，在节点边界处每周期有八个数据包。而且每个节点都有独立的网络连接，能与相邻节点进行无缝连接。关于Dojo的指令集，它支持64位标量指令和64BSIMD指令，能够处理从本地到远程内存传输数据的原语（primitives），并支持信号量（semaphore）和屏障约束（barrierconstraints）。特斯拉自研AI芯片新进展数据格式对AI来说至关重要，特别是芯片所支持的数据格式。特斯拉借助Dojo超算来研究业界常见的芯片，例如FP32、FP16和BFP16。FP32格式比AI训练应用的许多部分所需的精度和范围更广，IEEE指定的FP16格式没有覆盖神经网络中的所有处理层。相反，GoogleBrain团队创建的Bfloat格式应用范围更广，但精度更低。特斯拉不仅提出了用于较低精度和更高矢量处理的8位FP8格式，还提出了一组可配置的8位和16位格式，Dojo超算可以在尾数的精度附近滑动，以涵盖更广泛的范围和精度。在给定时间内，特斯拉最多可以使用16种不同的矢量格式，但每个64B数据包必须属于同一类型。特斯拉自研的D1芯片，是DojoExaPod的核心。由台积电制造，采用7纳米制造工艺，拥有500亿个晶体管，芯片面积为645mm²，小于英伟达的A100（826mm²）和AMDArcturus（750mm²）。每个芯片有354个Dojo处理节点和440MB的静态随机存储器。D1芯片测试完成后，随即被封装到5×5的Dojo训练瓦片（Tile）上。这些瓦片每边有4.5TB/s的带宽，每个模组还有15kW的散热能力的封盖，减掉给40个I/O的散热，也就是说每个芯片的散热...PC版：https://www.cnbeta.com/articles/soft/1308609.htm手机版：https://m.cnbeta.com/view/1308609.htm

[图]特斯拉演示其Dojo超算AI生成的“Cybertruck on Mars”图片

[图]特斯拉演示其Dojo超算AI生成的“CybertruckonMars”图片特斯拉为了演示其Dojo超级计算机的AI系统堆栈部分，于是公布了多张由AI生成“CybertruckonMars”设计。特斯拉的AIDay并非面向普通消费者，马斯克表示该活动充满了大量技术细节，主要针对的是人工智能和机器人专家。PC版：https://www.cnbeta.com/articles/soft/1323927.htm手机版：https://m.cnbeta.com/view/1323927.htm

Dojo超算项目被曝更换负责人 恐打击特斯拉的自动驾驶技术

Dojo超算项目被曝更换负责人恐打击特斯拉的自动驾驶技术据悉，Dojo是一个强大的算力中心，用于处理大量的人工智能任务，加速特斯拉的Autopilot和“完全自动驾驶”（FSD）系统的迭代，同时也将为特斯拉的人形机器人Optimus提供算力支持。埃隆·马斯克于2019年首次分享了超级计算机计划，然后于2021年正式宣布了Dojo项目，公司还计划在2024年之前投入超过10亿美元。摩根士丹利分析师曾预计它有望为特斯拉增加5000亿美元的价值。Venkataramanan来源：D1芯片发布会现场而这一超级计算机正是由Venkataramanan、Bannon等人设计的D1芯片驱动。消息人士称，特斯拉最近几周还在加州为Dojo安装了新的硬件，其中一人透露，周三的时候Venkataramanan已经不再出现在公司人员目录中。报道还提到，除了原负责人，Dojo项目至少还有一名成员离职，目前尚无法得知这些人离职的原因。媒体分析认为，他们的离职不仅给这个耗资巨大的项目带来了打击，还让特斯拉的自动驾驶技术遭遇新的挫折。马斯克曾表示，特斯拉的市值与未来能否完善自动驾驶技术密切相关，自动驾驶的潜力在于价值实在太高，哪怕只有很小一部分技术落地也会创造巨大的回报。去年，特斯拉的另一位人工智能关键人物AndrejKarpathy离开公司加入了OpenAI。在此之前，Karpathy在特斯拉担任AI高级总监和自动驾驶Autopilot负责人。...PC版：https://www.cnbeta.com.tw/articles/soft/1402857.htm手机版：https://m.cnbeta.com.tw/view/1402857.htm

大摩高呼Dojo超算将解锁AI魔力 特斯拉一日暴涨10%

大摩高呼Dojo超算将解锁AI魔力特斯拉一日暴涨10%周一美股午盘时段，特斯拉为首的多只科技股走高，力挺大盘上行。当天纳指收涨超1%，标普500涨近0.7%，连续两日收涨，继续脱离8月28日以来低位，道指收涨近90点，连涨三日至9月1日以来高位。特斯拉以外其他龙头科技股大多上涨，收盘时亚马逊和Meta涨超3%，微软涨超1%，苹果、Google、奈飞涨不足1%；早盘曾跌超1%的芯片股指数费城半导体指数微幅收涨不足0.1%，高通涨3.9%，英特尔涨超1%，而英伟达跌近0.9%，连续四日收跌。目标价上调60%摩根士丹利将Dojo比作亚马逊的AWS预计加快自动驾驶研发周一引爆特斯拉股价大涨的是AdamJonas等摩根士丹利分析师发布的一份报告，报告题为““解锁特斯拉的AI魔力”。报告中，这些分析师将特斯拉的股票评级从持有上调至增持，并将未来12个月的目标价从250美元大幅上调至400美元，成为华尔街机构目前给出的最高目标价，上调幅度高达60%。这意味着，Dojo超级计算机将推动机器人出租车和网络服务加快应用，特斯拉的股价将在上周五收盘的基础上再涨约61%，市值可能而增加多达5000亿美元。报告中，AdamJonas等分析师将特斯拉列为“首选”，将特斯拉的Dojo超级计算机比作亚马逊业绩的增长引擎——云服务AWS。报告写道：“投资者长期在争论特斯拉是一家汽车公司还是一家科技公司。我们认为两者都是，但最大的价值驱动因素是软件和服务收入。我们认为，推动AWS达到亚马逊总息税前利润（EBIT）70%的力量同样也可以在特斯拉发挥作用，开辟新的潜在市场，远远超出以固定价格销售汽车的范围。什么是催化剂？Dojo，也就是过去五年特斯拉一直在努力的客户超级计算。”报告认为，旨在训练驾驶系统中大量数据的Dojo可能让特斯拉在一个潜在价值10万亿美元的市场拥有“不对称优势”。具体来说，Dojo应该有助于特斯拉改进全自动驾驶技术FSD，因为该技术需要巨大的算力，非常适合像Dojo这样的超级计算机。更好的全自动驾驶产品应该会为特斯拉带来更高的利润和收入，因为客户决定在购买特斯拉汽车时添加附带的FSD软件功能。报告称：“对Dojo研究得越多，我们就越意识到，（特斯拉）股票的价值可能被低估。我们相信Dojo可以代表市场对特斯拉认知的重大变化。”报告估算，随着特斯拉通过自研超级计算机提高算力，Dojo可以在未来几年为特斯拉节省65亿美元的成本。关键是Dojo可以加快开发自动驾驶能力。特斯拉称，Dojo可以将训练工作量所需的时间从一个多月缩短到一周以内。报告认为，潜在的效率、速度和成本优势可以让特斯拉大幅缩短研发自动驾驶的时间。而且，Dojo还可以帮助特斯拉开发人形机器人，并对特斯拉CEO马斯克正在进行的各种科学项目产生更广泛的影响。这就是特斯拉拥有Dojo对投资者来说如此特别的原因。MorningstarResearchServices的股票策略师SethGoldstein本周一预计，如果Dojo启动、运行并接管软件培训，它将让特斯拉更快地更新软件，并增加软件利润的订阅量，这可能是一个巨大的价值驱动因素。...PC版：https://www.cnbeta.com.tw/articles/soft/1383199.htm手机版：https://m.cnbeta.com.tw/view/1383199.htm

特斯拉开始生产可以媲美超算榜首的 Dojo 超级计算机

特斯拉开始生产可以媲美超算榜首的Dojo超级计算机特斯拉在2023年第二季度财报中概述了大规模解决车辆自动驾驶问题所需的四大技术支柱：超大型真实世界数据集、神经网络训练、车辆硬件和车辆软件。特斯拉表示，它已经开始生产用于训练其自动驾驶车队的Dojo超级计算机，该计算机宣布于2019年。特斯拉已经拥有一台基于英伟达GPU的大型超级计算机，它是世界上最强大的超级计算机之一，但新的Dojo定制计算机使用的是特斯拉设计的芯片。此前，马斯克曾宣称，Dojo的运算能力将达到1ExaFLOP。目前，据公开披露的信息，美国橡树岭国家实验室的超级计算机Frontier是全球首台达到ExaFLOP级别的计算机，也是唯一一台。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

特斯拉自研7nm超级芯片 可取代NVIDIA安培GPU

特斯拉自研7nm超级芯片可取代NVIDIA安培GPU特斯拉的自动驾驶技术开发走在前列，无疑，这背后有一套规模庞大的超级计算机用作开发训练平台。日前，特斯拉工程总经理TimZaman分享了特斯拉这套人工智能训练系统的最新规格，一年前配备了5760颗NVIDIAA100GPU，如今增加了1600颗，达到7360，幅度是28%。A100也就是完整的安培大核心，集成80GBHBM2e显存、拥有2TB/s带宽、功耗也是高达400W。按照Zaman的说法，特斯拉这套超算是全球GPU规模第7大的服务器运算平台。当然，马斯克并不满足于从NVIDIA买芯片，实际上特斯拉正在研制Dojo超算，GPU芯片也是自研的D1，台积电7nm工艺。D1是一款半定制ASIC，服务的就是人工智能推理运算训练，单精度浮点性能高达22.6T，集成500亿晶体管，功耗同样高达400W。PC版：https://www.cnbeta.com/articles/soft/1306045.htm手机版：https://m.cnbeta.com/view/1306045.htm