特斯拉Dojo超算细节大公开:涉及指令集结构、数据格式等

特斯拉Dojo超算细节大公开:涉及指令集结构、数据格式等特斯拉备受关注的Dojo超算指令集结构细节史上首次大公开!而且还大秀了一把Dojo的数据格式、系统网络,以及软件系统绕行死节点的能力。关于特斯拉自研的AI芯片D1,更多细节也被披露。原标题:特斯拉Dojo超算最新细节大公开!涉及指令集结构、数据格式,还有系统网络一切来自刚刚举办的硅谷芯片技术研讨会HOTCHIPS,听特斯拉硬件工程师EmilTalpes怎么说。特斯拉Dojo超算所谓Dojo,是特斯拉自研的超级计算机,能够利用海量的视频数据,做“无人监管”的标注和训练。它有高度可扩展且完全灵活的分布式系统,能够训练神经网络,还能适应新的算法和应用。不仅如此,还能从头开始构建大系统,而不是从现有的小系统演变而来。每个DojoExaPod集成了120个训练模块,内置3000个D1芯片,拥有超过100万个训练节点,算力达到1.1EFLOP*(每秒千万亿次浮点运算)。微架构方面,每个Dojo节点都有一个内核,是一台具有CPU专用内存和I/O接口的成熟计算机。这很重要,因为每个内核都可以做到独立处理,而不依赖于共享缓存或寄存器文件。每个内核拥有一个1.25MB的SRAM,这是主存储器。这种SRAM能以400GB/秒的速度加载,并以270GB/秒的速度存储。芯片有明确的指令,可以将数据移入或移出Dojo超算中其他内核的外部SRAM存储器。嵌入SRAM中的是列表解析器引擎(listparserengine),诸如此类的引擎可以将信息一起发送到其他节点或从其他节点获取信息,无需像其他CPU架构一样。至于通信接口,每个节点都与2D网格相连,在节点边界处每周期有八个数据包。而且每个节点都有独立的网络连接,能与相邻节点进行无缝连接。关于Dojo的指令集,它支持64位标量指令和64BSIMD指令,能够处理从本地到远程内存传输数据的原语(primitives),并支持信号量(semaphore)和屏障约束(barrierconstraints)。特斯拉自研AI芯片新进展数据格式对AI来说至关重要,特别是芯片所支持的数据格式。特斯拉借助Dojo超算来研究业界常见的芯片,例如FP32、FP16和BFP16。FP32格式比AI训练应用的许多部分所需的精度和范围更广,IEEE指定的FP16格式没有覆盖神经网络中的所有处理层。相反,GoogleBrain团队创建的Bfloat格式应用范围更广,但精度更低。特斯拉不仅提出了用于较低精度和更高矢量处理的8位FP8格式,还提出了一组可配置的8位和16位格式,Dojo超算可以在尾数的精度附近滑动,以涵盖更广泛的范围和精度。在给定时间内,特斯拉最多可以使用16种不同的矢量格式,但每个64B数据包必须属于同一类型。特斯拉自研的D1芯片,是DojoExaPod的核心。由台积电制造,采用7纳米制造工艺,拥有500亿个晶体管,芯片面积为645mm²,小于英伟达的A100(826mm²)和AMDArcturus(750mm²)。每个芯片有354个Dojo处理节点和440MB的静态随机存储器。D1芯片测试完成后,随即被封装到5×5的Dojo训练瓦片(Tile)上。这些瓦片每边有4.5TB/s的带宽,每个模组还有15kW的散热能力的封盖,减掉给40个I/O的散热,也就是说每个芯片的散热...PC版:https://www.cnbeta.com/articles/soft/1308609.htm手机版:https://m.cnbeta.com/view/1308609.htm

相关推荐

封面图片

大摩高呼Dojo超算将解锁AI魔力 特斯拉一日暴涨10%

大摩高呼Dojo超算将解锁AI魔力特斯拉一日暴涨10%周一美股午盘时段,特斯拉为首的多只科技股走高,力挺大盘上行。当天纳指收涨超1%,标普500涨近0.7%,连续两日收涨,继续脱离8月28日以来低位,道指收涨近90点,连涨三日至9月1日以来高位。特斯拉以外其他龙头科技股大多上涨,收盘时亚马逊和Meta涨超3%,微软涨超1%,苹果、Google、奈飞涨不足1%;早盘曾跌超1%的芯片股指数费城半导体指数微幅收涨不足0.1%,高通涨3.9%,英特尔涨超1%,而英伟达跌近0.9%,连续四日收跌。目标价上调60%摩根士丹利将Dojo比作亚马逊的AWS预计加快自动驾驶研发周一引爆特斯拉股价大涨的是AdamJonas等摩根士丹利分析师发布的一份报告,报告题为““解锁特斯拉的AI魔力”。报告中,这些分析师将特斯拉的股票评级从持有上调至增持,并将未来12个月的目标价从250美元大幅上调至400美元,成为华尔街机构目前给出的最高目标价,上调幅度高达60%。这意味着,Dojo超级计算机将推动机器人出租车和网络服务加快应用,特斯拉的股价将在上周五收盘的基础上再涨约61%,市值可能而增加多达5000亿美元。报告中,AdamJonas等分析师将特斯拉列为“首选”,将特斯拉的Dojo超级计算机比作亚马逊业绩的增长引擎——云服务AWS。报告写道:“投资者长期在争论特斯拉是一家汽车公司还是一家科技公司。我们认为两者都是,但最大的价值驱动因素是软件和服务收入。我们认为,推动AWS达到亚马逊总息税前利润(EBIT)70%的力量同样也可以在特斯拉发挥作用,开辟新的潜在市场,远远超出以固定价格销售汽车的范围。什么是催化剂?Dojo,也就是过去五年特斯拉一直在努力的客户超级计算。”报告认为,旨在训练驾驶系统中大量数据的Dojo可能让特斯拉在一个潜在价值10万亿美元的市场拥有“不对称优势”。具体来说,Dojo应该有助于特斯拉改进全自动驾驶技术FSD,因为该技术需要巨大的算力,非常适合像Dojo这样的超级计算机。更好的全自动驾驶产品应该会为特斯拉带来更高的利润和收入,因为客户决定在购买特斯拉汽车时添加附带的FSD软件功能。报告称:“对Dojo研究得越多,我们就越意识到,(特斯拉)股票的价值可能被低估。我们相信Dojo可以代表市场对特斯拉认知的重大变化。”报告估算,随着特斯拉通过自研超级计算机提高算力,Dojo可以在未来几年为特斯拉节省65亿美元的成本。关键是Dojo可以加快开发自动驾驶能力。特斯拉称,Dojo可以将训练工作量所需的时间从一个多月缩短到一周以内。报告认为,潜在的效率、速度和成本优势可以让特斯拉大幅缩短研发自动驾驶的时间。而且,Dojo还可以帮助特斯拉开发人形机器人,并对特斯拉CEO马斯克正在进行的各种科学项目产生更广泛的影响。这就是特斯拉拥有Dojo对投资者来说如此特别的原因。MorningstarResearchServices的股票策略师SethGoldstein本周一预计,如果Dojo启动、运行并接管软件培训,它将让特斯拉更快地更新软件,并增加软件利润的订阅量,这可能是一个巨大的价值驱动因素。...PC版:https://www.cnbeta.com.tw/articles/soft/1383199.htm手机版:https://m.cnbeta.com.tw/view/1383199.htm

封面图片

[图]特斯拉演示其Dojo超算AI生成的“Cybertruck on Mars”图片

[图]特斯拉演示其Dojo超算AI生成的“CybertruckonMars”图片特斯拉为了演示其Dojo超级计算机的AI系统堆栈部分,于是公布了多张由AI生成“CybertruckonMars”设计。特斯拉的AIDay并非面向普通消费者,马斯克表示该活动充满了大量技术细节,主要针对的是人工智能和机器人专家。PC版:https://www.cnbeta.com/articles/soft/1323927.htm手机版:https://m.cnbeta.com/view/1323927.htm

封面图片

功率大到让变电站跳闸的特斯拉 Dojo 超级计算机

功率大到让变电站跳闸的特斯拉Dojo超级计算机Dojo是特斯拉的定制超级计算机平台,是为人工智能机器学习而建立的,更具体地说,是利用其汽车的视频数据进行训练。Dojo是特斯拉去年公布的,但当时还只有芯片,经过一年的努力,现在有了系统托盘和机柜。特斯拉声称它可以用一个Dojo贴片取代6个GPU盒子,且成本低于一块GPU。每个托盘有6块这样的贴片,一个托盘相当于3到4个满载的超级计算机机架。几个柜子放在一起可以创建一个“DojoExaPOD”,其主要规格为1.1EFLOP,1.3TBSRAM,以及13TB高带宽DRAM。今年早些时候,特斯拉在测试基础设施时曾让当地电网的变电站跳闸。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

特斯拉披露自研Dojo超算项目新进展 测试性能强到一度让电网跳闸

特斯拉披露自研Dojo超算项目新进展测试性能强到一度让电网跳闸作为特斯拉自行定制的超算平台,Doji旨在为该公司的人工智能(AI)/机器学习(ML)应用提供支撑。尤其是利用其自动驾驶车队采集的视频数据,以展开相关训练。此前这家电动汽车巨头已经拥有一台基于NVIDIAGPU的大型超算,但Dojo已用上特斯拉的自研芯片和全套基础设施。PC版:https://www.cnbeta.com/articles/soft/1323129.htm手机版:https://m.cnbeta.com/view/1323129.htm

封面图片

Dojo超算项目被曝更换负责人 恐打击特斯拉的自动驾驶技术

Dojo超算项目被曝更换负责人恐打击特斯拉的自动驾驶技术据悉,Dojo是一个强大的算力中心,用于处理大量的人工智能任务,加速特斯拉的Autopilot和“完全自动驾驶”(FSD)系统的迭代,同时也将为特斯拉的人形机器人Optimus提供算力支持。埃隆·马斯克于2019年首次分享了超级计算机计划,然后于2021年正式宣布了Dojo项目,公司还计划在2024年之前投入超过10亿美元。摩根士丹利分析师曾预计它有望为特斯拉增加5000亿美元的价值。Venkataramanan来源:D1芯片发布会现场而这一超级计算机正是由Venkataramanan、Bannon等人设计的D1芯片驱动。消息人士称,特斯拉最近几周还在加州为Dojo安装了新的硬件,其中一人透露,周三的时候Venkataramanan已经不再出现在公司人员目录中。报道还提到,除了原负责人,Dojo项目至少还有一名成员离职,目前尚无法得知这些人离职的原因。媒体分析认为,他们的离职不仅给这个耗资巨大的项目带来了打击,还让特斯拉的自动驾驶技术遭遇新的挫折。马斯克曾表示,特斯拉的市值与未来能否完善自动驾驶技术密切相关,自动驾驶的潜力在于价值实在太高,哪怕只有很小一部分技术落地也会创造巨大的回报。去年,特斯拉的另一位人工智能关键人物AndrejKarpathy离开公司加入了OpenAI。在此之前,Karpathy在特斯拉担任AI高级总监和自动驾驶Autopilot负责人。...PC版:https://www.cnbeta.com.tw/articles/soft/1402857.htm手机版:https://m.cnbeta.com.tw/view/1402857.htm

封面图片

特斯拉分享 Dojo 定制 AI 超级计算机更多信息

特斯拉分享Dojo定制AI超级计算机更多信息特斯拉在今年召开的HotChips34上公布了最新Dojo微架构,现在该公司分享了更多的细节。该公司希望创建一台人工智能超级计算机来辅助其车辆行使的视频数据。ServeTheHome网站获取了许多幻灯片,并对这款定制的AI超级计算机进行了深入分析。Dojo是特斯拉定制的超级计算机平台,利用车辆线路上收集的视频数据进行AI机器学习和视频训练。特斯拉Dojo微架构的主干是在视频数据上运行的,这比仅查看静态图像或者文本更加先进。这一进步对特斯拉来说至关重要,因为该公司需要大量的人工智能计算和自动驾驶汽车的标准自主性。Dojo最重要的技术进步是它的System-On-Wafer解决方案。每25个内核(dies)搭配1个15千瓦的集成D1内核。除了25个D1内核外,Tesla还集成了40个更小的I/O内核。特斯拉Dojo的散热和电源总成都整合到培训tile上。这些tile在链接总数为9TB/s的其他tiles之间进行缩放,并且必须附加而不是依赖于服务器。Tesla特斯拉使用内部Tesla传输协议(TTP)接口,提供极高的带宽。Tesla传输协议还通过随附的软件使用以太网来定位整个Tesla系统的一致地址空间或桥接到接口卡。特斯拉Dojo定制AI超级计算机配备多达五张使用PCIe主机服务器的卡,并在每个训练块上提供4.5TB/s的带宽。PC版:https://www.cnbeta.com/articles/soft/1308967.htm手机版:https://m.cnbeta.com/view/1308967.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人