清华大学集成电路学院教授魏少军：依靠工艺技术进步已几乎无法实现更高性能的计算

清华大学集成电路学院教授魏少军：依靠工艺技术进步已几乎无法实现更高性能的计算 今日中国半导体行业协会IC设计分会理事长、清华大学集成电路学院教授魏少军在以“创芯未来 共筑生态”为主题的2023中国临港国际半导体大会上对记者表示，当前依靠工艺技术进步几乎无法实现更高性能的计算，特别是从现有计算芯片的主流路线推演，已难以满足Z级超算的性能、功耗和成本需求，需要研发新的计算芯片架构来应对智能化、大算力的新挑战。 来源：

清华大学实现芯片领域重要突破！计算能效超现有芯片23个数量级

清华大学实现芯片领域重要突破！计算能效超现有芯片23个数量级 随着人工智能的蓬勃发展，智能光计算作为新兴计算模态，在后摩尔时代展现出远超硅基电子计算的性能与潜力。但最大的痛点是光的计算优势被困在不适合的电架构中，计算规模受到了限制，无法支撑急需高算力与高能效的复杂大模型智能计算。而太极光芯片的计算能效，直接超越了现有智能芯片23个数量级，可以为百亿像素大场景光速智能分析、百亿参数大模型训练推理、毫瓦级低功耗自主智能无人系统提供算力支撑。 ... PC版： 手机版：

清华团队发布中国AI光芯片“太极” 号称受《周易》启发

清华团队发布中国AI光芯片“太极” 号称受《周易》启发 该研究成果于北京时间4月12日凌晨以《大规模光芯片“太极”赋能160 TOPS/W通用人工智能》为题发表在最新一期的《科学》（Science）上。方璐、戴琼海为论文的通讯作者，电子工程系博士生徐智昊、博士后周天贶（清华大学水木学者）为论文第一作者。“挣脱”算力瓶颈的中国光计算睿智尝试作为人工智能的三驾马车之一，算力是训练AI模型、推理任务的关键。倘若把大模型当作是做一道精致的菜肴，算力就好比一套称手的烹饪工具。世人皆知巧妇难为无米之炊，但再好的厨子，没有一口好锅、一把好刀，面对鲜美的食材也只能望而兴叹。光计算，顾名思义是将计算载体从电变为光，利用光在芯片中的传播进行计算，以其超高的并行度和速度，被认为是未来颠覆性计算架构的最有力竞争方案之一。光芯片具备高速高并行计算优势，被寄予希望用来支撑大模型等先进人工智能应用。智能光计算作为新兴计算模态，在后摩尔时代展现出有望超越硅基电子计算的潜力。然而其计算任务局限于简单的字符分类、基本的图像处理等。其痛点是光的计算优势被困在了不适合的电架构中，计算规模受限，无法支撑亟需高算力与高能效的复杂大模型智能计算。行胜于言，直面科研领域痛点问题，帮助光计算“挣脱”算力瓶颈，另辟蹊径，“从0到1”重新设计适合光计算的新架构，是这个清华团队迈出的关键一步。光电智能技术交叉创新团队部分成员合影（左三为戴琼海院士、右二为方璐副教授）从“无极”而至“太极”的双向奔赴从构思到实验，开辟新赛道、做第一个吃螃蟹的人往往都伴随着巨大的困难与压力。每一个研究成果的背后，都凝缩了团队每一位成员的心血，是历经无数失败与彻夜难眠后，结出的那颗最耀眼的结晶。但方璐却将这次科研历程比拟为一场浪漫的“双向奔赴”：从算法架构上自顶向下探索，在硬件芯片设计上自底向上推演。相异于电子神经网络依赖网络深度以实现复杂的计算与功能，“太极”光芯片架构源自光计算独特的‘全连接’与‘高并行’属性，化深度计算为分布式广度计算，为实现规模易扩展、计算高并行、系统强鲁棒的通用智能光计算探索了新路径。据论文第一作者、电子系博士生徐智昊介绍，在“太极”架构中，自顶向下的编码拆分-解码重构机制，将复杂智能任务化繁为简，拆分为多通道高并行的子任务，构建的分布式‘大感受野’浅层光网络对子任务分而治之，突破物理模拟器件多层深度级联的固有计算误差。化“深”为“广”：分布式广度光计算架构团队以周易典籍‘易有太极，是生两仪’为启发，建立干涉-衍射联合传播模型，融合衍射光计算大规模并行优势与干涉光计算灵活重构特性，将衍射编解码与干涉特征计算进行部分/整体重构复用，以时序复用突破通量瓶颈，自底向上支撑分布式广度光计算架构，为片上大规模通用智能光计算探索了新路径。通俗来讲，干涉-衍射的组合方式仿佛就是在拼乐高玩具。乐高积木可以通过一个模块刘海与另一个模块凸起的契合来完成两个组件的拼接。在科研团队眼中，一旦把干涉、衍射变成基础模块，进行重构复用，可以凭借丰富的想象力搭建出变化无穷的造型。两仪一元：干涉-衍射融合计算芯片据论文报道：“太极”光芯片具备879 T MACS/mm²的面积效率与160 TOPS/W的能量效率，首次赋能光计算实现自然场景千类对象识别、跨模态内容生成等人工智能复杂任务。“太极”光芯片有望为大模型训练推理、通用人工智能、自主智能无人系统提供算力支撑。复杂智能任务实验结果展示方璐表示，“之所以将光芯片命名为‘太极’，也是希望可以在如今大模型通用人工智能蓬勃发展的时代，以光子之道，为高性能计算探索新灵感、新架构、新路径 。”学科交叉融合，探索无限可能“太极”光芯片的诞生是多学科交叉碰撞、探索无限的过程。从一个初步设想到打破常规思维、确立科研思路，从理论计算到架构创新，再到模拟试验、现场实测......每一个重大突破性研究，都涉及不同学科高度交叉融合，催生出“0到1”的成果。北京信息科学与技术国家研究中心的光电智能技术交叉创新团队由来自电子系、自动化系、集成电路学院、软件学院的领域学者和专门研究人员组成。在这里，“理学思维融合工科实践，交叉领域践行原始创新”的理念一以贯之，团队始终致力于为中国成为世界科学中心和创新高地贡献出清华力量。和团队的对话中，“初心”和“坚持”两个词语，被多人反复提及。恰如团队成员所言，“科学研究是一个厚积薄发的过程，不是一蹴而就的，就像在黑暗中来回摸索，可能会经历反复失败，但一定要坚持自己的初心。”一次次“推翻重来”“背水一战”的底气背后，是什么支撑着团队的坚持求索？答案是：良好的学术环境和有组织科研的全方位保障。2021年4月19日，习近平总书记在清华大学考察时强调，重大原始创新成果往往萌发于深厚的基础研究，产生于学科交叉领域，大学在这两方面具有天然优势。要保持对基础研究的持续投入，鼓励自由探索，敢于质疑现有理论，勇于开拓新的方向。“当时，我有幸参与向总书记汇报团队的科研进展，在现场聆听总书记的嘱托。”三年过去，方璐和许多清华人一样，是亲历者、践行者，更是答卷人。方璐认为，这次突破性科研成果的成功取得，是清华大学深入推进有组织科研的一次生动实践。该课题受到科技部2030“新一代人工智能”重大项目、国家自然科学基金委杰青项目、基础科学中心项目，清华大学-之江实验室联合研究中心支持。在合作者中，有来自各个学科、不同背景的成员。他们集思广益，多学科、多角度地探索更多解决途径。跨界交叉、深度融合，创新的火花在学科碰撞中不断迸发，为科研团队厚植基础、勇攀高峰提供了新动能。 ... PC版： 手机版：

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生 在GTC直播中，黄仁勋左手举着 B200 GPU，右手举着 H100此外，将两个B200 GPU与单个Grace CPU 结合在一起的 GB200，可以为LLM推理工作负载提供30倍的性能，并且显著提高效率。黄仁勋还强调称：“与H100相比，GB200的成本和能耗降低了25倍！关于市场近期颇为关注的能源消耗问题，B200 GPU也交出了最新的答卷。黄仁勋表示，此前训练一个1.8 万亿参数模型，需要8000 个 Hopper GPU 并消耗15 MW电力。但如今，2000 个 Blackwell GPU就可以实现这一目标，耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中，GB200的性能是H100的7倍，训练速度是H100的4倍。值得一提的是，B200 GPU的重要进步之一，是采用了第二代Transformer引擎。它通过对每个神经元使用4位（20 petaflops FP4）而不是8位，直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时，第二个重要区别才会显现，那就是新一代NVLink交换机可以让576个GPU相互通信，双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片，其中包括500亿个晶体管和一些自己的板载计算：拥有3.6 teraflops FP8处理能力。在此之前，仅16个GPU组成的集群，就会耗费60%的时间用于相互通信，只有40%的时间能用于实际计算。一石激起千层浪，“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家Jim Fan直呼：Blackwell新王诞生，新的摩尔定律已经应运而生。DGX Grace-Blackwell GB200：单个机架的计算能力超过1 Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17 Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹：1000倍成就达成！Blackwell标志着在短短8年内，NVIDIA AI 芯片的计算能力实现了提升1000倍的历史性成就。2016 年，“Pascal”芯片的计算能力仅为19 teraflops，而今天Blackwell的计算能力已经达到了 20000 teraflops。相关文章:全程回顾黄仁勋GTC演讲：Blackwell架构B200芯片登场英伟达扩大与中国车企合作 为比亚迪提供下一代车载芯片英伟达进军机器人领域 发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台：最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果Vision Pro黄仁勋GTC演讲全文：最强AI芯片Blackwell问世 推理能力提升30倍 ... PC版： 手机版：

英特尔将与日本NTT共同开发下一代半导体 政府补助450亿日元

英特尔将与日本NTT共同开发下一代半导体 政府补助450亿日元 包括韩国半导体巨头SK海力士在内的一些厂商也将为其提供协助，同时日本政府也将提供约450亿日元的支持。近年来，随着人工智能的繁荣发展，现有的半导体的发展速度，将越来越不能满足人工智能时代呈指数增长的算力需求。如何构建新一代计算架构，建立人工智能时代的芯片“新”秩序，就成为国际社会高度关注的前沿热点。利用光波作为载体进行信息处理的光计算，因高速度、低功耗等优点也就成为科学界研究热点，然而计算载体从电变为光，当前仍面临诸多难题。前不久，清华大学的研究团队提出了一种“摆脱”摩尔定律的全新计算架构：纯模拟光电融合计算架构，并基于此架构研制出了名为ACCEL的光电融合芯片，算力达到目前高性能商用芯片的3000余倍。用交通工具的时间来类比的话，相当于将八小时的京广高铁缩短到了8秒钟；原本供现有芯片工作一小时的电量，可供它工作五百多年。最关键的是，如此高性能的芯片仅是百纳米级，造价也仅为目前7纳米制程的高性能芯片的几十分之一。 ... PC版： 手机版：

大模型增速远超摩尔定律 MIT最新研究：人类快要喂不饱AI了

大模型增速远超摩尔定律 MIT最新研究：人类快要喂不饱AI了 论文地址： 蓝点表示中心估计值或范围； 蓝色三角形对应于不同大小（范围从1K到1B）的问题的倍增时间； 紫色虚线对应于摩尔定律表示的2年倍增时间。摩尔定律和比尔盖茨摩尔定律（Moore's law）是一种经验或者观察结果，表示集成电路（IC）中的晶体管数量大约每两年翻一番。1965年，仙童半导体（Fairchild Semiconductor）和英特尔的联合创始人Gordon Moore假设集成电路的组件数量每年翻一番，并预测这种增长率将至少再持续十年。1975年，展望下一个十年，他将预测修改为每两年翻一番，复合年增长率（CAGR）为41%。虽然Moore没有使用经验证据来预测历史趋势将继续下去，但他的预测自1975年以来一直成立，所以也就成了“定律”。因为摩尔定律被半导体行业用于指导长期规划和设定研发目标，所以在某种程度上，成了一种自我实现预言。数字电子技术的进步，例如微处理器价格的降低、内存容量（RAM 和闪存）的增加、传感器的改进，甚至数码相机中像素的数量和大小，都与摩尔定律密切相关。数字电子的这些持续变化一直是技术和社会变革、生产力和经济增长的驱动力。不过光靠自我激励肯定是不行的，虽然行业专家没法对摩尔定律能持续多久达成共识，但根据微处理器架构师的报告，自2010年左右以来，整个行业的半导体发展速度已经放缓，略低于摩尔定律预测的速度。下面是维基百科给出的晶体管数量增长趋势图：到了2022年9月，英伟达首席执行官黄仁勋直言“摩尔定律已死”，不过英特尔首席执行官Pat Gelsinger则表示不同意。从下图我们可以看出，英特尔还在努力用各种技术和方法为自己老祖宗提出的定律续命，并表示，问题不大，你看我们还是直线没有弯。Andy and Bill's Law关于算力的增长，有一句话是这样说的：“安迪给的，比尔都拿走（What Andy giveth, Bill taketh away）”。这反映了当时的英特尔首席执行官Andy Grove每次向市场推出新芯片时，微软的CEO比尔·盖茨（Bill Gates）都会通过升级软件来吃掉芯片提升的性能。而以后吃掉芯片算力的就是大模型了，而且根据MIT的这项研究，大模型以后根本吃不饱。研究方法如何定义LLM的能力提升？首先，研究人员对模型的能力进行了量化。基本的思想就是：如果一种算法或架构在基准测试中以一半的计算量获得相同的结果，那么就可以说，它比另一种算法或架构好两倍。有了比赛规则之后，研究人员招募了200多个语言模型来参加比赛，同时为了确保公平公正，比赛所用的数据集是WikiText-103和WikiText-2以及Penn Treebank，代表了多年来用于评估语言模型的高质量文本数据。专注于语言模型开发过程中使用的既定基准，为比较新旧模型提供了连续性。需要注意的是，这里只量化了预训练模型的能力，没有考虑一些“训练后增强”手段，比如思维链提示（COT）、微调技术的改进或者集成搜索的方法（RAG）。模型定义研究人员通过拟合一个满足两个关键目标的模型来评估其性能水平：（1）模型必须与之前关于神经标度定律的工作大致一致；（2）模型应允许分解提高性能的主要因素，例如提高模型中数据或自由参数的使用效率。这里采用的核心方法类似于之前提出的缩放定律，将Dense Transformer的训练损失L与其参数N的数量和训练数据集大小D相关联：其中L是数据集上每个token的交叉熵损失，E、A、B、α和β是常数。E表示数据集的“不可减少损失”，而第二项和第三项分别代表由于模型或数据集的有限性而导致的错误。因为随着时间的推移，实现相同性能水平所需的资源（N 和 D）会减少。为了衡量这一点，作者在模型中引入了“有效数据”和“有效模型大小”的概念：其中的Y表示年份，前面的系数表示进展率，代入上面的缩放定律，可以得到：通过这个公式，就可以估计随着时间的推移，实现相同性能水平所需的更少资源（N和D）的速度。数据集参与测评的包含400多个在WikiText-103（WT103）、WikiText-2（WT2）和Penn Treebank（PTB）上评估的语言模型，其中约60%可用于分析。研究人员首先从大约200篇不同的论文中检索了相关的评估信息，又额外使用框架执行了25个模型的评估。然后，考虑数据的子集，其中包含拟合模型结构所需的信息：token级测试困惑度（决定交叉熵损失）、发布日期、模型参数数量和训练数据集大小，最终筛选出231个模型供分析。这231个语言模型，跨越了超过8个数量级的计算，上图中的每个形状代表一个模型。形状的大小与训练期间使用的计算成正比，困惑度评估来自于现有文献以及作者自己的评估测试。在某些情况下，会从同一篇论文中检索到多个模型，为了避免自相关带来的问题，这里每篇论文最多只选择三个模型。实证结果根据缩放定律，以及作者引入的有效数据、有效参数和有效计算的定义来进行评估，结果表明：有效计算的中位倍增时间为8.4个月，95%置信区间为4.5至14.3个月。上图表示通过交叉验证选择的模型的算法进度估计值。图a显示了倍增时间的汇总估计值，图b显示了从左到右按交叉验证性能递减（MSE测试损耗增加）排序。上图比较了2016年至2020年前后的算法有效计算的估计倍增时间。相对于前期，后期的倍增时间较短，表明在该截止年之后算法进步速度加快。参考资料： ... PC版： 手机版：