Azure AI 入门 （三）摩尔定律，GPU与并行计算

Azure AI 入门 （三）摩尔定律，GPU与并行计算 摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。 虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3D rendering)。 因此，英伟达Nvidia在1999年提出了硬件图形处理器（Graphics Processing Unit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。 GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。 图二 英伟达创始人黄仁勋 Jensen Huang

GitHub 上一个增长迅猛的国产 AI 开源项目：，可用于 AI 大规模并行训练，仅需一半数量的 GPU，便能完成相同效果的

GitHub 上一个增长迅猛的国产 AI 开源项目：，可用于 AI 大规模并行训练，仅需一半数量的 GPU，便能完成相同效果的 GPT-3 训练工作，极大降低了项目研发成本 近期，该项目终于发布了正式版，重点优化了分布式训练性能、简化项目实用流程，并新增了中文教程，大幅降低开发者的使用成本。 目前，该项目已经和 AI 领域顶级开源组织 Hugging Face 等建立合作，未来会基于自动驾驶、云计算、零售、医药、芯片等领域，提供一系列实用性解决方案

Stack Overflow 将对使用其数据训练 AI 收费

Stack Overflow 将对使用其数据训练 AI 收费 在 Reddit 之后，编程问答社区 Stack Overflow 也将对科技巨头们使用其数据训练 AI 收费。和 Reddit 类似，Stack Overflow 也有着高质量的问答语料库，它有 2000 万注册用户，5000 万问题和答案。Stack Overflow 的内容所有权属于原作者，采用了 CC BY-SA 授权，也就是使用时要求署名。CEO Prashanth Chandrasekar 称，使用该平台数据集训练大语言模型的公司违反了该许可证，在将模型出售给客户时无法为每一个问题和答案归属，违反了 CC 许可证。无论是 Stack Overflow 或 Reddit 都没有公布收费价格。也许 Twitter 的定价可以作为参考：每月 4.2 万美元。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot