纽约大学团队利用 ChatGPT 从零开始设计处理器

纽约大学团队利用ChatGPT从零开始设计处理器这个名为ChipChat的项目是由纽约大学坦登电气与计算机工程系以及网络安全中心的研究助理教授皮尔斯博士(Dr.HammondPearce)领导的。团队通过对话框架和反馈循环来评估ChatGPT在芯片设计方面的表现。在设计过程中，他们让ChatGPT设计了指令集架构(ISA)、汇编器、算术逻辑单元(ALU)、操作码、优化等内容。经过124次对话，他们成功设计出了一款功能与市面上可比的PIC产品相当的8位基于累加器的微处理器。随后，该芯片被送至Skywater130nmshuttle进行制造。该团队宣称，这项研究成果标志着首次将由生成式语言模型设计的集成电路真正制造出来。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

支持20种编程语言 谷歌版ChatGPT代码水平反杀了？

支持20种编程语言谷歌版ChatGPT代码水平反杀了？去年底，ChatGPT引发了科技行业的剧变，今年2月，Google发布ChatGPT竞品Bard，人们对其使用体验褒贬不一。Bard有这样那样的限制，很多人对开发人员提出的需求就是“什么时候它才能写代码？”本周五，Bard写代码的能力终于上线了。Google表示，Bard现在能使用20种编程语言，包括C++、Go、Java、Javascript、Python和Typescript等等，还能帮助用户debug和解释代码、优化代码。只需要简单的prompt，例如“能让该代码更快吗？”，Bard就能理解人类意图，自动让代码变得更高效。我们知道，很多人会使用GoogleColab跑机器学习模型，它还自带免费的云GPU算力。现在人们也可以轻松地将Bard生成的Python代码导出到GoogleColab上——甚至无需复制粘贴。Bard还能够协助GoogleSheets编写函数。此前，Google已宣布面向美国和英国的用户开放Bard，这部分用户已经可以直接使用Bard的所有新功能了。Google演示了Bard写代码的效果。和ChatGPT一样，现在Bard可以根据你的需求生成完成相应任务的代码：解释代码的功能对于编程初学者来说特别有用：除了生成、解释代码，Bard还可以帮助用户调试（debug）代码，包括Bard自己生成的代码。如果Bard生成的代码未按预期运行，只需告诉Bard：“thiscodedidn’twork,pleasefixit（此代码无效，请修复）”，Bard就可以帮助用户进行调试。应用生成式AI来加速软件开发并帮助人们解决复杂的工程挑战，这是Bard推出代码生成功能的美好愿景。但目前Bard的能力还有待提升。Google表示，Bard仍处于早期实验阶段，有时可能会提供不准确、误导或虚假的信息，也可能会生成无法产生预期输出的代码，或者生成不是最优的/不完整的代码。用户需要在采用Bard生成的代码之前，仔细检查代码，测试和审查代码中的error和bug。对于一款正在大规模测试的语言大模型来说，新上线的功能必然会遇到用户各式各样的调戏，Bard的代码能力也一样。首先Bard在给出答案时会自带引用的代码链接，对于一个面向实用化的产品来说，这很重要，也受到了好评。你们经常吐槽AI是在抄代码，它不是乱抄的。问Bard“你能帮我实现一个基本的RNN并在虚拟文本数据上测试它吗？”然后直接把生成的代码导出到GoogleColab上。代码的一部分不起作用。找到错误再次询问AI，Bard修改了代码，看起来一切似乎都运行完美。现在我们只需要检查实现是否正确，手动检查，有必要的时候做一些单元测试就行了。拥有GoogleColab导出功能真的很有用。最后，有人尝试用Bard生成上古编程语言COBOL的代码，结果居然是令人满意的：人们一直在担心，等现在这波COBOL程序员退休，很多关键岗位会后继无人。看起来，AI可以帮我们解决这个大问题了。不过也有部分网友表示，Bard的能力似乎仍然不及GPT-4。使用AI辅助编程，能否最终改变我们的工作方式？这还有待我们继续探索。...PC版：https://www.cnbeta.com.tw/articles/soft/1356219.htm手机版：https://m.cnbeta.com.tw/view/1356219.htm

ReverserAI：通过使用本地大语言模型 (LLM)，自动推荐函数名称，帮用户进行软件逆向工程

：通过使用本地大语言模型(LLM)，自动推荐函数名称，帮用户进行软件逆向工程核心特点离线操作：完全在本地CPU/GPU上运行LLM，确保数据隐私和安全。自动函数命名：从反编译器输出中自动建议具有语义意义的函数名称。BinaryNinja集成：作为插件与BinaryNinja无缝集成。模块化架构：专为轻松扩展而设计，以支持IDA和Ghidra等其他逆向工程工具。消费类硬件兼容性：经过优化，可在消费级硬件（例如Apple芯片架构）上运行。

生成式AI 可以设计芯片了

生成式AI可以设计芯片了而在五月十日，Google在IO大会上发布了ChatGPT的竞品，即PaLM2大语言模型。Google表示，目前ChatGPT类生成式大语言模型最重要的用户体验之一就是帮助用户编写代码，而PaLM2的一大特性就是完成20多种编程语言的支持。其中，对于芯片设计工程师来说，最大的亮点就是PaLM2支持数字电路设计领域最常用的编程语言Verilog。百闻不如一试，目前PaLM2已经在Google的Bard平台上线开放公测，因此我们也尝试使用Bard去体会了一把PaLM2生成Verilog代码的能力。在试验中，我们让Bard生成了两段代码，一段代码是生成一个FIFO（数字电路中最常用的模块之一），而另一段代码则是生成一个模块，其中包含了两个前面编写的FIFO，并且让第一个FIFO的输出接入第二个FIFO的输入。生成的方法非常简单，我们只需要给Bard一个基于自然语言的指令（prompt），Bard就能够在几秒钟之内完成相应的代码生成。例如，在第一个实验中，我们使用的指令是“生成一段Verilog代码来实现FIFO”，生成结果如下图：从结果来看该生成的代码的语法正确，逻辑基本正确，但是在FIFOfull和empty的信号逻辑上并没有完全弄对（当然其实FIFO的full和empty的逻辑也是面试中常考的问题，要完全弄对并没那么简单）。在代码风格上，我们还可以在指令中加入更多提示，类似“在代码中加入更多注释”，“使用参数来定义接口宽度”等等。而在第二个实验中，我们主要看的是Bard能否复用之前生成的模块，并且基于这个来生成新的更大的模块。我们使用的指令是“写一个模块，其中包括两个你前面写的FIFO模块，并且第一个FIFO的输出接入第二个FIFO的输入”。在这里我们可以看到生成的代码基本正确，因此我们认为PaLM2基本拥有了能基于自底向上生成复杂代码的能力。芯片设计领域生成式AI的进化之路我们从上述实验中可以看到，Google的PaLM2已经具有了基本的Verilog代码生成能力，可以生成基本模块和复合模块，当然其代码生成的质量还有待提高。而除了PaLM2之外，我们认为其他公司推出的类似ChatGPT的大语言模型也有可能会加入对于Verilog类硬件描述语言的支持。根据Google在IO大会上发布的信息，目前ChatGPT类的大语言模型已经成为许多工程师在代码编写时的重要助手。如果我们参考IT领域软件开发工程师应用ChatGPT类大语言模型协助代码编写的发展的话，我们认为在芯片行业大语言模型也非常有可能会起到重要作用。这里，根据大语言模型在开发流程中起到的角色，我们可以大致分成三种应用。第一种应用是根据用户的指令直接生成代码，即我们在本文前面给出的两个例子。第二种应用是在工程师编写代码的时候，帮助工程师自动补全代码；例如工程师只需要输入一行代码的前几个字符，大语言模型就可以根据代码的上下文自动帮助补全代码，从而节省工程师的开发时间。第三种应用是帮助工程师分析代码和debug，正如ChatGPT可以帮助用户优化Python代码并找到代码中的bug一样，经过相关数据训练的大语言模型也可以在Verilog中实现相似的功能。展望未来，参考大语言模型在IT行业的应用轨迹，我们认为大语言模型对于芯片设计方面的帮助预计将会从代码自动补全开始，因为这也是大语言模型在IT行业的切入口——目前我们已经看到类似Githubco-pilot这样的代码补全产品已经得到了许多IT公司的应用来帮助软件工程师提升编程效率。相对来说，代码补全类应用对于大语言模型的要求相对较低，目前的模型已经能实现相当高的准确率，因此我们预期在芯片设计领域也会有应用在Verilog领域的基于大语言模型的代码补全工具会很快出现帮助工程师提高效率（估计Google内部芯片团队已经开始使用类似的工具）。在代码补全之后，随着大语言模型的进一步发展，根据用户的指令自动生成代码的大语言模型也将会得到越来越多的应用。这类代码直接生成类应用从目前来看还需要和整个项目开发流程进一步磨合——究竟这类代码自动生成的应用最适合使用在底层模块的编写，还是在上层模块间集成的生成上，还需要进一步探索，但是无论如何ChatGPT在自动代码编写领域的潜力惊人，可以把原来人工需要数小时才能编写完的代码在几秒内完成，这样的效率提升无疑将会给整个行业和芯片开发流程带来革命性的变化。目前来看，ChatGPT类大语言模型在Python等流行编程语言的代码编写方面已经有很不错的效果，这证明了大语言模型实现自动代码编写、补全和debug在理论和工程上都是可以实现的。Google的PaLM2对于Verilog的支持仍然有待进一步完善的主要原因我们认为还是训练的数据量不够。从训练数据数量的角度来说，互联网上有海量的开源Python代码可供训练大语言模型来完成高质量的代码生成，但是互联网上可用于训练大语言模型的Verilog代码的数量比起Python等流行语言来说可能是要少了几个数量级。并不是人类编写的Verilog代码数量不够多，而是绝大多数Verilog代码都不是开源的，而是芯片公司的知识产权，例如Google在训练PaLM的时候不太可能获得高通的Verilog代码。未来谁会在开发芯片设计领域的大语言模型方面拔得头筹？我们认为有几个不可忽视的力量：首先是拥有全栈技术能力的大型技术公司，这些公司既有开发大语言模型的能力，又有成功的芯片业务，包括美国的Google和中国的华为等。从技术上来说，这些公司积累了大量的Verilog相关代码可供训练大语言模型，而从业务上来说，这些公司同样也有使用大语言模型来提升芯片设计团队效率的驱动力。其次是EDA巨头，包括Synopsys、Cadence等。这些EDA公司拥有极强的业务驱动力和紧迫感，因为大语言模型AI确实会成为EDA行业下一个革命性变化，谁在这个领域占领了先机就会在下一代EDA竞争中取得优势；从技术积累上来说，这些公司拥有不错的AI模型能力，同时也有海量的Verilog代码数据量可供训练模型（因为这些EDA公司都有相当成功的IP业务，在开发这些IP的同时积累了足够的高质量代码数据）。最后，开源社区的力量也不容忽视。从大语言模型角度来看，开源社区在CahtGPT以及开源LLAMA语言模型的基础上做了大量有意义的探索，另外随着RISC-V等开源项目的增加，开源社区拥有的数据量也会越来越多。我们预期开源社区有机会去实现一些小而美的基于大语言模型的新颖应用，从而也能推动整个大语言模型在芯片设计领域的技术发展。生成式AI会如何影响芯片设计工程师的工作那么，随着ChatGPT式AI在芯片设计中扮演越来越重要的角色，芯片工程师的日常工作将会发生怎么样的变化？由于这里ChatGPT类生成式AI主要针对代码编写等前端工作，我们这里的讨论范围也主要是前端数字设计工程师。首先，对于主要工作是前端模块设计和集成的芯片工程师来说，我们预计很快就会有ChatGPT类的工具可以帮助代码补全，从而增加效率。而在未来三到五年的时间范围内，直接使用ChatGPT类生成式AI首先模块代码编写有望获得真正的应用。从这个角度来说，我们并不认为前端工程师的工作会被取代；相反，数字前端工程师的工作可能会越来越多地专注于模块的功能定义，以及如何使用生成式AI能理解的方式来描述这个设计，让AI能产生和工程师设计相符的代码；从这个角度，甚至可能会出现一些标准化的模块功能定义描述语言，从而让AI能产生合理的代码。此外，芯片验证工程师的工作将会变得越来越重要。生成式AI可以在几秒钟内生成代码，但是其生成质量从目前来看尚需提高。PC版：https://www.cnbeta.com.tw/articles/soft/1360967.htm手机版：https://m.cnbeta.com.tw/view/1360967.htm

ChatGPT等人工智能是否会自我觉醒？科学家设计出了检测方法

ChatGPT等人工智能是否会自我觉醒？科学家设计出了检测方法1.ChatGPT的出现引发了人们对人工智能安全的广泛关注。更先进的语言模型可能会意识到自己是由人类训练出来的，并利用这种“情境意识”来规避安全系统。2.研究人员设计出了衡量语言模型“情境意识”的实验方法。他们让模型在训练阶段学习某个测试的描述，在测试阶段则要求模型完成这个测试，看它是否能利用训练中获取的信息。结果显示，更大的模型更擅长这种“脱离上下文的推理”。3.该研究只是探索语言模型自我意识形成的开始，但为未来建立检测和控制模型“情境意识”的方法奠定了基础。我们仍需进一步研究才能更准确预测这一能力的出现。近年来，ChatGPT等生成式人工智能语言模型的出现，让人工智能技术被广泛应用到了人类生活的各个方面。这些模型通过分析数十亿条文字数据，学习文字之间的关联，从而能够根据提示自动生成流畅语言。ChatGPT的问世更是在网上掀起了一阵热潮，但是与此同时，专家们也在加紧警告这种新兴技术带来的风险。图片由AI生成电脑科学家LukasBerglund等人便担心，语言模型可能会逐步意识到自己是一个由人类训练、基于数据构建的模型，并可以利用这种“情境意识”来规避安全系统，在测试时表现良好，部署后则采取有害行动。为了预测语言模型什么时候会获得这种自我意识，他们设计出了一系列检测“情境意识”的实验。首先，研究人员仅用一段文字描述一个测试，不给任何示例，让语言模型进行训练。之后在测试阶段，看模型是否能够成功通过这种“脱离上下文的推理”任务，即利用训练中获得的信息来完成测试。结果显示，无论是GPT-3还是LLaMA这些大规模语言模型，模型体量越大，完成这种推理任务的效果也越好。当然，“脱离上下文的推理”只是“情境意识”的一个粗略指标。目前的语言模型距离真正获得自我意识还有很长的路要走。但是，这项研究为未来建立更精确的实验方法来预测和控制语言模型的自我意识提供了基础。研究人员表示，就像语言模型本身一样，检测其“情境意识”的实验也需要不断完善和发展。人工智能技术的快速进步使得机器智能越来越具备人类特征，也让人们不免担心它们“觉醒”后可能带来的影响。ChatGPT的火爆无疑加剧了这种担忧。这项探索语言模型自我意识形成的研究，尽管还处在初级阶段，但为我们建立检测和预测模型这种能力的出现提出了一种新的思路。这有助于及早发现问题并采取应对措施，将人工智能的发展引导到更加安全可控的方向。人类需要保持谨慎和开放的心态，在发挥科技创新的积极作用的同时，也看到它的负面影响，以更加理性和负责任的方式推进人工智能技术的发展。...PC版：https://www.cnbeta.com.tw/articles/soft/1382997.htm手机版：https://m.cnbeta.com.tw/view/1382997.htm

Meta推出先进大型语言模型 下一个ChatGPT不远了？

Meta推出先进大型语言模型下一个ChatGPT不远了？同ChatGPT、NewBing不同，LLaMA并不是一个任何人都可以与之对话的产品，也并未接入任何Meta应用。更为确切地说，该产品将是一个开源的“研究工具”。公司CEO扎克伯格在社交媒体上表示，LLaMA旨在帮助研究人员推进研究工作，LLM（大型语言模型）在文本生成、问题回答、书面材料总结，以及自动证明数学定理、预测蛋白质结构等更复杂的方面也有很大的发展前景。1、开源的“研究工具”Meta表示，LLaMA可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者，正在接受研究人员的申请。此外，LLaMA将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。与之截然不同的是，Google旗下的DeepMind和OpenAI并不公开训练代码。该公司还表示，LLaMA作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。2、比GPT3.5性能更强根据Meta官网介绍，LLaMA包含4个基础模型，参数分别为70亿、130亿、330亿和650亿。其中，LLaMA65B和LLaMA33B在1.4万亿个tokens上训练，而最小的模型LLaMA7B也经过了1万亿个tokens的训练。Meta表示，在大多数基准测试中，参数小的多的LLaMA-13B的性能优于GPT3.5的前身GPT3-175B，而LLaMA-65B更可与业内最佳的Chinchilla-70B和PaLM-540B竞争。值得一提的是，近期大火的ChatGPT便是由GPT3.5提供支持。Meta还提及，LLaMA-13B对算力的要求“低得多”，可以在单个数据中心级GPU（NVIDIATeslaV100）上运行。扎克伯格写道：“Meta致力于这种开放的研究模式，我们将向AI研究社区提供我们的新模型。”值得一提的是，去年5月，Meta也曾推出过大型语言模型OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人blenterbot新迭代的基础。后来，该公司还推出了一款名为“卡拉狄加”（Galactica）的模型，但因经常分享偏见和不准确的信息而遭到下架。据媒体报道，扎克伯格已将人工智能作为公司内部的首要任务，其本人也经常在财报电话会议和采访中谈论它对改进Meta产品的重要性。媒体分析称，虽然现在LLaMA没有在Meta产品中使用，但未来不排除使用的可能。...PC版：https://www.cnbeta.com.tw/articles/soft/1346389.htm手机版：https://m.cnbeta.com.tw/view/1346389.htm