CodeGPT: 提高编程能力的关键在于数据。CodeGPT是通过GPT生成的用于GPT的代码对话数据集。现在公开了32K条中文

:提高编程能力的关键在于数据。CodeGPT是通过GPT生成的用于GPT的代码对话数据集。现在公开了32K条中文数据，让模型更擅长编程。考虑到代码难度对模型训练效果的影响，此处共收集了四种不同类型、不同难度的代码相关对话数据，收集方法如下：Code-Basic：利用已有的LLM（例如付费API）生成各种编程语言的基础库函数相关的代码对话数据。Prompt类似“请为C语言中的XX函数生成一道非常简单的编程问题及对应的代码答案”，API会输出该基础库函数相关的问题-答案对，将问题作为用户输入，答案作为模型输出（Markdown格式），可得到一条对话数据。Code-Medium：利用已有的LLM（例如付费API）生成中等难度的编程问题及答案，例如写入内容到文件、查找字符串子串、实现链表等，API同样会输出问题-答案对，将问题作为用户输入，答案作为模型输出（Markdown格式），可得到一条对话数据。Code-LeetCode：从LeetCode上收集到的问题-答案对，此类问题通常难度较高。将问题作为用户输入，答案作为模型输出（Markdown格式），可得到一条对话数据。Code-Text：从互联网上收集到的常见面试题及答案，此类问题并不涉及编程，而是侧重于对各种概念的理解。将问题作为用户输入，答案作为模型输出（文本形式），可得到一条对话数据。

Visual ChatGPT 是一个结合了视觉基础模型的系统，使用户能够超越语言格式与 ChatGPT 交互，解决复杂的视觉任务

是一个结合了视觉基础模型的系统，使用户能够超越语言格式与ChatGPT交互，解决复杂的视觉任务。ChatGPT正在吸引跨领域的兴趣，因为它提供了一种语言界面，具有跨多个领域的卓越对话能力和推理能力。然而，由于ChatGPT是用语言训练的，它目前无法处理或生成来自视觉世界的图像。同时，VisualFoundationModels，如VisualTransformers或StableDiffusion，虽然表现出强大的视觉理解和生成能力，但它们只是特定任务的专家，具有一轮固定的输入和输出。为此，我们构建了一个名为\textbf{VisualChatGPT}的系统，其中包含不同的视觉基础模型，使用户能够通过以下方式与ChatGPT进行交互：1）不仅发送和接收语言，还发送和接收图像2）提供复杂的视觉问题或视觉编辑指令，需要多个AI模型进行多步骤协作。3)提供反馈并要求更正结果。

教你从零开始构建类似 ChatGPT 的大语言模型。

教你从零开始构建类似ChatGPT的大语言模型。在GitHub上发现一本《BuildaLargeLanguageModel(FromScratch)》书籍。作者将带你从头开始构建一个类似GPT语言模型，这过程让你了解如何创建、训练和微调大型语言模型(LLMs)！书籍主要分为8大章节，如下：第1章：了解大语言模型（LLM）解析第2章：介绍文本数据处理技巧第3章：通过编程实现注意力机制（AttentionMechanisms）第4章：从零开始实现类似GPT模型第5章：对未标注数据进行预训练第6章：针对文本分类的模型微调第7章：结合人类反馈进行模型微调第8章：在实践中使用大语言模型书籍前两章内容已出，剩下的会逐步放出。

微软开源 Visual ChatGPT

OpenAI的ChatGPT（GPT3版本）是基于大语言模型，专门训练以文本形式的对话与用户互动。它不是基于多模态模型，不支持图像或语音的输入输出。如果我们想要构建一个类似ChatGPT的支持图像理解和生成的系统，那么可能需要使用一个多模态会话模型进行训练。但此类的训练需要消耗大量的数据和算力资源。与此从头开始构建一个全新的系统，不如站在巨人的肩膀上。微软亚洲研究院的研究人员在预印本网站arxiv上发表论文《VisualChatGPT:Talking,DrawingandEditingwithVisualFoundationModels》，提出在ChatGPT 和多个VisualFoundationModels基础上构建VisualChatGPT。源代码托管在GitHub上。投稿：@ZaiHuabot频道：@TestFlightCN

TACO（Topics in Algorithmic COde Generation dataset）是一个专注于算法代码生成的

（TopicsinAlgorithmicCOdeGenerationdataset）是一个专注于算法代码生成的数据集，旨在为代码生成模型领域提供更具挑战性的训练数据集和评估基准。该数据集由难度更大、更接近真实编程场景的编程竞赛题组成。它强调在实际应用场景中提高或评估模型的理解和推理能力，而不仅仅是实现预定义的函数功能。规模更大：TACO包括训练集（25,443个问题）和测试集（1,000个问题），使其成为当前可用的最大的代码生成数据集。更高质量：TACO数据集中的每个问题都旨在匹配一组不同的解决方案答案，答案大小高达1.55M。这保证了模型在训练过程中不易出现过拟合，并验证了评估结果的有效性。细粒度标签：TACO数据集中的每个问题都包含细粒度标签，例如任务主题、算法、技能和难度级别。这些标签为代码生成模型的训练和评估提供了更准确的参考。

实测ChatGPT如何看待“竞争对手”谷歌的Bard

实测ChatGPT如何看待“竞争对手”谷歌的BardWedbush分析师丹尼尔·艾夫斯（DanielIves）接受第一财经记者邮件采访时表示：“谷歌正试图通过Bard大力追赶，从创新和算法的角度来看，Bard远远落后于ChatGPT。微软先发制人，现在谷歌必须迎头赶上。谷歌拥有搜索，因此他们有护城河，但时间正在流逝。”就此，第一财经记者上线与ChatGPT聊了聊，如何看待这位新晋的“竞争对手”。ChatGPT答道：“作为一个中立的AI语言模型，我没有个人意见和偏好。但是，我可以提供事实信息。谷歌BARD（BidirectionalAttentionRepresentationsfromTransformers）是谷歌开发的预训练语言模型，旨在处理会话AI领域的任务，例如对话生成和响应选择。BARD建立在自然语言处理（NLP）社区广泛使用的transformer架构之上，并在基准数据集上取得了可喜的成果。BARD是否可以被视为其他模型的‘竞争对手’将取决于项目的具体用例和要求。”记者进一步询问，有何具体案例。ChatGPT答道：“假设您有一个项目涉及客户服务聊天机器人的自然语言处理。在这种情况下，目标是实时生成对客户查询的适当响应。对于这种特定用例，与GPT-3（也由OpenAI开发）这样的通用语言模型相比，BARD这样在对话数据上进行预训练并专门为对话生成而设计的模型，可能是更好的选择。另一方面，如果项目涉及更复杂的语言任务，如总结长文档或生成创意写作，那么像GPT-3这样更通用的模型可能更合适。总之，模型的选择将取决于项目的具体要求和目标，BARD和GPT-3（或其他模型）在某些情况下可能会相互补充，而不是直接竞争。”据报道，Bard由谷歌的大型语言模型LAMDA（LanguageModelforDialogueApplications），即对话应用程序语言模型提供支持。Bard将于周一开始首先向“受信任的测试人员”（trustedtesters）的开放，预计于“几周后”向公众开放。谷歌公司CEO桑达尔·皮查伊（SundarPichai）表示：“很快，你将在搜索中看到AI支持的功能，这些功能将复杂的信息和多个观点提炼成易于理解的格式，因此你可以快速通览全局并从中了解更多信息。”外媒报道称，皮查伊在一份写给全体员工的备忘录中要求所有员工“本着内部黑客马拉松（hackathon）的精神”，对Bard进行测试。就在Bard官宣数分钟后，微软宣布于周二举行新闻发布会，OpenAI首席执行官山姆·奥特曼（SamAltman）将出席，或宣布一项使用ChatGPT来回答的搜索查询服务。艾夫斯分析称：“微软正处在AI投资创新的超车道上。”虽然其搜索引擎Bing的市场份额仅为9%，但随着ChatGPT独特的工具和算法集成至其搜索引擎平台，谷歌的市场份额恐遭到蚕食。“尽管整个科技行业都在裁员，但我们预计未来12到18个月涌入人工智能领域的投资将达数十亿美元，并释放这些创新技术在消费者和企业领域的潜力。”艾夫斯补充道：“随着科技巨头间的AI大战第一枪打响，这场大战将在未来几个月内引领入下一个投资阶段。”他维持对微软“跑赢大盘”的评级，并维持其280美元的目标定价。隔夜，微软股价收报256.77美元。...PC版：https://www.cnbeta.com.tw/articles/soft/1343117.htm手机版：https://m.cnbeta.com.tw/view/1343117.htm