CCF - 快手大模型探索者基金发布

CCF - 快手大模型探索者基金发布 7 月 6 日，中国计算机学会 (CCF）联合快手正式发布 “CCF - 快手大模型探索者基金”，旨在响应人工智能技术的快速发展和产业界的迫切需求。CCF 和快手希望通过为全球学者搭建产学研合作平台，促进学术界与工业界的深度交流与合作，联合培养大模型领域科研和工程人才，为科技进步和社会发展做出贡献。

谷歌设立 500 万美元奖金，旨在寻找量子计算机的实际用途

谷歌设立 500 万美元奖金，旨在寻找量子计算机的实际用途 据《新科学人》（New Scientist）报道，谷歌和 XPRIZE 基金会正在发起一项价值 500 万美元的竞赛，旨在寻找量子计算机的实际应用，从而“真正造福社会”。 这项为期三年的竞赛于美国东部时间4日启动，目标是将量子计算的奥妙转化为解决现实世界问题的方案。该竞赛具有广泛的比赛范围和明确的目标，参赛者的任务包括开发新的量子算法、将现有算法应用于未知领域。 该竞赛将根据一系列标准对参赛者的算法进行评判，例如这些算法可能产生多大影响、能否解决与联合国可持续发展目标中概述的内容类似的问题，以及算法在现在、不久的将来可用的机器上运行的可行性。 竞赛的总奖金为 500 万美元，其中 300 万美元的大奖将由最多三名优胜者分享，100 万美元由最多五名亚军分享，20 名半决赛选手每人可获得 5 万美元的奖金。来源 ， 频道：@kejiqu 群组：@kejiquchat

杨润雄晤越南文体旅游官员并与创意产业界别领袖会面商合作可能性

杨润雄晤越南文体旅游官员并与创意产业界别领袖会面商合作可能性 文化体育及旅游局局长杨润雄昨日在越南河内拜访越南文化、体育与旅游部，并与该部副部长谢光东会面。杨润雄今早到访越南足球联合会，下午则与越南创意产业界别包括电影电视、时装界的领袖会面，商讨合作的可能性。杨润雄说，国家明确支持香港发展成为中外文化艺术交流中心，为业界带来源源不绝的发展机会。香港亦一直融合亚洲及世界各地文化，更定期举办亚洲文化合作论坛，让来自亚洲国家及地区的文化部长和高层官员交流意见和分享经验，助力香港成为连接国家与世界的文化枢纽。他表示，香港演艺学院与越南文化、体育与旅游部培训司合作，促进在艺术和文化领域的教育交流。越南的表演团体亦有参与康文署的「亚裔艺采」活动。体育方面，香港足球代表队与越南国家队多次对赛。香港与越南的旅游活动亦已恢复，合作潜力丰厚，香港致力要成为越南重要旅游目的地。杨润雄昨日展开越南河内访问行程，首先到访Vietnam Television Corporation，与电视台高层会面，探讨合作机会。他亦前往越南国家文化艺术研究院参观，了解对方研究策略建议及实施计划的情况。　　杨润雄明日上午启程返港。 2024-06-13 19:18:15

机构调查：中国产业界人士在生成式 AI 应用方面的占比全球最高

机构调查：中国产业界人士在生成式 AI 应用方面的占比全球最高 美国人工智能和分析软件公司 SAS 和市场研调公司对全球各行业合共 1600 名决策者进行调查，发现 83% 的中国受访者表示，他们使用了生成式人工智能技术，比例高于参与调查的其他 16 个国家和地区 54% 的平均水平，也高于美国的 65%。受访者所属的行业包括银行、保险、医疗保健、电信、制造、零售和能源。报告指出，自从微软支持的 OpenAI 在 2022 年 11 月发布 ChatGPT 以来，生成式人工智能发展势头迅猛，促使数十家中国公司推出了自己的版本，包括字节跳动等科技巨头，以至一些初创公司都提供类似服务，而价格战可能进一步降低企业使用大型语言模型服务的成本，中国企业采用生成式人工智能的速度有望加快。

富士通发布"Fugaku-LLM" 在超级计算机"富岳"上训练的日语增强大语言模型

富士通发布"Fugaku-LLM" 在超级计算机"富岳"上训练的日语增强大语言模型 理化学研究所的超级计算机 Fugaku为了在 Fugaku 上训练大型语言模型，研究人员开发了分布式训练方法，包括将深度学习框架 Megatron-DeepSpeed 移植到 Fugaku，以优化变形金刚在 Fugaku 上的性能。他们加速了 Transformers 的密集矩阵乘法库，并通过结合三种并行化技术优化了 Fugaku 的通信性能，还加速了 Tofu 互联 D 上的集体通信库。Fugaku-LLM 有 130 亿个参数，比日本广泛开发的 70 亿个参数模型更大。Fugaku-LLM 增强了日语能力，在日语 MT-Bench 中平均得分 5.5，是使用日本原始数据训练的开放模型中最高的。特别是人文和社会科学任务的基准性能达到了 9.18 分的惊人高分。Fugaku-LLM 是在 CyberAgent 收集的日语专有数据、英语数据和其他数据的基础上进行训练的。Fugaku-LLM 的源代码可在 GitHub 上获取，模型可在 Hugging Face 上获取。只要用户遵守许可证，Fugaku-LLM 可用于研究和商业目的。未来，随着更多研究人员和工程师参与改进模型及其应用，训练效率将得到提高，从而实现下一代创新研究和商业应用，例如科学模拟与生成式人工智能的联动，以及拥有成千上万人工智能的虚拟社区的社会模拟。研究背景近年来，大型语言模型（LLM）的发展十分活跃，尤其是在美国。其中，由 OpenAI 开发的 ChatGPT(6) 的迅速普及，对研发、经济体系和国家安全产生了深远影响。除美国外，其他国家也在本国投入大量人力和计算资源开发 LLM。日本也需要确保用于人工智能研究的计算资源，以免在这场全球竞赛中落后。人们对日本的旗舰超级计算机系统"Fugaku"寄予厚望，因此有必要改善在"Fugaku"上进行大规模分布式培训的计算环境，以满足这些期望。因此，东京工业大学、东北大学、富士通公司、理化学研究所、名古屋大学、CyberAgent 和 Kotoba Technologies 启动了一项关于开发大型语言模型的联合研究项目。各机构/公司的作用东京工业大学：大型语言模型的总体监督、并行化和通信加速（通过三种并行化组合优化通信性能，加速 Tofu 互联 D 上的集体通信）东北大学收集训练数据和选择模型富士通加速计算和通信（加速 Tofu 互联 D 上的集体通信、优化流水线并行化的性能）以及实施预训练和训练后微调理化学研究所：大规模语言模型的分布式并行化和通信加速（Tofu 互联 D 上的集体通信加速）名古屋大学研究 Fugaku-LLM 在 3D 生成式人工智能中的应用方法CyberAgent：提供训练数据Kotoba Technologies：将深度学习框架移植到 Fugaku未来发展这项研究的成果将通过 GitHub 和 Hugging Face 公开，以便其他研究人员和工程师可以利用这些成果进一步开发大型语言模型。只要用户遵守许可协议，Fugaku-LLM 可用于研究和商业目的。从 2024 年 5 月 10 日起，Fugaku-LLM 还将通过富士通研究门户网站提供给用户。未来，随着越来越多的研究人员和工程师参与到模型及其应用的改进中来，训练的效率将得到提高，从而实现下一代创新研究和商业应用，例如科学模拟与生成式人工智能的联系，以及拥有成千上万人工智能的虚拟社区的社会模拟。本研究得到了 Fugaku 政策支持提案"利用 Fugaku 开发大型语言模型的分布式并行训练"（提案号：hp230254）的支持。 ... PC版： 手机版：

32K上下文，Mistral 7B v0.2基模型突然开源了

32K上下文，Mistral 7B v0.2基模型突然开源了 这次开源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始预训练模型，后者属于该公司的“Mistral Tiny”系列。此次更新主要包括三个方面：将 8K 上下文提到了 32K；Rope Theta = 1e6；取消滑动窗口。下载链接：…更新之后的性能对比是这样的：场外观众迅速跟进。有人评价说：“Mistral 7B 已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。 我将尽快在这个模型上重新训练当前的许多微调。”Mistral AI 的第一个 7B 模型发布于 2023 年 9 月，在多个基准测试中实现了优于 Llama 2 13B 的好成绩，让 Mistral AI 一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标 Llama 2，而是将 Mistral AI 旗下的各系列模型作为直接竞争对手。而 Mistral 7B v0.2 Base Model 对应的指令调优版本 Mistral-7B-Instruct-v0.2 在 2023 年 12 月就已开放测试，据官方博客介绍，该模型仅适用于英语，在 MT-Bench 上能够获得 7.6 分的成绩，逊于 GPT-3.5。此次开放基础模型之后，开发者们就可以根据自己的需求对这个“当前最好的 7B 模型”进行微调了。不过，7B 模型只能算是 Mistral AI 众多惊艳成果中的一项。这家公司的长远目标是对标 OpenAI。上个月底，Mistral AI 正式发布了“旗舰级”大模型 Mistral Large。与此前的一系列模型不同，这一版本性能更强，体量更大，直接对标 OpenAI 的 GPT-4。随着 Mistral Large 上线，Mistral AI 推出了名为 Le Chat 的聊天助手，也实现了对标 ChatGPT。而新模型的发布，也伴随着公司大方向的一次转型。人们发现， Mistral Large 并不是一个开源大模型 有跑分、 API 和应用，就是不像往常一样有 GitHub 或是下载链接。与 Mistral Large 发布同时发生的，是 Mistral AI 与微软达成了长期合作的协议，不仅会将 Mistral Large 引入 Azure，还收获了微软 1600 万美元的投资。Mistral AI 对路透社表示，作为交易的一部分，微软将持有该公司少数股权，但未透露细节。未来，二者的合作主要集中在三个核心领域：超算基础设施：微软将通过 Azure AI 超级计算基础设施支持 Mistral AI ，为 Mistral AI 旗舰模型的 AI 训练和推理工作负载提供一流的性能和规模；市场推广：微软和 Mistral AI 将通过 Azure AI Studio 和 Azure 机器学习模型目录中的模型即服务（MaaS）向客户提供 Mistral AI 的高级模型。除 OpenAI 模型外，模型目录还提供了多种开源和商业模型。人工智能研发：微软和 Mistral AI 将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时，Mistral AI 联合创始人 Arthur Mensch 在采访中表示：“我们从开源模式开始，任何人都可以免费部署，因为这是广泛分发它们并创造需求的一种方式。但从一开始，我们就提供了一种具有优化模型的商业模式，这让使该公司能够为模型开发所需的昂贵研究提供资金。”参考链接： 2024）即将于 2024 年 3 月 30 日至 31 日在上海徐汇西岸美高梅酒店举行。本次大会由中国人工智能学会（CAAI）主办，CAAI 具身智能专委会（筹）、同济大学、中国科学院计算技术研究所、上海交通大学、中国经济信息社上海总部联合承办，全球高校人工智能学术联盟协办，机器之心独家 AI 媒体合作。盛会将为具身智能领域的学术与产业界搭建一个交流合作的顶级平台，以广泛促进学术分享与交流、产业合作与互动，推动产学研联动发展，提升我国具身智能技术的研究与应用水平。 ... PC版： 手机版：