台湾开发繁体中文大模型抵抗中国大陆技术影响

台湾开发繁体中文大模型抵抗中国大陆技术影响 台湾官员担忧中国大陆的科技应用，例如小红书、TikTok等，正在侵蚀台湾的文化和政治。为了减少这种影响力，并在人工智能生态体系中找到立足点，台湾正加大投入建设自己的繁体中文语言大模型。 彭博社报道，到2026年，台湾政府拨出174亿新台币（约7.46亿新元）的预算，用于发展人工智能行业和开发相关工具。此外，还在台湾的繁体中文语言大模型“可信任生成式AI对话引擎”（Trustworth AI Dialogue Engine，简称TAIDE）上，投入了大约740万美元（约991万新元）。 TAIDE的开发者称，希望这项工具能为台湾的企业、银行、医院和政府办公室提供一个不受中国大陆政治影响的平台，帮助完成例如电子邮件编写、会议总结等任务。 负责执行TAIDE计划的中研院资通安全专题中心执行长李育杰对彭博社说，台湾需要“一个与我们的价值观相一致的大型语言模型”。他说，“一个庞大的语言模型嵌入了一个地方的知识体系，不仅如此，还包括其核心价值观自由、民主政体和人权。” 彭博社报道称，如果使用中国大陆百度公司开发的“文心一言”，在回答谁赢得了最近的台湾总统大选时能回答出正确答案赖清德，但文心一言随后会补充，不管台湾局势如何变化，基本事实是，只有一个中国。 TAIDE的早期应用版本将于今年4月推出，供选定的合作伙伴测试。另外，据《天下杂志》报道，台湾AI评测中心也在去年年底正式挂牌，TAIDE是第一个接受检验的大模型。 中国大陆公司字节跳动所开发的应用Tiktok在台湾的影响力日益增加，也让一些台湾官员感到担忧。美国之音去年12月的报道指出，台湾的资安专家警告，中国大陆正不断强化对台的认知作战，而TikTok是其中最令台湾方面感到棘手的社媒平台。 台湾网路资讯中心去年8月发布的报告，有超过22%的台湾成年有使用“抖音”或TikTok。另据台湾实验性媒体READr 2021年针对台湾Z世代常用软件调查结果，小红书和TikTok崛起时间相似。TikTok和小红书分别是当时爱用社交类软件排行榜的第三名和第六名。 2024年1月26日 12:30 PM

专为智能手机设计的高性能大型语言模型推理框架，支持高达47B参数的MoE模型，速度高达每秒11.68个token，比现有框架快2

专为智能手机设计的高性能大型语言模型推理框架，支持高达47B参数的MoE模型，速度高达每秒11.68个token，比现有框架快22倍。即使在7B模型上，通过在手机上放置50%的FFN权重，也能保持领先速度 | #框架

: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。 核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。 特点 为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。 C++代码：采用标准C++14编写，简单高效。 无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。 支持CUDA：支持使用CUDA加速推理。

Google的教学视频《》，介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整

Google的教学视频《》，介绍了大型语言模型（Large Language Models，LLMs）的概念、使用场景、提示调整以及Google的Gen AI开发工具。 大型语言模型是深度学习的一个子集，可以预训练并进行特定目的的微调。这些模型经过训练，可以解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题。然后，可以利用相对较小的领域数据集对这些模型进行定制，以解决零售、金融、娱乐等不同领域的特定问题。 大型语言模型的三个主要特征是：大型、通用性和预训练微调。"大型"既指训练数据集的巨大规模，也指参数的数量。"通用性"意味着这些模型足够解决常见问题。"预训练和微调"是指用大型数据集对大型语言模型进行一般性的预训练，然后用较小的数据集对其进行特定目的的微调。 使用大型语言模型的好处包括：一种模型可用于不同的任务；微调大型语言模型需要的领域训练数据较少；随着数据和参数的增加，大型语言模型的性能也在持续增长。 此外，视频还解释了传统编程、神经网络和生成模型的不同，以及预训练模型的LLM开发与传统的ML开发的区别。 在自然语言处理中，提示设计和提示工程是两个密切相关的概念，这两者都涉及创建清晰、简洁、富有信息的提示。视频中还提到了三种类型的大型语言模型：通用语言模型、指令调整模型和对话调整模型。每种模型都需要以不同的方式进行提示。

教你从零开始构建类似 ChatGPT 的大语言模型。

教你从零开始构建类似 ChatGPT 的大语言模型。 在 GitHub 上发现一本《Build a Large Language Model (From Scratch)》书籍。 作者将带你从头开始构建一个类似 GPT 语言模型，这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)！ 书籍主要分为 8 大章节，如下： 第 1 章：了解大语言模型（LLM）解析 第 2 章：介绍文本数据处理技巧 第 3 章：通过编程实现注意力机制（Attention Mechanisms） 第 4 章：从零开始实现类似 GPT 模型 第 5 章：对未标注数据进行预训练 第 6 章：针对文本分类的模型微调 第 7 章：结合人类反馈进行模型微调 第 8 章：在实践中使用大语言模型 书籍前两章内容已出，剩下的会逐步放出。 |

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。 ，可用于研究和商业用途，包含 和 个参数两个版本，均可在 HuggingFace Hub 上获取。 ，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。 此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。 研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。