现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型

现在可以在笔记本电脑、手机和RaspberryPi上运行GPT-3级别的AI模型通常，运行GPT-3需要多个数据中心级A100GPU（此外，GPT-3的权重不公开），但LLaMA引起了轰动，因为它可以在单个强大的消费类GPU上运行。现在，通过使用一种称为量化的技术来减小模型大小的优化，LLaMA可以在M1Mac或较小的Nvidia消费者GPU上运行。周五，一位名叫GeorgiGerganov的软件开发人员创建了一个名为“”的工具，可以在Mac笔记本电脑本地运行Meta的新GPT-3类AI大型语言模型LLaMA。此后不久，人们也想出了如何在。然后有人展示了它在Pixel6手机上运行，接下来是（尽管运行速度非常慢）。如果这种情况持续下去，我们可能会在不知不觉中看到一个口袋大小的ChatGPT竞争对手。在撰写本文时，在Mac上运行LLaMA仍然是一项相当技术性的练习。您必须安装Python和Xcode并熟悉在命令行上工作。威利森为任何想尝试的人提供了很好的。但随着开发人员继续编写代码，这种情况可能很快就会改变。来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

在Telegram中查看

相关推荐

Meta 新语言模型能运行在单张显卡上

Meta新语言模型能运行在单张显卡上Meta上周宣布了一个新的大语言模型LLaMA-13B，称其参数规模更小但性能强于OpenAI的GPT-3模型，且它能运行在单张显卡上。语言模型的规模在从70亿到650亿参数，而OpenAIGPT-3模型有1750亿个参数。Meta使用CommonCrawl、维基百科和C4等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta称LLaMA为其基础模型，它将是未来该公司更先进模型的基础。它的LLaMA-13B模型在BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC和OpenBookQA等标准测试中的表现超过了GPT-3。GPT-3等衍生模型需要数据中心规模的计算能力进行处理，而LLaMA-13B能运行在单张显卡上，为在消费者硬件上实现类似ChatGPT的性能打开了大门。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

NVIDIA与AMD将为游戏笔记本电脑带来微软Copilot Plus人工智能功能

NVIDIA与AMD将为游戏笔记本电脑带来微软CopilotPlus人工智能功能"华硕和微星新发布的RTXAIPC笔记本电脑最高配备GeForceRTX4070GPU和高能效片上系统，具备Windows11AIPC功能，"NVIDIA在一篇博文中表示。NVIDIA在一份简报中证实，这些笔记本电脑将配备AMD最新的StrixCPU。AMD还没有正式详细介绍其AMDStrix笔记本电脑CPU，但毫无疑问，它将在今天晚些时候的主题演讲中公布。NVIDIA还暗示，首批搭载AMD处理器的CopilotPlusPC可能不会在发布时获得微软的人工智能功能。配备CopilotPlus功能的NVIDIARTXAI笔记本电脑即将上市。NVIDIA在一篇博文中表示："这些Windows11AIPC在可用时将获得Copilot+PC体验的免费更新。这表明微软可能还没准备好在AMD芯片上推出Recall和其他AI驱动的Windows功能，或者说6月18日推出的搭载Arm高通处理器的Windows硬件可能会有一段时间的独占期。"NVIDIA也在为在笔记本电脑上执行人工智能驱动的任务而进行着某种程度的努力，微软正在推动将人工智能模型的计算安排到NPU上，而NVIDIA则打算在PC上的人工智能战场上大显身手。NVIDIA正在大力宣传其"RTXAI笔记本电脑"品牌，指出其GPU比NPU更有能力运行更繁重的AI工作负载。RTX人工智能工具包将于6月份推出NVIDIA会在6月份推出RTXAI工具包，其中包括用于模型定制、优化和部署的工具和SDK。这些工具将采用类似Meta的Llama2模型，并对其进行优化，使其运行时对VRAM的要求大大降低，性能更高。NVIDIA还与微软就Windows11中内置的底层人工智能模型展开合作。NVIDIA表示："此次合作将为应用开发人员提供便捷的应用编程接口（API）访问GPU加速的小语言模型（SLM），从而实现由WindowsCopilotRuntime驱动的在设备上运行的检索增强生成（RAG）功能。"微软在上个月的Build大会上发布了WindowsCopilotRuntime，而NVIDIA表示，其使用RTXGPU加速AI模型的工作将于今年晚些时候发布开发者预览版。微软的WindowsCopilotRuntime旨在让开发者能够轻松地将人工智能功能添加到他们的应用中，同时依靠NPU硬件或NVIDIA的GPU来加速这些功能。由于NPU目前的性能约为40TOPS，而NVIDIA的PCGPU可处理超过1000TOPS的AI加速，因此开发人员需要考虑的性能差异显然很大。NPU专为笔记本电脑中运行的较小的模型和针对重要的高能效而设计，但GPU可以很好地处理较大的模型，在电池寿命无关紧要的PC台式机中具有更高的性能。观察PC上的这场人工智能大战将会非常有趣，尤其是微软掌握着在Windows中为NVIDIA、AMD、英特尔、高通及其众多OEM合作伙伴原生将带来这些AI体验的钥匙。...PC版：https://www.cnbeta.com.tw/articles/soft/1433295.htm手机版：https://m.cnbeta.com.tw/view/1433295.htm

以 BitTorrent 的方式在家用电脑上运行大语言模型

以BitTorrent的方式在家用电脑上运行大语言模型OpenAI的AI聊天机器人ChatGPT运行在微软的Azure云计算平台，普通用户即使能获得ChatGPT使用的大语言模型GPT-3或GPT-4，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似ChatGPT的AI聊天机器人。BigScience社区正在开发名为的系统，以BitTorrent的方式在家用电脑上运行大语言模型。可以集成最新的大语言模型，当前支持性能与GPT-3相近的BLOOM-176B大语言模型。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Meta称其LLaMA语言模型比OpenAI的GPT-3更有前景

Meta称其LLaMA语言模型比OpenAI的GPT-3更有前景LLaMA有多种尺寸，从70亿个参数到650亿个参数不等。Meta方面称，尽管LLaMA-13B的尺寸较小，而且少了1620亿个参数，但“在大多数基准测试中”表现优于OpenAI的GPT-3。据报道，最大的模型LLaMA-65B与DeepMind的Chinchilla70B和PaLM-540B等模型可相提并论。LLaMA是一个基础模型:它在大量未标记数据上进行训练，这使得研究人员更容易针对特定任务微调模型。由于模型更小，因此更容易针对用例进行再训练。LLaMA不仅仅是使用英语文本构建的。Meta使用20种使用拉丁语或西里尔语脚本的语言训练其模型。然而，大多数训练数据都是英语，因此模型性能更好。Meta的研究人员声称，由于模型的大小，对当前大型语言模型的访问受到限制。Meta认为“这种受限访问限制了研究人员理解这些大型语言模型如何工作以及为何工作的能力，阻碍了提高其稳健性和解决已知问题（例如偏见、侮辱和产生错误信息的可能性）的努力”。除了使模型更小之外，Meta还试图让LLaMA更易于访问，包括在非商业许可下发布它。对各种LLaMA模型的访问权限只会根据具体情况授予学术研究人员，例如隶属于政府、民间组织和学术界的研究人员。与ChatGPT一样，LLaMA与其他语言模型一样存在生成有偏见或不准确的信息。Meta的LLaMA声明承认了这一点，并表示通过共享模型，研究人员可以“更轻松地测试新方法来限制或消除大型语言模型中的这些问题。”Meta在去年5月曾推出一款面向研究人员的名为OPT-175B的大型语言模型，去年年底还发布过另一款模型Galactica，但后者被发现经常分享有偏见或不准确的信息，在48小时内被迅速下架。...PC版：https://www.cnbeta.com.tw/articles/soft/1346899.htm手机版：https://m.cnbeta.com.tw/view/1346899.htm

【Sam Altman：开源GPT-3、降低GPT-4的成本、翻倍模型规模】

【SamAltman：开源GPT-3、降低GPT-4的成本、翻倍模型规模】2023年06月01日07点48分6月1日消息，AI开发平台HumanLoop创始人RazaHabib与OpenAI首席执行官SamAltman等20多位开发者开展了一次闭门讨论会，SamAltman透露了很多关于OpenAI的未来规划与目前遇到的情况。具体有：1.OpenAI目前严重受限于GPU，导致他们推迟了许多短期计划，大部分关于ChatGPT可靠性和速度的问题都是由于GPU资源短缺造成。2.给GPT-4降本提效是OpenAI当前的首要任务。3.更长的ChatGPT上下文窗口(最高可达100万个tokens)。将来会有一个记住对话历史记录的API版本。4.GPT-4的多模态功能要到2024年才会公开，在获取更多GPU资源前不能将GPT-4的视觉版本扩展到所有人。5.OpenAI正在考虑开源GPT-3，他们之所以还没有开源的部分原因是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。6.最近很多文章声称的“巨型AI模型的时代已经结束”并不正确，OpenAI内部数据表明，规模与性能成正比的定律仍成立，OpenAI的模型规模每年可能会增加一倍或三倍(多方信息表明GPT-4参数规模10000亿)，而不是增加许多数量级。

高通表示大多数 Windows 游戏应该可以在其搭载 Snapdragon 的 Windows 笔记本电脑上运行

高通表示大多数Windows游戏应该可以在其搭载Snapdragon的Windows笔记本电脑上运行在2024年游戏开发者大会上高通工程师IssamKhalil表示，其还未发布的ARM笔记本电脑将可以使用转译接近全速运行x86/64游戏。这些笔记本电脑可能很快就会上市，消息人士向TheVerge透露，高通已确认将于今年夏天推出SnapdragonXElite系统，而未发布的SurfacePro10和SurfaceLaptop6消费者版本预计将于5月份搭载这些芯片。大多数游戏的图形瓶颈是GPU而不是CPU，高通表示GPU性能不受影响，仅在x64和ARM64之间进行转译时有损耗，但仅在第一次转译代码块时发生发现CPU性能受到了一些轻微影响后续传递是直接缓存访问”。高通还表示，它拥有适用于DX11、DX12、Vulkan和OpenCL的AdrenoGPU驱动程序，还将通过映射层支持DX9和最高OpenGL4.6。但依赖内核级反作弊驱动程序的游戏将无法在模拟下运行。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人