高通与Meta合作优化Llama 3大语言模型在骁龙终端的运行

高通与Meta合作优化Llama3大语言模型在骁龙终端的运行Meta公司推出了下一代大语言模型Llama3，该模型有两种版本：80亿参数和700亿参数，被宣称为最强大的开源大语言模型。高通公司宣布将支持Llama3在骁龙终端上的运行，这包括智能手机、PC、VR/AR头显和汽车等设备。双方合作的目标是优化Llama3在这些终端上的执行，以提升响应能力、增强隐私性和可靠性，并为用户带来更加个性化的体验。开发者将能够利用高通AIHub中的资源和工具，以实现在骁龙平台上的优化运行，缩短产品上市时间并充分发挥终端侧AI的优势。关注频道：@TestFlightCN频道投稿：@TNSubmBot

Ollama：在本地启动并运行大语言模型 | #工具

：在本地启动并运行大语言模型#工具Ollama是一款命令行工具，可在macOS和Linux上本地运行Llama2、CodeLlama和其他模型。适用于macOS和Linux，并计划支持Windows。Ollama目前支持近二十多个语言模型系列，每个模型系列都有许多可用的"tags"。Tags是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。