小白通过 Ollama 本地部署AI模型

小白通过Ollama本地部署AI模型搭建参考1：https://linux.do/t/topic/65982搭建参考2：https://juejin.cn/post/7347667306460577843不限制规则的两个模型推荐：ollamarunmistralollamarunnollama/mythomax-l2-13b:Q4_K_M中文用户模型推荐：ollamarunqwen勿喷，给小白用户推荐。有更好玩的，大家也可以推荐。群友推荐：

苹果正利用大语言模型改造Siri 无需联网本地运行

苹果正利用大语言模型改造Siri无需联网本地运行随着ChatGPT的兴起，不少大厂到开始自研AI大模型，苹果出于安全考虑禁止员工使用ChatGPT。不过，有苹果员工曾抱怨Siri工作效率低下，Siri之所以逐渐走向没落，是因为内部团队混乱、决策缓慢、代码笨重，导致在Siri和AI开发上受到严重阻碍。如今，苹果打算加码AI，想必也是不少人所期待的，升级后的Siri据说在本地运行响应时间更快、不需要网络连接，且更具隐私性。...PC版：https://www.cnbeta.com.tw/articles/soft/1395647.htm手机版：https://m.cnbeta.com.tw/view/1395647.htm

摩根大通推测苹果 AI 发展策略：立足本地小模型 管理大语言模型

摩根大通推测苹果AI发展策略：立足本地小模型管理大语言模型《科创板日报》20日讯，摩根大通近日发布投资备忘录，推测苹果的AI发展战略，认为苹果一方面专注于iPhone本地运行的小模型，另一方面通过和其它厂商合作引入大语言模型（LLM）。摩根大通认为相比较OpenAI的ChatGPT和谷歌的Gemini，苹果目前在大语言模型方面处于落后状态，苹果公司也深知这一点，因此将重心放在可以本地运行的小模型方面，从而更好地发挥自己的优势。

Opera已允许用户在本地下载和使用大语言模型

Opera已允许用户在本地下载和使用大语言模型这些模型包括Meta的Llama、Google的Gemma和Vicuna。该功能将作为Opera人工智能功能发布计划的一部分提供给用户，让用户提前使用部分人工智能功能。该公司表示，它在浏览器中使用Ollama开放源码框架在计算机上运行这些模型。目前，所有可用的模型都是Ollama库的子集，但该公司希望将来能加入不同来源的模型。该公司提到，每个变体都会占用本地系统超过2GB的空间。因此应该谨慎使用可用空间，以免存储空间耗尽。值得注意的是，Opera在下载模型时不会做任何节省存储空间的工作。"Opera现在首次在浏览器中直接提供了大量第三方本地LLM。"Opera副总裁JanStandal在一份声明中表示："随着第三方本地LLM越来越专业，预计它们的规模可能会缩小。"如果用户计划在本地测试各种模型，这项功能会很有用，但如果想节省空间，也可以使用Quora'sPoe和HuggingChat等大量在线工具来探索不同的模型。自去年以来，Opera一直在尝试人工智能功能。去年5月，该公司在侧边栏推出了一款名为Aria的助手，并于8月将其引入iOS版本。今年1月，Opera表示，由于欧盟数字市场法案（DMA）要求苹果放弃对移动浏览器WebKit引擎的强制要求，该公司正在为iOS构建一款自带引擎的人工智能浏览器。...PC版：https://www.cnbeta.com.tw/articles/soft/1426089.htm手机版：https://m.cnbeta.com.tw/view/1426089.htm

苹果发布可在本地运行的开放模型 OpenELM

苹果发布可在本地运行的开放模型OpenELM苹果发布了它的开放模型，可以在本地设备而不是云端运行。OpenELM的权重、训练的不同检查点（checkpoints）、预训练评估微调等的指南都公布在HuggingFace平台上。示例代码许可并不禁止商业使用或修改，只是要求在重新发布时包含苹果完整且没有修改过的声明。OpenELM由一组旨在高效执行文本生成任务的小模型组成，共八个模型，四个预训练四个指令微调，参数规模从2.7亿到30亿。来源，频道：@kejiqu群组：@kejiquchat

以 BitTorrent 的方式在家用电脑上运行大语言模型

以BitTorrent的方式在家用电脑上运行大语言模型OpenAI的AI聊天机器人ChatGPT运行在微软的Azure云计算平台，普通用户即使能获得ChatGPT使用的大语言模型GPT-3或GPT-4，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似ChatGPT的AI聊天机器人。BigScience社区正在开发名为的系统，以BitTorrent的方式在家用电脑上运行大语言模型。可以集成最新的大语言模型，当前支持性能与GPT-3相近的BLOOM-176B大语言模型。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot