Arweave AO计划推出链上开源大语言模型

ArweaveAO计划推出链上开源大语言模型PANews6月21日消息，Arweave公共测试网ArweaveAO在X平台宣布推出“AIonAO”计划，计划推出链上开源大语言模型（LLMs），旨在将任何AI模型（不仅仅是LLMs）带到链上。基于ApusNetwork，利用Arweave的永久链上存储，构建一个去中心化、无信任的GPU网络，致力于为AI训练和推理提供可靠、高效和低成本的计算能力。AO上的AI数据可通过ArDrive上传到Arweave的模型。https://www.panewslab.com/zh/sqarticledetails/t1a1oxkv.html

【Arweave创始人：AO超并行计算机在AI技术方面取得了一些关键突破】

【Arweave创始人：AO超并行计算机在AI技术方面取得了一些关键突破】2024年06月04日08点07分老不正经报道，据Arweave创始人SamWilliams在X平台表示，AO超并行计算机在AI技术方面取得了一些关键突破。其中包括：在AO智能合约中运行完整的LLMs（如Llama3等）：这意味着这些AI模型现在可以直接在区块链上的智能合约中运行，并且能够做出财务决策；支持WASM64：这让协议层面可以使用高达约18艾字节（EB）的内存，使得处理大规模数据变得更加容易；WeaveDrive：这项技术使得AO进程可以像本地硬盘一样访问Arweave上的数据。此外，所有细节将在6月20日的活动中展示。

Google 发布开源大语言模型 Gemma

Google发布开源大语言模型Gemma谷歌今天宣布推出Gemma，这是一个新的轻量级开源大语言模型系列。现在Gemma2B和Gemma7B两个模型已经可用，每个尺寸都发布了经过预训练和指令调整的变体。谷歌同时提供了多项工具以便快速部署该模型，包括开箱即用的Colab实例，可快速部署的容器镜像，以及和其它流行开发工具的集成。Gemma模型也能够直接在开发人员笔记本电脑或台式计算机上运行。根据谷歌的技术报告，该模型在多个测试中超越的Llama2等开源模型。这些新模型“受到Gemini的启发”，使用与其相似的架构，并被许可用于商业和研究用途。此外，谷歌还发布了一个新的负责任的生成式AI工具包，以提供“使用Gemma创建更安全的人工智能应用程序的指导和基本工具”以及调试工具。——,,

Arweave去中心储存协议推出新公链AO测试网，昨天正式发币$AO，100%空投给社群。桥接stETH也能赚$AO。了解更多：

Arweave去中心储存协议推出新公链AO测试网，昨天正式发币$AO，100%空投给社群。桥接stETH也能赚$AO。了解更多：https://www.blocktempo.com/arweave-decentralized-computing-network-ao-launches-token/#Arweave#AO#加密货币https://www.blocktempo.com/arweave-decentralized-computing-network-ao-launches-token/

Databricks 发布最大开源大语言模型 DBRX

Databricks发布最大开源大语言模型DBRX美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama2-70B、法国MixtralAI公司的Mixtral和马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX在30多种不同的最先进模型(SOTA)基准指标测试中，均优于前述三种大模型。DBRX使用混合专家架构(MoE)，拥有16个专家模型，共1320亿参数。该模型使用3072英伟达H100GPU在12万亿个token的数据集上进行训练，最大支持32k的上下文窗口。同时，Databrick也开源了该模型经过指令微调（instructfinetune）的版本。——,

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能

a16z近期公布了他们的开源AI资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7个项目：：一个在任何云上运行LLMs、AI和批处理作业的框架，提供最大的成本节省、最高的GPU可用性和托管执行。主要能力有：在任何云上启动作业和集群、排队并运行多个作业，自动管理、轻松访问对象存储、自动选择最便宜的云服务。：用于微调LLMs的工具，支持多种配置和架构。工具支持：训练各种Huggingface模型，如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。：开源模型、系统和评估平台。开源了LLM用的数据集，还有一个LLM模型。最著名的还是通过ELO算法和机制评估LLM质量的项目，这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于LLM质量的判断。：用于训练许多LLMs的开放网络爬取数据存储库。这是一个从2007年就开始收集的互联网语聊数据库，他们会定期抓取，你可以免费下载所有数据用来训练模型。GPT-382%的训练语料来自这个项目。：开源多模态模型（语言和视觉）。端到端训练的大型多模态模型，连接了一个视觉编码器和LLM，用于通用的视觉和语言理解。现在最新的是LLaVA1.5版本，只是对原始LLaVA进行简单修改，利用了所有公开数据，在单个8-A100节点上约1天内完成训练。：AI动画的平台和开源社区，是一种AI生成动画的方式。Deforum的WebUI插件和Discord社区都是他们在维护。：高影响力AI模型的开放实现。PhilWang，也以其在线昵称“lucidrains”而闻名，在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括VisionTransformer、DALL-E2、Imagen和MusicLM等的实现。