用于从各种信息源中提取知识并使用OpenAI的GPT-3模型生成答案的工具。

用于从各种信息源中提取知识并使用OpenAI的GPT-3模型生成答案的工具。 它支持从互联网、本地数据、YouTube字幕和音频等各种信息源中提取文本。可以使用RESTful API或Python库进行调用。 | #工具

用 ORPO 将 Llama 3 的性能提升到新高度 |

用 ORPO 将 Llama 3 的性能提升到新高度 | ORPO(Odds Ratio Preference Optimization)是一种新的微调技术，可以将传统的监督微调和偏好对齐阶段合并为一个过程，从而减少计算资源和训练时间。 ORPO通过修改语言建模目标，将负对数似然损失与比值(OR)项相结合，以弱化被拒绝的响应并强化被选择的响应，让模型同时学习目标任务和人类偏好。 文章使用TRL库中的ORPOTrainer在Llama 3 8B模型上进行ORPO微调，数据集包含DPO偏好对，共1000个样本。尽管由于样本量少仅训练了1个epoch，但微调后的模型在Nous的基准测试中表现良好，所有指标上均优于Llama 3原模型。 ORPO展现了作为新的微调范式的潜力，未来在更大规模的偏好数据集上进行充分训练将产生更好的效果。选择高质量的数据集也非常重要。 当前是开源社区的活跃时期，正在发布越来越多高质量的开源模型，开源模型与专有模型的差距正在缩小，微调是获得最佳性能的关键。

Databricks 发布最大开源大语言模型 DBRX

Databricks 发布最大开源大语言模型 DBRX 美国AI初创公司Databricks周三公布，该公司开发的通用大语言模型 DBRX将开源。DBRX在语言理解、编程、数学和逻辑方面轻松击败了Meta的Llama 2-70B、法国MixtralAI公司的Mixtral 和 马斯克旗下xAI开发的Grok-1这类当前流行的开源模型。DBRX 在 30多种不同的最先进模型(SOTA) 基准指标测试中，均优于前述三种大模型。 DBRX 使用混合专家架构(MoE) ，拥有16个专家模型，共1320亿参数。该模型使用 3072 英伟达 H100 GPU在12万亿个token的数据集上进行训练，最大支持32k 的上下文窗口。同时，Databrick 也开源了该模型经过指令微调（instruct finetune）的版本。 ,

（Topics in Algorithmic COde Generation dataset）是一个专注于算法代码生成的数据集，

（Topics in Algorithmic COde Generation dataset）是一个专注于算法代码生成的数据集，旨在为代码生成模型领域提供更具挑战性的训练数据集和评估基准。 该数据集由难度更大、更接近真实编程场景的编程竞赛题组成。它强调在实际应用场景中提高或评估模型的理解和推理能力，而不仅仅是实现预定义的函数功能。 规模更大：TACO 包括训练集（25,443 个问题）和测试集（1,000 个问题），使其成为当前可用的最大的代码生成数据集。 更高质量：TACO 数据集中的每个问题都旨在匹配一组不同的解决方案答案，答案大小高达 1.55M。这保证了模型在训练过程中不易出现过拟合，并验证了评估结果的有效性。 细粒度标签：TACO 数据集中的每个问题都包含细粒度标签，例如任务主题、算法、技能和难度级别。这些标签为代码生成模型的训练和评估提供了更准确的参考。

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些任务涉及 33 种工具，包括 13 种多模态模型、9 个公共 API 和 11 个图像处理模块 | #数据集

IBM宣布在watsonx上提供开源Mistral AI模型

IBM宣布在watsonx上提供开源Mistral AI模型 这有可能将延迟时间缩短 35-75%，具体取决于批量大小加快洞察时间。这是通过一个称为量化的过程实现的，该过程减少了 LLM 的模型大小和内存需求，反过来又能加快处理速度，有助于降低成本和能耗。Mixtral-8x7B 的加入扩展了 IBM 的开放式多模型战略，以满足客户的需求，为他们提供选择和灵活性，从而在其业务中扩展企业人工智能解决方案。通过数十年的人工智能研发、与 Meta 和 Hugging Face 的开放合作以及与模型领导者的合作，IBM 正在扩展其模型目录，并引入新的功能、语言和模式。IBM 的企业就绪基础模型选择及其 watsonx 人工智能和数据平台可以帮助客户利用生成式人工智能获得新的洞察力和效率，并基于信任原则创建新的业务模式。IBM 可帮助客户为金融等目标业务领域的正确用例和性价比目标选择正确的模型。Mixtral-8x7B 采用了稀疏建模（一种创新技术，只查找和使用数据中最重要的部分，以创建更高效的模型）和专家混合技术（Mixture-of-Experts）的组合，后者将擅长并解决不同部分问题的不同模型（"专家"）结合在一起。Mixtral-8x7B 模型因其能够快速处理和分析海量数据，提供与背景相关的见解而广为人知。IBM 软件公司产品管理与增长高级副总裁 Kareem Yusuf 博士说："客户要求有选择性和灵活性，以便部署最适合其独特用例和业务要求的模型。通过在watsonx上提供Mixtral-8x7B和其他模型，我们不仅为他们提供了部署人工智能的可选性，还为人工智能构建者和业务领导者提供了一个强大的生态系统，使他们能够利用工具和技术推动不同行业和领域的创新。"本周，IBM还宣布在watsonx上提供由ELYZA公司开源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM还在watsonx上提供Meta的开源模型Llama-2-13B-chat和Llama-2-70B-chat以及其他第三方模型，未来几个月还将提供更多。 ... PC版： 手机版：