tinyllm 是一个轻量级框架,用于大规模开发、调试和监控 LLM 和代理支持的应用程序。该库的主要目标是使代码尽可能简单和可

tinyllm 是一个轻量级框架,用于大规模开发、调试和监控 LLM 和代理支持的应用程序。该库的主要目标是使代码尽可能简单和可读,同时允许用户在生产中创建复杂的代理或 LLM 工作流程。 Function及其流式等价物FunctionStream是tinylm 中的核心类。它们旨在标准化和控制 LLM、ToolStore 以及流模式和其他方式下可扩展生产使用的任何相关调用。 它提供了一种结构化方法来处理函数执行的各个方面,包括输入/​​输出验证、输出处理、错误处理、评估,同时保持代码可读。您可以在单个文件中创建一个具有自己的提示、LLM 模型和评估器的链。无需跳过许多类定义,也无需意大利面条式代码。任何其他库代理/链(langchain/llama-index...)也可以无缝导入为tinylm函数。 | #框架

相关推荐

封面图片

-轻量级LLM交互框架:简化生产代码中语言模型的应用,提供结构化Pydantic模型与非结构化文本输出的互操作性,支持LiteL

-轻量级LLM交互框架:简化生产代码中语言模型的应用,提供结构化Pydantic模型与非结构化文本输出的互操作性,支持LiteLLM等语言模型,定义提示为Python函数,支持异步批处理和快速迭代,适用于大规模生成任务 | #框架

封面图片

是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码,无缝结合 LLM 应用程序的批处理、流处理和实

是一个用于高吞吐量和低延迟实时数据处理的开放框架。它用于创建 Python 代码,无缝结合 LLM 应用程序的批处理、流处理和实时 API。每当收到新的输入和请求时,Pathway 的分布式运行时 (-) 都会提供数据管道的最新结果。 Pathway 提供了 Python 中的高级编程接口,用于定义数据转换、聚合和数据流上的其他操作。借助 Pathway,您可以轻松设计和部署复杂的数据工作流程,从而高效地实时处理大量数据。 Pathway 可与各种数据源和接收器(例如 Kafka、CSV 文件、SQL/noSQL 数据库和 REST API)互操作,允许您连接和处理来自不同存储系统的数据。 Pathway 的典型用例包括实时数据处理、ETL(提取、转换、加载)管道、数据分析、监控、异常检测和推荐。Pathway 还可以独立为实时 LLM 应用程序提供轻型 LLMOps 堆栈的骨干。 在 Pathway 中,数据以表格的形式表示。实时数据流也被视为表。该库提供了一组丰富的操作,例如过滤、联接、分组和窗口。

封面图片

RECONCILE框架:让多个LLM,经过多轮讨论,产生最终的回复。

RECONCILE框架:让多个LLM,经过多轮讨论,产生最终的回复。 第1轮每个LLM生成初始答案、一个例子和对答案的自信程度。 第2-N轮开始每个LLM对其他LLM的答案进行质疑。 达成一致后或达到轮数上限后,按权重输出最终答案。 | #框架

封面图片

苹果发布了一个可以利用LLM 生成动画的框架Keyframer。

苹果发布了一个可以利用LLM 生成动画的框架Keyframer。 Keyframer允许用户通过自然语言提示来创建静态2D图像的动画。 它使用GPT-4生成CSS动画代码,支持用户通过多种编辑器类型直接编辑生成的动画。 用户可以通过顺序提示和请求LLM生成的设计变体来迭代他们的设计。 论文链接:

封面图片

LLMFlows 是一个框架,用于构建简单、明确和透明的 LLM(大语言模型)应用程序,如聊天机器人、问答系统和代理。

LLMFlows 是一个框架,用于构建简单、明确和透明的 LLM(大语言模型)应用程序,如聊天机器人、问答系统和代理。 LLMFlows 的核心是提供一套简约的抽象,让你可以利用 LLM 和向量存储,构建结构良好、清晰明了的应用程序,这些应用程序没有隐藏的提示或 LLM 调用。LLM Flows 可确保每个组件完全透明,从而使监控、维护和调试变得简单。 | #框架

封面图片

是一个用于评估Python代码推理、理解和执行的基准,包含两个任务:CRUXEval-I和CRUXEval-O,用于评估输入和输

是一个用于评估Python代码推理、理解和执行的基准,包含两个任务:CRUXEval-I和CRUXEval-O,用于评估输入和输出预测。 该基准测试包括800个Python函数和输入输出对,最佳模型GPT-4在CRUXEval-I和CRUXEval-O上的pass @ 1 分别达到67%和63%。尽管Code Llama 34B等模型在大量代码数据上进行了训练,但仅达到了47%和44%的准确率。 该基准测试强调了代码推理能力的重要性,并鼓励未来的代码语言模型评估考虑CRUXEval。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人