tinyllm 是一个轻量级框架,用于大规模开发、调试和监控 LLM 和代理支持的应用程序。该库的主要目标是使代码尽可能简单和可
tinyllm 是一个轻量级框架,用于大规模开发、调试和监控 LLM 和代理支持的应用程序。该库的主要目标是使代码尽可能简单和可读,同时允许用户在生产中创建复杂的代理或 LLM 工作流程。
Function及其流式等价物FunctionStream是tinylm 中的核心类。它们旨在标准化和控制 LLM、ToolStore 以及流模式和其他方式下可扩展生产使用的任何相关调用。
它提供了一种结构化方法来处理函数执行的各个方面,包括输入/输出验证、输出处理、错误处理、评估,同时保持代码可读。您可以在单个文件中创建一个具有自己的提示、LLM 模型和评估器的链。无需跳过许多类定义,也无需意大利面条式代码。任何其他库代理/链(langchain/llama-index...)也可以无缝导入为tinylm函数。
| #框架