None
-轻量级LLM交互框架:简化生产代码中语言模型的应用,提供结构化Pydantic模型与非结构化文本输出的互操作性,支持LiteLLM等语言模型,定义提示为Python函数,支持异步批处理和快速迭代,适用于大规模生成任务 | #框架
:为大型语言模型(LLM)设计的结构化生成语言,旨在加速和更好地控制与LLM的交互。 特点包括:灵活的前端语言,允许轻松编程LLM应用,支持多个连锁生成调用、高级提示技术、控制流、多模式、并行处理和外部交互;具备高性能运行时,使用RadixAttention可以显著加速复杂LLM程序的执行,自动跨多个调用重复使用KV缓存,同时支持连续批处理和张量并行处理。
🔍 发送关键词来寻找群组、频道或视频。