OmniFusion：高级的多模态 AI 模型，旨在通过集成其他数据模态（如图像、音频、3D 和视频内容）来扩展传统语言处理系统

：高级的多模态AI模型，旨在通过集成其他数据模态（如图像、音频、3D和视频内容）来扩展传统语言处理系统的功能。开源OmniFusion核心是Mistral-7B。该模型有两个版本：第一个使用一个视觉编码器CLIP-ViT-L，第二个使用两个编码器（CLIP-ViT-L和DinoV2）。最初专注于图像，我们选择CLIP-ViT-L作为视觉编码器，因为它具有高效的信息传输能力。OmniFusion最重要的组件是它的适配器，这是一种允许语言模型解释和合并来自不同模式的信息的机制。对于单编码器版本，适配器是单层四头变压器层，与更简单的线性层或MLP结构相比，它表现出了卓越的性能。具有两个编码器的模型使用一个适配器，该适配器从视觉编码器的所有层收集特征，该适配器没有注意层。该适配器从视觉编码器（不包括CLS令牌）获取嵌入，并将它们映射到与语言模型兼容的文本嵌入。

Awesome-LLM-SoftwareTesting：关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

：关于在软件测试中使用大型语言模型(LLM)的论文和资源的集合。LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务，包括代码生成和代码推荐。因此，在软件测试中使用LLM预计会产生显着的改进。一方面，软件测试涉及诸如单元测试生成之类的任务，这些任务需要代码理解和生成。另一方面，LLM可以生成多样化的测试输入，以确保全面覆盖正在测试的软件。此存储库对LLM在软件测试中的运用进行了全面回顾，收集了102篇相关论文，并从软件测试和法学硕士的角度进行了全面的分析。