构筑大语言模型应用:应用开发与架构设计

构筑大语言模型应用:应用开发与架构设计作者在2023年的上半年和同事一起创建了一系列的流行的或者不流行的开源项目。它们涉及了:LLM能力的充分运用Prompt编写:Prompt学习与编写模式Prompt管理:Prompt即代码LLM下的软件开发工序及应用架构设计新的交互设计:Chat模式大模型友好的工序:基于AI2.0(ChatGPT+Copilot)如何去设计软件开发流程LLM应用架构的设计与落地:UnitMesh面向特定场景的LLM应用基于开源模型构建自己的模型:特定场景的模型微调+LLMOps上下文工程(prompt工程):LLM应用的核心“围绕于上述的一系列内容,我们也在思考软件开发能给我们带来了什么。所以,我重新整理了过去半年的一些思考、文章,重新编写了这本开源电子书,希望能够帮助到大家。”#电子书

相关推荐

封面图片

动手学大模型应用开发:旨在帮助小白开发者通过实践构建个人知识库助手,学习大模型应用开发的基础入门

:旨在帮助小白开发者通过实践构建个人知识库助手,学习大模型应用开发的基础入门主要内容包括:大模型简介,何为大模型、大模型特点是什么、LangChain是什么,针对小白开发者的简单介绍;如何调用大模型API,本节介绍了国内外知名大模型产品API的多种调用方式,包括调用原生API、封装为LangChainLLM、封装为Fastapi等调用方式,同时将包括百度文心、讯飞星火、智谱AI等多种大模型API进行了统一形式封装;大模型开发流程及架构,大模型应用开发的基本流程、一般思想和本项目的架构分析;数据库搭建,不同类型知识库文档的加载、处理,向量数据库的搭建;Prompt设计,如何设计Prompt来让大模型完成特定任务,PromptEngineering的原则和技巧有哪些;验证迭代,大模型开发如何实现验证迭代,一般的评估方法有什么;前后端开发,如何使用Gradio、FastAPI等框架快速开发大模型Demo,展示应用能力。

封面图片

Java 亿级项目架构设计与落地应用

名称:Java亿级项目架构设计与落地应用描述:一次性掌握超大型项目架构设计与落地能力快速铲平架构理论门槛迅速拨高架构实际应用能力帮助3年以上Java工程师突破能力瓶颈,技术发展空间更上一层楼。链接:https://www.aliyundrive.com/s/NeD4gG2Cc2c大小:未统计标签:#课程#知识来自:雷锋版权:频道:@shareAliyun群组:@aliyundriveShare投稿:@aliyun_share_bot

封面图片

从架构设计到实现掌握云原生开发

名称:从架构设计到实现掌握云原生开发描述:从到实现,掌握云全流程技能云原生开发与部署深度剖析”的课程,我认为这门课程非常优秀。这门课程涵盖了云原生全流程开发技能,从架构设计到实现,深入探讨了云原生的开发、部署、管理等各个方面的知识点。通过这门课程的学习,对云原生技术有了更加全面深入的了解,同时也对于实际项目的开发有了更加清晰的思路。建议先收藏保存,不定时失效。链接:https://pan.quark.cn/s/870553cd8976大小:NG标签:#quark#学习#资源#课程#架构设计频道:@yunpanshare群组:@yunpangroup

封面图片

libLLM: 专为在普通个人电脑和移动设备上高效推理大型语言模型(LLM)而设计的开源项目。

:专为在普通个人电脑和移动设备上高效推理大型语言模型(LLM)而设计的开源项目。核心使用C++14编写,没有第三方依赖(BLAS、SentencePiece等),能在各种设备中无缝运行。特点为日常设备进行优化:libLLM经过优化,可在常见的个人电脑上平稳运行,确保大型语言模型的强大功能面向更广泛的用户。C++代码:采用标准C++14编写,简单高效。无外部依赖:核心功能无需第三方依赖(BLAS、SentencePiece等),所需的GEMM内核均在内部实现(avx2、avx512)。支持CUDA:支持使用CUDA加速推理。

封面图片

Codefuse-ChatBot:一个开源的 AI 智能助手,专为软件开发的全生命周期而设计,涵盖设计、编码、测试、部署和运维等

:一个开源的AI智能助手,专为软件开发的全生命周期而设计,涵盖设计、编码、测试、部署和运维等阶段。通过知识检索、代码检索,工具使用和沙箱执行,Codefuse-ChatBot不仅能回答你在开发过程中遇到的专业问题,还能通过对话界面协调多个独立分散的平台。项目核心差异技术、功能点:智能调度核心:构建了体系链路完善的调度核心,支持多模式一键配置,简化操作流程。代码整库分析:实现了仓库级的代码深入理解,以及项目文件级的代码编写与生成,提升了开发效率。文档分析增强:融合了文档知识库与知识图谱,通过检索和推理增强,为文档分析提供了更深层次的支持。垂类专属知识:为DevOps领域定制的专属知识库,支持垂类知识库的自助一键构建,便捷实用。垂类模型兼容:针对DevOps领域的小型模型,保证了与DevOps相关平台的兼容性,促进了技术生态的整合。依托于开源的LLM与Embedding模型,本项目可实现基于开源模型的离线私有部署。此外,本项目也支持OpenAIAPI的调用。

封面图片

微软在 GitHub 开源的一套 AI 工具,可用于简化大模型应用的开发周期。

微软在GitHub开源的一套AI工具,可用于简化大模型应用的开发周期。打通了从项目构思、原型设计、测试、评估到生产部署和监控的全流程,让开发者可以快速构建出高质量的大语言模型应用。项目配套了「提示流入门教程」、「跟PDF对话聊天」等详细的技术文档与指南,帮助你快速上手技术。通过快速流程,你能够:1.创建并迭代开发流程:创建将LLM、提示、Python代码和其他工具链接在一起的可执行流程。轻松调试和迭代您的流程,尤其是与法学硕士的交互。2.评估流量质量和性能使用更大的数据集评估流程的质量和性能。将测试和评估集成到CI/CD系统中,以确保流程的质量。3.简化生产开发周期将流程部署到你选择的服务平台或轻松集成到应用程序的代码库中。(可选,但强烈推荐)利用AzureAI中的云版本提示流与你的团队协作。#工具

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人