中文LLaMA&Alpaca大模型的第二期项目 | link

中文LLaMA&Alpaca大模型的第二期项目本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。本项目主要内容针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验支持,,,,,等LLaMA生态已开源的模型基座模型：Chinese-LLaMA-2-7B,Chinese-LLaMA-2-13B聊天模型：Chinese-Alpaca-2-7B,Chinese-Alpaca-2-13B长上下文模型：Chinese-LLaMA-2-7B-16K,Chinese-LLaMA-2-13B-16K,Chinese-Alpaca-2-7B-16K,Chinese-Alpaca-2-13B-16K

中文LLaMA-2 & Alpaca-2大语言模型 (Chinese LLaMA-2 & Alpaca-2 LLMs)

中文LLaMA-2&Alpaca-2大语言模型()本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。本项目主要内容：针对Llama-2模型增加了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型了预训练脚本、开源指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验支持Transformers,llama.cpp,text-Generation-webui,LangChain,vLLM等LLaMA生态目前已开源的模型：Chinese-LLaMA-2-7B,Chinese-Alpaca-2-7B

北大团队发布法律大模型 ChatLaw，为大众提供普惠法律服务，将带来哪些影响

北大团队发布法律大模型ChatLaw，为大众提供普惠法律服务，将带来哪些影响北大团队发布了首个中文法律大模型落地产品ChatLaw，为大众提供普惠法律服务。模型支持文件、语音输出，同时支持法律文书写作、法律建议、法律援助推荐。https://www.zhihu.com/question/610072848投稿人：杜尔伯特李德才投稿：@ZaiHuaBot频道：@TestFlightCN

国产中文大语言模型“天河天元”发布 由天河超算训练

国产中文大语言模型“天河天元”发布由天河超算训练国家超算天津中心在大会上发布了“天河E级智能计算开放创新平台”和“天河天元大模型”。据介绍，中文大语言模型的数据集非常稀缺。国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集。训练数据集总token数达到350B，最终训练打造出了自己的中文语言大模型——天河天元大模型。据悉，“天河E级智能计算开放创新平台”将带来突破百亿亿次的跨模态的超级计算算力，支撑传统的科学工程计算，并服务智能混合计算，打造全方位的算力赋能创新和数字经济高质量发展载体。...PC版：https://www.cnbeta.com.tw/articles/soft/1360799.htm手机版：https://m.cnbeta.com.tw/view/1360799.htm

科大讯飞推出大模型 董事长称语言理解等方面还落后ChatGPT

科大讯飞推出大模型董事长称语言理解等方面还落后ChatGPT中国语音智能公司科大讯飞董事长刘庆峰说，公司推出的大模型产品“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT，而在语言理解等方面还落后ChatGPT。据财新网报道，刘庆峰星期六（5月6日）在合肥举行的“星火认知大模型”成果发布会上说，“大模型都还在快速迭代过程中，即便是GPT-4很多问题仍然回答的不好，所以只是找单点例子来证明哪个系统强是没有意义的”。他并说，科大讯飞牵头设计的大模型评测体系覆盖了七大类和481个细分任务类型，七大类即长文本生成、语言理解、知识问答、逻辑推理、数学能力、代码生成、多模态输入和表达能力。科大讯飞研究院院长刘聪在发布会现场演示了“星火认知大模型”在这七大方面的能力。报道称，在演示中，该模型可以写文案、编故事，可以根据场景含义理解成语意思并给出针对性分析，并根据上下文逻辑推理；也可以解决基础的数学问题、生成简单代码；该模型还具备图片、语音等多模态的输入、输出能力。刘庆峰称，“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT，而在语言理解等方面还落后ChatGPT。他同时公布，将于6月9日升级该模型在开放式问答、多轮对话、数学能力，并于8月15日升级代码能力、多模态交互能力。刘庆峰说，“星火认知大模型”10月24日将在中文通用大模型上超过ChatGPT现有水平，英文和ChatGPT现有水平持平。另据报道，在此次发布会上，科大讯飞还公布了大模型能力带来的对于教育、办公等领域现有产品的功能升级。在教育领域，科大讯飞学习机借助该模型实现了批改作文、中英文口语对话的能力。在现场展示中，学习机产品可以通过拍照自动批改小学水平的中文作文及高考英语作文，可以实现指出错别字、语句修订、评分等功能。刘庆峰说：“我们也将把星火大模型的能力开放给开发者，我们会根据国家有关管理部门的要求严格的把控，而本次发布的各个领域的落地都是马上能用的，也是国家部委特别支持的。”

华为盘古NLP模型是华为云推出的一种中文自然语言处理模型，是业界首个千亿参数语言预训练模型 1. 它在预训练阶段学习了40T

华为盘古NLP模型是华为云推出的一种中文自然语言处理模型，是业界首个千亿参数中文语言预训练模型1.它在预训练阶段学习了40TB中文文本数据，是最接近人类中文理解能力的AI大模型1.盘古NLP大模型可用于内容生成、内容理解等方面，并首次使用Encoder-Decoder架构，兼顾NLP大模型的理解能力和生成能力，保证了模型在不同系统中的嵌入灵活性3.总之，华为盘古NLP模型是一种中文自然语言处理模型，它是业界首个千亿参数中文语言预训练模型，可用于内容生成、内容理解等方面，并首次使用Encoder-Decoder架构​盘古大模型已经产出工业成果了，HI自动驾驶就是基于盘古模型学习的，问界的语音控制也是，还有个重磅的就是C919的诞生，是中国商飞上海飞机设计研究院联合华为发布了世界首个工业级​流体仿​真大模型东方•御风也是基于盘古模型打造的​华为盘古大模型在工业领域较为出色，大模型的名称是因为，这玩意不是你用个电脑就能跑起来的，就算放到云上让你用，成本和延迟也不允许。所以盘古大模型的性能优化应该没有GPT那么惊艳。至于文心一​言，它是百度的半成品，我认为它的进步的速度会非常快，1-2个月后可见分晓，千万不要以固有思维去理解AI，chatgpt刚出来时也表现一般#文章#AI#科技viaJasonh