发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm# 每个阶段都有清晰的文本、图表和实例来解释相关概念。 课程内容包括： 1. 从基础理解注意力机制 2. 构建并预训练一个类似于GPT的模型 3. 学习如何加载预训练的权重 4. 对模型进行分类任务的微调 5. 使用直接偏好优化进行指令微调模型 课程地址：

AI生成模型合集AI文本生成图像模型

AI生成模型合集 AI文本生成图像模型 DALL-E 2：https://openai.com/product/dall-e-2 Stable Diffusion：https://stablediffusionweb.com/ Craiyon：https://www.craiyon.com/ Jasper：https://www.jasper.ai/ Imagen：https://imagen.research.google/ Midjourney： 网站：https://midjourney.com/ 教程：https://www.uisdc.com/midjourney 关键词：https://github.com/willwulfken/MidJourney-Styles-and-Keywords-Reference NightCafe：https://nightcafe.studio/ GauGAN2： http://gaugan.org/gaugan2/ https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/ WOMBO ：https://www.wombo.ai/ pixray/text2image：https://replicate.com/pixray/text2image neural.love：https://neural.love/ AI文本生成视频模型 Runway：https://runwayml.com/ Fliki：https://fliki.ai/ Synthesia：https://www.synthesia.io/ Meta AI：https://ai.facebook.com/ Google AI：https://ai.google/ Phenaki：https://phenaki.video/ AI文本生成音频模型 Play.ht：https://play.ht/ Murf：https://murf.ai/ Resemble AI：https://www.resemble.ai/ WellSaid：https://wellsaidlabs.com/ Descript：https://www.descript.com/ AI文本生成文本模型 Simplified：https://simplified.com/ Jasper：https://www.jasper.ai/ Frase：https://www.frase.io/ EleutherAI：https://www.eleuther.ai/ AI21 Labs：https://www.ai21.com/ Hub Spot：https://www.hubspot.com/ InferKit：https://inferkit.com/ GooseAI：https://goose.ai/ Research AI：https://researchai.co/ Writesonic：https://writesonic.com/ Cohere：https://cohere.ai/ Chibi：https://chibi.ai/ Ideas AI：https://ideasai.com/ Copysmith：https://app.copysmith.ai/ Flowrite：https://www.flowrite.com/ Nichesss：https://nichesss.com/ Sudowrite：https://www.sudowrite.com/ ideasbyai：https://ideasby.ai/ TextCortex：https://textcortex.com/ OpenAI GPT-3：https://beta.openai.com/playground Blog Idea Generator：https://www.usetopic.com/blog-idea-generator AI文本生成Motion模型 Tree：https://tree.industries/ MDM: Human Motion Diffusion Model： https://guytevet.github.io/mdm-page/ AI文本生成代码模型 replitGhostwriter code：https://replit.com/site/ghostwriter Github copilot：https://github.com/features/copilot AI文本生成NFT模型 LensAI：https://www.lens.xyz/ AI文本生成3D模型 DreamFusion：https://dreamfusion3d.github.io/ CLIP-Mesh：https://www.nasir.lol/clipmesh GET3D：https://nv-tlabs.github.io/GET3D/ AI音频生成文本模型 Descript：https://www.descript.com/ AssemblyAI：https://www.assemblyai.com/ Whisper (OpenAI)：https://openai.com/blog/whisper/ AI音频生成音频模型 AudioLM： https://google-research.github.io/seanet/audiolm/examples/ Voicemod：https://www.voicemod.net/ AI-Brain生成文本模型 speech from brain(metaAI): https://ai.facebook.com/blog/ai-speech-brain-activity/ Non-invasive brain recordings： https://www.biorxiv.org/content/10.1101/2022.09.29.509744v1 AI图像生成文本模型 Neural.love：https://neural.love/ GPT-3 x Image Captions：https://www.auxiliary.tools #实用资源收集 #AI#合集

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。

：为大型语言模型(LLM)设计的结构化生成语言，旨在加速和更好地控制与LLM的交互。 特点包括：灵活的前端语言，允许轻松编程LLM应用，支持多个连锁生成调用、高级提示技术、控制流、多模式、并行处理和外部交互；具备高性能运行时，使用RadixAttention可以显著加速复杂LLM程序的执行，自动跨多个调用重复使用KV缓存，同时支持连续批处理和张量并行处理。

大型语言模型基础知识可视化学习指南 ||| #指南 #可视化

大型语言模型基础知识可视化学习指南 ||| #指南 #可视化 本文收集了一系列工具和文章，通过直观的可视化方式解释大型语言模型(LLM)的基础概念。 Jay Alammar的《图解Transformer》以生动的可视化说明了Transformer架构的工作原理。由于Transformer是所有语言模型的基石，理解它的基础尤为重要。《图解GPT-2》直观地展示了GPT-2的内部结构，如注意力机制等，有助于理解LLM的组成部分。 Brendan Bycroft的LLM可视化工具允许直观地探索不同LLM内部状态的变化。 Financial Times的文章解释了Transformer的重要性，以及它如何促成了生成式AI的发展。 OpenAI的Tokenizer工具演示了Tokenizer在文本处理中的作用。 Simon Wilson的文章深入解释了GPT Tokenizer的工作原理。 Greg Kamradt的Chunkviz工具展示了文本是如何被LLM处理成“块”的。 PAIR的“机器学习模型记忆还是泛化?”交互式介绍了两种学习方式及其对LLM的影响。 这些资源从多个维度直观地说明了LLM的核心概念和机制，有助于科技从业者和爱好者更好地理解LLM技术的本质。

：提供开发者 API 以加速大型语言模型 (LLM) 项目，LayoutPDFReader 可以解决 PDF 解析中的布局问题，

：提供开发者 API 以加速大型语言模型 (LLM) 项目，LayoutPDFReader 可以解决 PDF 解析中的布局问题，包括章节、段落、链接、表格等信息的提取，使用 LLM Sherpa 需要使用免费的开放 API 服务器，不支持 OCR，仅支持带有文本层的 PDF

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。

Line日本总部本周宣布开源自家开发的日语大型语言模型（LLM）。 ，可用于研究和商业用途，包含 和 个参数两个版本，均可在 HuggingFace Hub 上获取。 ，Line 一直专注于大型语言模型 HyperCLOVA，在 2021 年 5 月，Line 首次公开了基于 2040 亿个参数训练的韩文版 LLM HyperCLOVA，然后在 11 月公布了拥有 850 亿个参数的日语专用版本。 此次公开的模型与 HyperCLOVA 是不同部门并行开发的。此次开源的模型团队指出，此模型是基于 Line 自家的日语大型 Web 文本进行训练的，使用了 650GB 数据集进行训练。 研究团队还提供了本次公开的两个模型与 Rinna-3.6B 和 OpenCALM-7B 模型的准确度和困惑度（perplexity score，PPL）比较数据。