|| #机器学习 #电子书

|| #机器学习 #电子书 本书提供了深度学习的完整且简明的数学工程概述。内容包括卷积神经网络、递归神经网络、transformer、生成式对抗网络、强化学习、图神经网络等。 书中聚焦于深度学习模型、算法和方法的基本数学描述，很大程度上与编程代码、神经科学关系、历史视角无关。数学基础的读者可以快速掌握现代深度学习算法、模型和技术的本质。 深度学习可以通过数学语言在许多专业人员可理解的层面上进行描述。工程、信号处理、统计、物理、纯数学等领域的读者可以快速洞察该领域的关键数学工程组成部分。 书里包含深度学习的基础原理、主要模型架构、优化算法等内容。另外还提供了相关课程、工作坊、源代码等资源。 本内容面向想要从数学工程视角理解深度学习的专业人员，内容覆盖了深度学习的主要技术，使用简明的数学语言描述深度学习的关键组成部分，是了解深度学习数学本质的很好资源。

| #指南LLMs，即大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型

| #指南 LLMs，即大型语言模型（Large Language Models），是一种基于人工智能和机器学习技术构建的先进模型，旨在理解和生成自然语言文本。这些模型通过分析和学习海量的文本数据，掌握语言的结构、语法、语义和上下文等复杂特性，从而能够执行各种语言相关的任务。LLM的能力包括但不限于文本生成、问答、文本摘要、翻译、情感分析等。 LLMs例如GPT、LLama、Mistral系列等，通过深度学习的技术架构，如Transformer，使得这些模型能够捕捉到文本之间深层次的关联和含义。模型首先在广泛的数据集上进行预训练，学习语言的一般特征和模式，然后可以针对特定的任务或领域进行微调，以提高其在特定应用中的表现。 预训练阶段让LLMs掌握了大量的语言知识和世界知识，而微调阶段则使模型能够在特定任务上达到更高的性能。这种训练方法赋予了LLMs在处理各种语言任务时的灵活性和适应性，能够为用户提供准确、多样化的信息和服务。

大型语言模型基础知识可视化学习指南 ||| #指南 #可视化

大型语言模型基础知识可视化学习指南 ||| #指南 #可视化 本文收集了一系列工具和文章，通过直观的可视化方式解释大型语言模型(LLM)的基础概念。 Jay Alammar的《图解Transformer》以生动的可视化说明了Transformer架构的工作原理。由于Transformer是所有语言模型的基石，理解它的基础尤为重要。《图解GPT-2》直观地展示了GPT-2的内部结构，如注意力机制等，有助于理解LLM的组成部分。 Brendan Bycroft的LLM可视化工具允许直观地探索不同LLM内部状态的变化。 Financial Times的文章解释了Transformer的重要性，以及它如何促成了生成式AI的发展。 OpenAI的Tokenizer工具演示了Tokenizer在文本处理中的作用。 Simon Wilson的文章深入解释了GPT Tokenizer的工作原理。 Greg Kamradt的Chunkviz工具展示了文本是如何被LLM处理成“块”的。 PAIR的“机器学习模型记忆还是泛化?”交互式介绍了两种学习方式及其对LLM的影响。 这些资源从多个维度直观地说明了LLM的核心概念和机制，有助于科技从业者和爱好者更好地理解LLM技术的本质。

谷歌免费发布了一套 15 门课长达 300 小时的机器学习工程师课程。

谷歌免费发布了一套 15 门课长达 300 小时的机器学习工程师课程。 涵盖了机器学习系统的设计、构建、投产、优化、运转和维护工作。 详细的学习内容有： • 机器学习基础：涵盖机器学习的基本原理和方法。 • 特征工程：探讨如何有效地处理和转换数据，以提高模型性能。 • 生产级机器学习系统：介绍如何将机器学习模型部署到生产环境中。 • 计算机视觉与自然语言处理：涉及图像和语言数据的分析和应用。 • 推荐系统：讨论如何构建个性化推荐引擎。 • MLOps：聚焦于机器学习操作的实践，包括模型的部署、监控和维护。 • TensorFlow、Google Cloud、VertexAI：介绍这些工具和平台如何支持机器学习项目的开发和部署。 课程地址：

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字 本书分为3个部分： 自然语言处理（NLP） 计算机视觉（CV） 图片和文字 以下是本节各章的简要概述： 命名实体识别- 讨论使用conllpp 数据集识别命名实体的训练转换器模型。我们将使用的特定模型称为bert-base-cased。该模型是原始 BERT 的较小版本，并且区分大小写，这意味着它将大写和小写字母视为不同。 掩蔽语言建模- 与填空问题类似，我们训练一个模型来使用xsum 数据集预测句子中的掩蔽词。我们将使用的特定模型称为distilbert-base-uncased。这是 bert base uncased 模型的精炼版本，它以相同的方式处理大写和小写字母。 机器翻译在本章中，训练一个模型将文本从英语翻译成西班牙语。我们将在新闻评论数据集上训练来自赫尔辛基 NLP 小组的变压器模型。 总结在本章中，训练了一个多语言模型来总结英语和西班牙语句子。使用的模型是 T5 Transformer 模型的多语言版本，使用的数据集是amazon reviews dataset。 因果语言建模- 本章重点介绍训练模型以自动完成 Python 代码。为此，我们将使用用于训练代码鹦鹉模型的数据。 计算机视觉部分涵盖了该领域下最常见的任务。本节中的章节使用pytorch 闪电、pytorch 图像模型（timm）、 albumentations库和权重和偏差平台。以下是本节各章的简要概述： 图像分类- 我们将训练卷积神经网络 (CNN) 模型对动物图像进行分类。我们将使用的 CNN 模型是“resnet34”，使用的数据集是动物图像数据集。 图像分割- 本章侧重于训练模型以分割给定图像中的道路。我们将使用 U-net 模型来完成此任务。 物体检测在本章中，我们将专注于检测图像中的汽车。我们将预测与图像中包围汽车的边界框相对应的坐标。对于这个任务，我们将使用 fast-rcnn 模型。 最后一节包含训练模型以在给定图像的情况下生成标题的章节。它将有一个视觉转换器作为编码器，gpt-2 模型作为解码器。 || #电子书 #机器学习 #手册

EasyCV是一个涵盖多个领域的基于Pytorch的计算机视觉工具箱，聚焦自监督学习和视觉transformer关键技术，覆盖主

EasyCV是一个涵盖多个领域的基于Pytorch的计算机视觉工具箱，聚焦自监督学习和视觉transformer关键技术，覆盖主流的视觉建模任务例如图像分类，度量学习，目标检测，关键点检测等。 核心特性： SOTA 自监督算法 EasyCV提供了state-of-the-art的自监督算法，有基于对比学习的算法例如 SimCLR，MoCO V2，Swav， Moby，DINO，也有基于掩码图像建模的MAE算法，除此之外我们还提供了标准的benchmark工具用来进行自监督算法模型的效果评估。 视觉Transformers EasyCV聚焦视觉transformer技术，希望通过一种简洁的方式让用户方便地使用各种SOTA的、基于自监督预训练和imagenet预训练的视觉transformer模型，例如ViT，Swin-Transformer，Shuffle Transformer，未来也会加入更多相关模型。此外，我们还支持所有timm仓库中的预训练模型. 易用性和可扩展性 除了自监督学习，EasyCV还支持图像分类、目标检测，度量学习，关键点检测等领域，同时未来也会支持更多任务领域。 尽管横跨多个任务领域，EasyCV保持了统一的架构，整体框架划分为数据集、模型、回调模块，非常容易增加新的算法、功能，以及基于现有模块进行扩展。 推理方面，EasyCV提供了端到端的简单易用的推理接口，支持上述多个领域。 此外所有的模型都支持使用PAI-EAS进行在线部署，支持自动伸缩和服务监控。 高性能 EasyCV支持多机多卡训练，同时支持TorchAccelerator和fp16进行训练加速。在数据读取和预处理方面，EasyCV使用DALI进行加速。对于模型推理优化，EasyCV支持使用jit script导出模型，使用PAI-Blade进行模型优化。 | #计算机视觉 #工具