| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。 - 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。 - 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。 - 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。 - LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。 - 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。 - 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。 - 模型适配器方法可以进行个性化微调而不加载整个模型。 - 模型融合可以组合多个模型的优势得到更优的单模型。 - 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留

GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。 这篇文章旨在能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。

：更好的通用预训练语言模型

：更好的通用预训练语言模型 Pile-T5通过在Pile数据集上预训练T5模型，并使用LLAMA分词器，改进了原始T5的编码能力。 Pile-T5总体上明显优于原始T5v1.1模型，尤其在代码任务上的提升更大。这主要得益于Pile中包含代码数据以及LLAMA分词器包含编程常用字符。 在多个下游任务的微调中，Pile-T5不同规模的模型表现优异，如在SuperGLUE、CodeXGLUE、MMLU和BigBench Hard上的结果。 尽管与专门微调的Flan-T5相比略逊色，但Pile-T5仍优于T5v1.1，表明其预训练质量更高，更适合多任务微调。 公开了Pile-T5模型在不同训练步长的中间检查点，这有利于模型演化和解释性研究。 Pile-T5 Large模型在某些任务上的表现不佳，可能存在bug，用户需谨慎使用。

OpenAI 等机构上周发布论文，研究 GPT 这类大语言模型对劳动力市场的潜在影响。

OpenAI 等机构上周发布论文，研究 GPT 这类大语言模型对劳动力市场的潜在影响。 个人笔记 研究方法上，文章主要衡量某个具体工作任务对 GPT 的「暴露」程度(exposure)。 「暴露」指利用 GPT 和延伸技术，可以把完成一个具体任务的时间缩短 50% 以上。需留意，「暴露」不意味着这些任务能被GPT独立完成，研究时也没区分“劳动替代 / 劳动增强”，所以数据不能完全对应「人类被 GPT 抢工作而下岗」。 文章初步结论 1）约 19% 的工作者，将面临 50%+ 的具体工作任务暴露于 GPT；约 80% 的工作者，将面临 10%+ 的任务暴露于 GPT；各职业中位数暴露程度为 15% 。 2）高收入、高门槛、需要高学历的工作，对 GPT 暴露程度更高。 3）如果任务需要编程、写作，暴露程度会更高； 如果任务高度依赖于科学素养和批判性思维，暴露程度会更低。 （简而言之，作者做研究的暴露程度低，我写这篇笔记的暴露程度高） 4）行业维度，数据处理、信息处理和医院相关行业暴露程度高。 5）哪些职业 100% 的工作任务暴露于 GPT？ 人类专家认为包括税务人员、金融量化分析师、写作者、UI设计师、数学家（？）等 15 种职业； GPT 认为包括会计师和审计师、记者和新闻工作者、法律秘书和行政助理等 86 种职业。 文章认为，GPT 与印刷术、蒸汽机类似，属于通用技术(general-purpose technologies)。通用技术特点是扩散广、不断改进、激发新的创新，对经济、社会和政策影响显著。要实现通用技术的全部潜力，需要各界广泛参与、共同发明。 一言以蔽之：挑战与机遇并存（你够了 论文链接：