持续更新的中文指令微调数据集，支持双语微调和数据修正。

持续更新的中文指令微调数据集，支持双语微调和数据修正。本数据集包括中文和英文的混合数据集，方便双语微调，以及后续做持续的数据修正。原始的Alpaca英文数据集也存在不少的问题，个别的数学类的sample是错的，有少部分output字段需要修正，一些的标签没有对齐等。本数据集会对原始的数据集进行修改和修正。再此基础上，翻译出对应的中文版本，中文版基本是原始sample的翻译，但是对于一些比如押韵类、时态类的一些instruction，直接翻译导致韵脚丢失，时态不一致等。需要对应的进行人工改写。主要分为以下几个方面：修改原始英文数据集的一些问题翻译为中文数据集调整直译导致的一些samplecode等一些特殊的输出不进行翻译对齐一些特殊的标签或者拒绝生成等输出#数据集

QLoRA 是一种LLM微调的新技术。

QLoRA是一种LLM微调的新技术。-12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％-4bit训练，但是性能与16bit相当这个数据有点离谱。。TimDettmers: QLoRA:4-bitfinetuningofLLMsishere!WithitcomesGuanaco,achatbotonasingleGPU,achieving99%ChatGPTperformanceontheVicunabenchmark:Paper:Code+Demo:Samples:Colab:

评估系统所积累的数据和流程,可以很自然地应用到 LLM 产品的微调和数据管理中。微调最关键的是数据质量,而评估系统可以通过筛选、

评估系统所积累的数据和流程,可以很自然地应用到LLM产品的微调和数据管理中。微调最关键的是数据质量,而评估系统可以通过筛选、清洗、合成等手段来生成高质量的微调数据。评估系统中记录的跟踪数据、断言规则、人工反馈等,都可以直接用于微调数据的管理。总的来说,评估基础设施和微调及数据合成所需的基础设施有很大重叠。调试LLM产品的调试也可以受益于评估系统。理想的评估系统应该能够支持快速定位错误,找到问题的根本原因。其中的关键是丰富的跟踪数据、可以标记错误的机制、高效的日志搜索和导航工具等。此外,系统的设计应当允许快速测试解决方案并验证有效性。总之,调试和评估所需的基础设施在很多方面是共通的。全文翻译：https://quail.ink/op7418/p/e4bda0e79a84e4babae5b7a5e699bae883bde4baa7e59381e99c80e8a681e8af84e4bcb0-e5a682e4bd95e8af84e4bcb0llme4baa7e59381