QLoRA 是一种LLM微调的新技术。

QLoRA是一种LLM微调的新技术。-12小时的单个消费级GPU上训练，性能就可以达到了ChatGPT的97％-4bit训练，但是性能与16bit相当这个数据有点离谱。。TimDettmers: QLoRA:4-bitfinetuningofLLMsishere!WithitcomesGuanaco,achatbotonasingleGPU,achieving99%ChatGPTperformanceontheVicunabenchmark:Paper:Code+Demo:Samples:Colab: