QLoRA 是一种LLM微调的新技术。
QLoRA 是一种LLM微调的新技术。
- 12小时的单个消费级GPU上训练,性能就可以达到了ChatGPT的97%
- 4bit训练,但是性能与16bit相当
这个数据有点离谱。。
Tim Dettmers: QLoRA: 4-bit finetuning of LLMs is here! With it comes Guanaco, a chatbot on a single GPU, achieving 99% ChatGPT performance on the Vicuna benchmark:
Paper:
Code+Demo:
Samples:
Colab: