Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。
Line日本总部本周宣布开源自家开发的日语大型语言模型(LLM)。,可用于研究和商业用途,包含和个参数两个版本,均可在HuggingFaceHub上获取。,Line一直专注于大型语言模型HyperCLOVA,在2021年5月,Line首次公开了基于2040亿个参数训练的韩文版LLMHyperCLOVA,然后在11月公布了拥有850亿个参数的日语专用版本。此次公开的模型与HyperCLOVA是不同部门并行开发的。此次开源的模型团队指出,此模型是基于Line自家的日语大型Web文本进行训练的,使用了650GB数据集进行训练。研究团队还提供了本次公开的两个模型与Rinna-3.6B和OpenCALM-7B模型的准确度和困惑度(perplexityscore,PPL)比较数据。——