MMLU 是特别重要的指标（如果不是最重要的话

MMLU是特别重要的指标（如果不是最重要的话包含了57个学科的综合知识能力是很多模型的衍生能力的基础AndrejKarpathy: HugedayindeedforAIandLLMs,congratstoMetaThisisnowthemostcapableLLMavailabledirectlyasweightstoanyonefromresearcherstocompanies.Themodelslookquitestrong,e.g.Table4inthepaper:MMLUisgoodtolookat,the70BmodelisjustbelowGPT-3.5.But…https://twitter.com/i/web/status/1681356674635034625https://t.co/bY66FiadVE