昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理

昆仑万维开源2千亿稀疏大模型天工MoE，全球首创能用4090推理据昆仑万维官微，2024年6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoEUpcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。