[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。

[整理] 对 Groq 的 LUP 运行Llama 70B 模型和同等规模英伟达显卡的成本对比，目前成本上相比英伟达没啥优势。 先说结论由于 LUP 这个卡显存太低，所以运行同样的模型需要的数量比英伟达的 H100 多的多。 成本主要来自于卡的购买成本，比H100 贵 3 倍。运营成本也比 H100 贵很多。 完整解释 这可能是首次对使用 GroqInc 硬件运行 Llama2-70b 的运营成本进行分析。 首先，我必须说我非常欣赏 Groq 的产品。它们性能卓越，潜力巨大。下面的内容仅是展示在与行业领头羊竞争时可能遇到的挑战，但随着时间推移，我对它充满期待。 每张 Groq 卡的内存为 230MB。考虑到 LLaMA 70b 模型，假设采用 int8 量化技术（一种降低数据精度以减少存储需求的技术）并完全忽略在模型推理（即模型执行过程中的数据处理）时的内存消耗，至少需要 305 张这样的卡。但实际上，根据报告，需要的卡数多达 572 张，因此我们的计算将基于这个数字。 每张 Groq 卡的价格是 $20,000，因此购买 572 张卡的总成本为 $11.44 百万。当然，考虑到销售策略和大规模购买的优惠，实际价格可能会更低，但我们暂时按照标价来计算。 对于 572 张卡片，平均每张卡的功耗为 185W，总功耗达到 105.8kW，这还不包括附加的外围设备。（实际的能耗可能会更高） 目前，数据中心每千瓦每月的电费平均为 $200，这意味着每年的电费为 105.8 * 200 * 12 = $254,000。 事实上，使用 4 张 H100 卡可以达到 Groq 一半的性能，因此 8 张卡组成的 H100 盒子在性能上大致等同于上述 Groq 配置。一个 8 卡的 H100 盒子的名义最大功率是 10kW（实际上大约在 8-9 kW），因此其年电费约为 $24,000 或略低。 目前，一个 8 卡的 H100 盒子的价格大约为 $300,000。 因此，如果运营三年，Groq 硬件的购买成本是 $114.4 万，运营成本为 $76.2万。而对于一个 8 卡的 H100 盒子，硬件购买成本为 $30 万，运营成本约为 $7.2 万或稍低。 以上数字仅为估算值。如果我有任何重大错误，请不吝指正。 来源：