私人自托管大型语言模型：运行经验分享与注意事项
私人自托管大型语言模型：运行经验分享与注意事项最近半年大型语言模型非常火爆，笔者本人循着开源精神，试着搭建过自托管（self-host）大模型，也踩过不少坑，现在来分享一下经验。1.最容易/成熟的选择：llama的，之前还需要申请llama的模型访问权限后才能加载他们的增量（类似于需要有stablediffusion模型才能加载LoRa），但是是由于llama模型的到处都是了，所以现在他们直接放出了所有权重可以直接部署。（而且脚本都给你写好了。2.如何部署：7B的模型需要14GVRAM，13B需要28-30VRAM（28G可以加载模型，一推理就会oom），而最新的33B模型需要至少80GVRAM进行部署。同时，多GPU不能分担显存需求，除非是裸机级别的NVlink（VPS因为不保证你租到的是相邻两个有NVlink的GPU，可能部署没问题，但是一进行推理就会炸显存，因为pclexpress带宽不够）。那么最好的选择是Vultr，他们是少数几家有80G级别的A100商家，而且能按小时付费，价格是Azure之类的1/2一下。但是要注意的是，他们家默认creditlimit是$1,000/mo但是A100价格是$1,750/mo，尽管按小时计费，但是因为月度creditlimit不够，会直接开不出来，需要正常使用他们家其他服务几个月后，才能申请增加额度。（本人是几年的老用户，来回发了4-5份工单才同意增额的）。但是如果只是体验一下13B的model的话，可以租用半个GPU（40GVRAM，够用）.3.进一步省钱的办法：看好需要VRAM额度，租用1/2个或1/3个GPU足以。同时善用他们家的快照功能，如果你不熟悉linux命令的话，可以先租用一个50-100GSSD的CPUVPS（取决于模型大小）（每个小时只要$0.04-0.06,比GPU服务器便宜一个数量级），部署好后不启动，拍摄快照，再从快照还原到GPU服务器。（但是要注意拍摄快照与还原均需大约一个小时，如果你熟悉linux命令，你大约可以在30分钟内部署完成，快照反而会多花钱）。（注意记录下一开始的root密码，快照会还原原来的root密码，但不显示）。5.模型感觉怎么样？尽管宣传比肩ChartGPT，但是其实比ChartGPT差多了（大约有微软小冰的水平？）比如我蓄意给予错误的指令（“请告诉我有关阿里巴巴森林公园的情况”，他开始回答“阿里巴巴森林公园是一个风景秀丽，环境优美。。。。。。”换成英文也得到类似的结果"PleasetellmesomethingaboutTencentNationalpark"也回答了类似的结果，而ChartGPT会质疑阿里巴巴是公司而非森林公园的名字）。（毕竟ChartGPT宣传是175B，和13B差差不多10倍）6.最后:美国有传闻要禁止中国公司或公民在外国租用高端计算卡以绕过显卡禁令，尚不知是否会波及类似用例（因为只是单显卡，未进行互联，而A800砍的是互联能力）。希望不会吧。
