Mozilla 的 Llamafile 0.8.2 通过新的 AVX2 性能优化获得巨大成功

Mozilla的Llamafile0.8.2通过新的AVX2性能优化获得巨大成功访问：Saily-使用eSIM实现手机全球数据漫游安全可靠源自NordVPNLlamafile的目标是让用户和开发人员更容易获得人工智能LLM，它支持从单个文件精简部署大型语言模型，这些模型既能在CPU和GPU上执行，也能跨平台运行。Llamafile已经支持利用AVX/AVX2实现更快的性能，并支持AVX-512以实现更快的速度。在今天发布的Llamafile0.8.2中，又增加了AVX2优化功能。Llamafile0.8.2发布说明中提到"此版本为K-quants和IQ4_XS引入了更快的AVX2提示处理。这是由@ikawrakow贡献给llamafile的，他在去年发明了K-quants：gerganov/llama.cpp@99009e7。在之前的版本中，我们推荐使用传统的Q4_0quant，因为它最简单、最直观，可以与最近的matmul优化一起使用。多亏了IwanKawrakow的努力，现在（在现代x86系统上）最好的quants（如Q5_K_M）将以最快的速度运行"。在过去几年中，英特尔和AMD处理器广泛支持高级矢量扩展2（AdvancedVectorExtensions2）：大多数英特尔CPU从Haswell开始支持高级矢量扩展2，而AMD方面则从ExcavatorCPU开始支持高级矢量扩展2。拉取请求指出，在更快的AVX2提示处理方面取得了一些令人振奋的成果。据报告，各种计算器具的速度都提高了1.4至2.3倍。大量参与Llamafile开发工作的JustineTunney最初回应了拉取请求："这是一个了不起的变化@ikawrakow。我很高兴看到最好的量化格式现在能以最快的速度运行。在x86-64机器上，我一直看到提示处理的速度提高了1.2-2.0倍。你们甚至成功地使令牌生成速度更快（我发现这要困难得多），在某些情况下甚至提高了1.33倍！"对于Llamafile0.8.2而言，这些针对提示处理的AVX2优化已经足够令人兴奋了。不过，0.8.2版还带来了内存错误修复、文本生成的轻微性能优化、本周的Llama.cpp代码更新以及各种新标志。有关Llamafile0.8.2版的下载和更多详情，请访问GitHub。针对新版本的新Llamafile基准测试即将发布。...PC版：https://www.cnbeta.com.tw/articles/soft/1430343.htm手机版：https://m.cnbeta.com.tw/view/1430343.htm

马斯克的财富再次超过扎克伯格

随着MetaPlatformsInc.的股价暴跌，马克·扎克伯格的财富缩水了180亿美元，这使得特斯拉公司的埃隆·马斯克巩固了他作为世界第三富有的亿万富翁的地位。Meta的股票在纽约周四下跌了11%，此前这家社交媒体公司表示第二季度的销售可能会低于预期。扎克伯格一天内的净资产损失是彭博亿万富翁指数中股票波动引起的第11大损失，他的财富现在为1570亿美元。52岁的马斯克在特斯拉股票继续其盈利后的上涨中增加了58亿美元，财富达到了1840亿美元。标签:#Meta#扎克伯格#马斯克频道:@GodlyNews1投稿:@GodlyNewsBot

挪威财富基金再次反对马斯克天价薪酬方案

挪威财富基金再次反对马斯克天价薪酬方案挪威主权财富基金的运营商挪威银行投资管理公司（NBIM）表示，尽管他们赞赏马斯克领导下特斯拉所创造的价值，但他们对薪酬方案的总规模、绩效触发结构、股权稀释以及关键人物风险缓解措施的不足感到担忧。值得注意的是，该基金在2018年也曾投票反对这一薪酬计划。此次投票反对并非该基金首次对高管薪酬提出批评。去年，该基金投票反对超过一半的美国首席执行官薪酬方案，要求他们支付超过2000万美元的薪酬，并警告称这些薪酬方案与为股东创造的长期价值不符。此外，该基金还表示将支持股东提案，呼吁特斯拉采取结社自由和集体谈判政策，这一决定对寻求对特斯拉施加影响力的工会来说是一个胜利。特斯拉目前在瑞典正面临工业行动，其机械师自10月27日起罢工，这是该国持续时间最长的劳资纠纷之一。在特斯拉即将于6月13日举行的年度股东大会上，股东们将投票决定马斯克的薪酬方案以及包括马斯克兄弟金巴尔在内的董事的连任。尽管马斯克在特斯拉的发展中扮演了关键角色，但此次薪酬方案的争议以及他对劳工权益的态度，无疑给特斯拉的未来蒙上了一层阴影。...PC版：https://www.cnbeta.com.tw/articles/soft/1434114.htm手机版：https://m.cnbeta.com.tw/view/1434114.htm