马斯克为何要作开源“秀”?

马斯克为何要作开源“秀”? 在开源之前，Grok最大的亮点是直接调用X中的实时数据和“幽默”。但开源版本的Grok已经打了折扣在开发者手里，Grok不可能调取X的数据。从本次开源的信息来看，2023年11月Grok上线以后调用过的X数据，也没有被作为训练数据沉淀到Grok中。除开源打折外，Grok本身的性能也并不占优。刚上线时，Grok的评分就远落后于当时的Palm 2、Claude 2和GPT-4。最典型的问题是，其支持的上下文长度只有8192个token。Grok取得的关注（上线3天在GitHub收获3.9万Star）,似乎很大一部分都来自马斯克本身的流量热度。开源Grok被马斯克说成是为了践行“AI造福全人类”的目标，但在与OpenAI的官司期间开源，有观点认为，Grok 开源的目的之一，就是为马斯克起诉、声讨OpenAI提供的事实依据这是一场由马斯克亲自操盘的“AI 大秀”。开源Grok是作秀？开源是一场让企业与开发者跳双人舞的“社区游戏”，但Grok这个“舞伴”，完全不是普通开发者所能掌控的。在Grok-1之前，很多开源大语言模型（LLM）的参数量只有70亿，LLaMA-2开源的最大参数量也只有700亿。而马斯克直接开源了自家尺寸最大的3140亿参数模型，据估计Grok-1需要约628 GB GPU内存才能勉强运行，普通开发者几乎不可能在本地尝试Grok-1，对于云服务用户来说，至少需要8张80GB显存的A100或H100 GPU。在Grok的GitHub讨论区有用户留言表示：Google云上80GB A100的4卡服务器每小时运行成本是20美元，这不适合我。（GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.）Grok开源之后，笔者也加入了一个关于Grok的开源讨论群，但到了第二天，群内的讨论焦点，已经转向了只有40亿参数的Qwen-1.5。不过，Grok-1也支持8bit量化，一些开发者认为，如果模型可以量化到160GB，“可玩性”会大幅提高。算力不太宽裕的开发者，可以等到官方或者其他开发者发布量化版本后再尝试。至少从短期来看，开源Grok对普通开发者并不是很友好。那么开源对于Grok本身来说，有什么帮助呢？从传统的开源视角来看，也很难说。一些人认为开源模型可以汇聚更多开发者力量，帮助优化模型。但今天的开源AI与传统的开源软件逻辑几乎完全不同。代码开源对于AI大模型的促进作用，并不像过去的开源软件那样明显。传统软件开发过程中，一款系统、工具或软件开源以后，开发者可以基于共享代码直接修复bug，优化程序。然而今天的多数AI模型本身就是一个很大的黑盒，要从中找到问题，并对模型的底层算法进行训练、调优并不容易。“AI大模型训练是一个很‘集中’的工作。”生数科技CEO唐家渝表示，AI大模型很难通过“分布式”的开源来收集开发者的“贡献”。闭源反而是更能集中包括智力的资源、算力的资源，去做不断地迭代的。一些开发者认为，对于开源AI模型的作者来说，最大的好处是打响知名度以Grok目前的模型能力来看，只有吸引一批开发者、公司、机构对模型进行试用、开发，逐步建立起对模型的认可，才能稳固其在AI大模型领域的“江湖地位”，提高这款既不太新，也不太强的AI大模型的影响力。闭源Grok把路走窄了？从AI行业角度来看，Grok的受关注度不高。由于模型跑分不高，过去几个月中发布的AI大模型，在对比评测数据集得分时，几乎很少有人对标Grok。从业务视角来看，Grok在X平台中的表现也不理想。Grok上线到X后，与ChatGPT Plus一样采取订阅制，但ChatGPT的GPT-3.5免费开放，而Grok则一刀切，只提供给X Premium会员。X Premium会员的订阅费用是16美元包月，168美元包年。由于一开始就设置了付费门槛，Grok没有吃到X庞大用户基础的红利。数据网站SimilarWeb的统计显示，2024年2月，x.com的总访问量为1.04亿次，平均访问时长只有24秒。对比其他几家主流闭源AI的同期流量，chat.openai.com访问量为15.5亿次，平均访问时长是7分33秒；gemini.google.com访问量为3.161亿次，平均访问时长6分22秒；相对小众一些的claude.ai访问量为2086万次，平均访问时间为5分48秒。X与三款AI对话网站流量  数据来源|SimilarWeb虽然影响网站流量的因素很多，且x.com网站的受众、属性与其他几家也有明显差异，直接对比流量并不能完全说明问题，但访问时长的巨大差异，也侧面反映了X用户大概率没有跟付费的Grok聊太多。马斯克最早给Grok的战略定位，可能更多是考虑促进X的Premium会员销售，以补贴X的广告收入。然而，如今Grok在X中发挥的作用很可能并没有达到马斯克的预期。与其一直在X Premium中“躺平”，开源Grok或许能给马斯克和x.AI打开新局面。开源激起千层浪在AI大模型热潮中，靠开源大模型树立行业地位的公司并不少见，包括MistralAI以及国内的智谱，阿里的通义千问等。深陷元宇宙泥潭的Meta更是依靠开源LLaMA模型打了一次翻身仗。在2023年中，全球市场最大的变数是AI大模型，而Meta最大的变数就是开源了一款AI大模型。通过开源LLaMA，Meta展现了其在大型语言模型（LLM）领域的技术实力和开放创新的姿态，这在一定程度上帮助公司缓解了市场对其元宇宙战略的担忧。由此Meta的股价也在一年内翻了几番，市值从3155亿美元涨到1.2万亿美元，涨出了19个京东。LLaMA的开源，特别是其成本效益高的特点，对Meta而言具有战略意义。与Google和Microsoft等竞争对手的AI大模型相比，LLaMA的小巧和高性能使得Meta能够以较低成本部署高效的AI模型。这不仅提高了AI技术的普及率，也为Meta未来在各种应用和用例上的广泛部署提供了可能。有分析人士认为，基于Meta的业务范围，从聊天机器人到游戏，再到未来的生产力软件，生成式AI预计将带动一个价值超过500亿美元的市场。虽然LLaMA最初的开源一直被业界传说是无意间的“泄露”，但其最终的结果却为Meta在AI大模型行业奠定了技术和市场的领导地位。“开源”的战略逻辑，对于马斯克来说并不陌生。2014年，马斯克开放了特斯拉的350多项电动车专利技术。当时马斯克在接受采访时表示，“特斯拉的首要目标是加速全世界向可持续能源转变”。事实证明，马斯克大公无私的“开源”，在后来使得他自己成为了最大的受益者。特斯拉开放专利的做法，一举将全球汽车市场的水搅浑。大量新能源车企借助特斯拉的专利异军突起，直接激活了整个新能源汽车市场。而特斯拉作为行业领军企业，则借助长期积累的行业口碑和技术开发实力，持续保持了行业的领先地位。虽然开源Grok大概不会像特斯拉开放专利那一石激起千层浪，改变整个AI行业的格局，但对于目前的x.AI来说，应该也会产生一些积极的影响。 ... PC版： 手机版：

Perplexity要搞竞价排名了 大模型的尽头是广告？

Perplexity要搞竞价排名了 大模型的尽头是广告？ 作为一款会话式答案引擎，Perplexity将聊天机器人和搜索引擎功能相结合。用户直接用自然语言提问， 就能获取大语言模型从网络筛选总结出的文本答案、相关图片和视频。Perplexity还会在回复中提供精确引用链接，以杜绝虚假信息和AI幻觉。同时建议用户可能感兴趣的相关问题，引导进入更深层探索。而也就是这占到总查询量40%、支撑它产品特色之一的“相关问题”，将成为Perplexity首先对金主开放的广告位：当用户进一步挖掘某个主题时，Perplexity会在有机问题旁边添加来自品牌赞助的问题，追问后继续显示相关广告链接。也就是大家经常“抱怨”的，但却是搜索引擎一直赖以赚钱的竞价排名。根据公司首席业务官Dmitry Shevelenko透露，这一功能将在未来几个季度推出，除此之外还没有更多细节。消息一出，AI圈整个大无语当初你可不是这么说的啊？理想很丰满，但广告可能更香Perplexity成立于2022年，起初的构想是借助GPT-4等先进AI大语言模型，打破Google和必应在过去二十多年来垄断的关键词搜索模式，让人们直接提问就能收到真实、准确、可信赖的答案，而不必迷失在眼花缭乱的广告和算法优化的碎片内容里。这种将用户而非广告商放在核心位置的产品理念，也在当时大得民心，各平台下载榜攀升迅速。收获了包括前GitHub 首席执行官 Nat Friedman在内的众多粉丝拥戴，人们纷纷表示已经抛弃Google，转为把Perplexity作为获取所需信息的首选平台。Perplexity也一度成为搜索引擎民主革新的代名词，曾在公司首页上这样介绍自己：“搜索信息应该是一种直接、高效的体验，不受广告驱动模式的影响。我们之所以存在，是因为在信息过载的噪音中，明确需要一个平台来提供精准、以用户为中心的答案，尤其在时间如此宝贵的时代。”而现在，Shevelenko在面对外媒提问时却说，“广告一直都是我们打造出色业务的一部分。”同时眼尖的网友也发现，那句“不受广告驱动模式的影响”已经被悄悄删掉了。这似曾相识的一幕和Mistral AI在与微软达成合作关系后的做法有点像。当时mistral AI也是被人发现移除了网页上“致力于开放模型”的使命描述，估计怕引起争议，后来他们又把这句话加上定语 ‘Mistral 7B和Mixtral 8×7B’重新添了回去。不过 Perplexity这次要直接卖广告，是不是有点儿打脸自己最初特立独行、引以为傲的创始使命了？公司创始人兼首席执行官Aravind Srinivas曾公开表示，自己想做的是“精确、真实、有学术性，提高地球知识资本的产品”。也提到过对于Google这类传统搜索引擎来说，“改进生成式搜索体验可能会损害其非常重要的广告收入来源。要保护既得利益，就得限制提供直接答案的能力”，所以Perplexity与Google竞争“是完全可行的”。但看起来随着现实运营，Srinivas在说法上也渐渐发生了转变。他最近接受Wired杂志采访时谈到，自己并不反对广告。事实上，他对平台上广告的展望是帮助广告商了解谁在搜索，然后对"高价值流量"出价。曾经坚定引领畅快无广AI搜索体验的一股清流，现在告诉你，“广告并非邪恶。当广告做得好时，它就非常棒，生成式AI将帮助我们建立更好的定位。”公众能买账吗？有用户抨击得毫不留情，直言Perplexity以前不停地用“取代Google”和“更好的用户体验”做营销，现在也自毁名声，跌进了广告的兔子洞。有盲生发现了华点：“我们闭环了”。“我妈好多年前就告诉我，天下没有免费的午餐。”也有人直接指出这就是所有初创公司对抗巨头的骨感现实，“你不可能只靠免广告和注重隐私就想打败Google。””所有人都觉得自己能取代Google，直到它需要考虑赚钱和发展。”下面这位网友属于理想派，虽然觉得很失望，但还是相信搜索引擎完全无广告、无偏见的重要性。相比之下，这位The Verge读者的评论比较中肯，“老实说，只要不影响核心体验，我并不反对这种做法，而且他们也会继续提供一个无广告的付费‘专业’版本。我明白现在运营AI服务是非常昂贵的，金钱的水龙头终将要打开。风险投资的现金储备只能烧那么久，最终总会耗尽的。”这也道破了大部分AI初创公司面临的现实问题：纯服务用户的理想固然美好，赚钱吃饭养家也是不得不跨越的门槛。拿下融资是市场对公司价值的认可，但这有时也像一把双刃剑，面对投资者们的回报期许，从话语权到商业路线，势必会发生转变。大模型的尽头也是广告其实AI公司的各种商业化调整，早就不是什么新鲜事了。最人尽皆知的就是行业老大OpenAI，从创始之初几个人的公益性质非营利研究实验室，到今天估值800亿美元以上的AI帝国。在这个比技术更拼烧钱的行业里，OpenAI一路融资、强势开发、部署大企业、进军半导体和AI硬件，完成了它的华丽转身。在那场闹剧般的领导层动荡风波里，各种烟雾弹散去后，人们发现，真正话事的还是资本巨头微软。被微软收入麾下做“第二条腿”的Mistral AI也差不多。原本以“引领开放模型革命”为公司使命，正面硬钢OpenAI、Google等走闭源路线的AI竞争者，曾被开发者社区盛赞为“地球上最真诚和忠于初心的团队”。后来忽然就变成了OpenAI的二师弟。那个承诺“为企业提供一种无限接近GPT-4的开源选择”，也成了付费版的闭源Mistral Large。除此以外，有人工智能届GitHub之称的开源社区Hugging Face，也选择了“开源带动商业”的策略，通过开源项目吸引用户和开发者，再通过会员付费、企业数据托管等实现盈利。最近刚刚美股上市的社交聚合平台Reddit，虽然都不算AI公司，也通过授权平台数据用于大模型训练找到了新的变现方式。有网友拿免费网络实时通话软件Discord即将展示商业广告的新闻和Perplexity放在一起类比说，“广告是大规模消费者服务货币化的最有效方式。像Perplexity和Discord这样吹嘘他们永远不会投放广告的公司,最终只会在投资者要求收入增长时悄悄更新他们的说辞，虽然看起来很蠢。零广告收入的时代结束了。该赚钱了。”“到了最后，大家早晚都回归到广告。”确实，在潜力巨大的大模型时代，技术变现路径往往长且曲折。面对高昂的开发成本和持续的运营费用，广告仍然是商业化难题的最直接解决方案。对于现在的Perplexity来说，将广告纳入未来产品计划，需要有足够大的用户基数吸引营销商兴趣，同时确保客户赞助的问题与主题相关，不干扰平台的核心使用流程显然目前的1000万月活用户还有很大提升空间，而一边做好平台体验吸引更多用户，一边招揽金主爸爸投广告，各方面来说都算是不小的挑战。无论如何，AI公司商业化都是不可逆的大势所趋。如何找到其中的平衡，将是所有企业走得更远需要面对的共同课题。看起来Perplexity已经想明白了，在探索成为一个更好的Perplexity 2.0之前，它首先选择活下去。作者 ｜张潇雪 ... PC版： 手机版：

黄仁勋剧透下一代GPU芯片 新演讲又把摩尔定律按在地上摩擦

黄仁勋剧透下一代GPU芯片 新演讲又把摩尔定律按在地上摩擦 好好好，像做iPhone一样造芯片。到这一代Blackwell为止，英伟达已经把AI模型有效扩展到万亿参数。（还给token定了个译名：词元）。1.8万亿参数GPT4的训练能耗，8年降低至原来的1/350。推理能耗，8年降低至原来的1/45000。看着这一波亮相和剧透，网友真相了：英伟达没有竞争对手，而是选择将摩尔定律放在地上摩擦……老黄是在书写自己的定律。所以应该叫老黄定律？还是英伟达定律？ComputeX前夜，老黄一开场就展开了一波隐形卖货，他自称不太准确的“CEO数学”：买得越多，省得越多……The more you buy, the more you save.经典语录依然引发现场欢呼大笑：虽然不太准确，但好像有些道理……除此之外，还有一些新产品亮相，包括能够模拟气冲的天气预测模型CorriDiff、数字人微服务、BlackWell系统、Spectrum-X、机器人平台Isaac……好了话不多说，这就来看看老黄这次到底搞了哪些事情“AI Factory Is generating”谈到当前新的产业革命，老黄表示：新的计算时代正在开始；而AI Factory正在诞生。他在现场展示了BlackWell系统。3月份GTC大会上还遮遮掩掩地说是GPT-MoE-1.8T模型，这下彻底摊牌了：GPT-4参数就是1.8T。跟DGX Hopper相比。现场还看到了它的真身，大概有两米那么高吧…而真正的AI Factory大概会长这样，大概有32000GPU。AI加速每个应用程序AI对于企业的影响，老黄认为AI加速每一个应用程序。他首先谈到了NIM推理微服务，这是一个帮助开发者或者企业轻松构建AI应用，简化大模型部署程序。不管是聊天机器人、还是生活/驾驶助手等，部署时间都能从几周缩短到几分钟。运行Meta Llama 3-8B的NIM可以产生比不使用NIM多3倍的tokens。企业和开发者可以使用NIM运行生成文本、图像、视频、语音和数字人类的应用程序。而背后源于丰富的技术合作生态近200家技术合作伙伴，包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等，正在将NIM集成到他们的平台中。此次在这个NIM中还有上新，也就是ACE 生成式AI微服务，数字人AI技术套件。除了原有自动语音识别、文本到语音的转换和翻译、Nemotron语言模型、 Audio2Face等套件，还增加了两个技术：一个是可以基于音轨生成身体姿势Audio2Gesture；一个Nemotron-3 4.5B，这是英伟达首款SLM（小爱语言模型），专为低延迟端侧设备而生。∂接下来，这一数字人微服务将部署在一亿台RTX AI PC上面。当前英伟达在新的合作伙伴，比如华硕、MSI的加入下，已经拥有超过200种RTX AI PC型号。还推出了RTX AI Toolkit，一个工具和SDK集合，帮助Windows开发者定制优化本地部署模型。同Mac相比，部署了RTX的Windows的Stable Diffusion推理速度是Mac的7倍。每一台带有RTX的PC，都是一台RTX AIPC。用于机器人开发的技术平台Isaac这次一同亮相的，还有用于机器人开发的技术平台，NVIDIA Isaac。为啥搞这玩意儿呢，老黄给出的理由是这样的：机器人时代已经到来。有朝一日，所有会移动的东西，都将实现自主化。这个Isaac平台具体长啥样呢？Isaac平台提供一系列英伟达加速库、AI基础模型和仿真技术，供机器人制造商集成到自己的技术栈中。注意，平台是模块化的，允许公司单独或一起采用多种技术。具体而言，其中包括：NVIDIA Isaac ROS：一系列模块化的ROS 2包，为ROS社区开发者带来NVIDIA加速和AI模型NVIDIA Isaac Perceptor：一个参考工作流程，提供基于AI的自主移动机器人的多摄像头3D环视能力NVIDIA Isaac Manipulator：一个简化AI启用机械臂开发的参考工作流程NVIDIA Isaac Sim：一款参考应用程序，用于在基于NVIDIA Omniverse平台的物理环境中模拟、测试和验证机器人，并生成合成数据NVIDIA Isaac Lab：Isaac Sim中的参考应用程序，针对AI机器人基础模型训练的强化、模仿和迁移学习进行了优化据介绍，目前，包括比亚迪电子、西门子、泰瑞达机器人和Intrinsic（Alphabet的子公司）在内，全球超多名列前茅的机器人开发团队，都在采用Isaac平台。这些团队用上Isaac，一边提高制造工厂、仓库和配送中心的效率，同时确保人类同事的安全；一边也能充当重复劳动和超精确任务的执行者。现场放出了很多demo，很多工厂在英伟达Omniverse里建造了一个完全模拟现实的自助工厂，以及基于Isaac平台开发的AI机器人。官网悄悄推出游戏Agent助手除了现场老黄亲自发布的上述内容外，我们在英伟达官网还找到了一个彩蛋，一个巨久远的call back。Project G-Assist。时间回到2017年愚人节，英伟达官网开了个大玩笑：宣称自家发布了一款支持10080款游戏的USB人工智能超算卡GeForce GTX G-Assist。重点在于它很AI。GeForce GTX G-Assist像是个AI游戏助手，可以帮助玩家自动完成游戏操作，甚至代打击败Boss。今天，英伟达真的将这个愚人节玩笑变为现实英伟达官网上线Project G-Assist，一套工具和模型的集合而成的AI Agent系统，供游戏和应用程序开发者使用。通过前后剧情，Project G-Assist利用大模型对游戏输出响应，能够检查游戏性能和系统设置，建议用户优化以充分利用可用硬件，或者适当升级角色。玩家这边呢，还可以通过Project G-Assist找到最好的武器，也可以查询到最牛的攻略，然后就可以或制作武器材料，或一路杀怪通关。总而言之，Project G-Assist可以让人有个Agent外挂，但是不会让你完全挂机，官网还贴心表示：G-Assist 项目不会像我们在2017年愚人节预言视频中那样完全替代您玩游戏，但它可以帮助您从您最喜欢的游戏中获得更多收益。游戏体验再上大分！据介绍，Project G-Assist支持各种模态的输入。可以是来自玩家的文本提示，或声音指令；可以是屏幕上显示框架的上下文；可以是来自应用程序或系统本身的API。△演示人员语音输入中这些数据都通过连接了游戏知识数据库的大模型处理，然后使用RAG（检索增强生成）生成和用户相关的查询结果没错，Project G-Assist允许玩家使用PC或云端RTX AI驱动的知识库。Project G-Assist开发工具将出现在即将推出的RTX AI开发套件中，具体会用在哪些游戏上，还需要游戏开发商来决定并提供支持。为了让大家更好地使用Project G-Assist，英伟达贴心地附上视频教学大礼包，需要可自取。One More Thing整场发布会，老黄还整了不少活儿。比如AI老黄似乎已经成了发布会常客。在介绍天气预测模型时，他坦白承认在视频中那么流利讲普通话的那位是AI生成的，因为自己中文不太好。而本场重磅的BlackWell系统、AI Factory的核心构成，也被他各种搬来搬去……除了下一代GPU取名Rubin，我们还看到 Vera CPU，他们共同出现在新的Vera Rubin加速器上。而这一名称来源，实际上是来自美国一位女天文学家Vera Rubin，她是研究暗物质先驱。以及，COMPUTEX 2024不愧是6月开头就炸场的AI终端大戏。除了黄院士外，英特尔、AMD、高通等老板都悉数到场，接下来几天会挨个发表演讲。这些主题演讲，绝大部分都跟AIPC有关。大家一起蹲一蹲吧～ ... PC版： 手机版：

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了 （这里面还有个熟悉的身影：Lepton）网友表示：这速度简直就是飞机vs走路。值得一提的是，这并非哪家大公司进展初创公司Groq，GoogleTPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。换言之，任何一个大模型都可以部署实现。目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。他们还在官网上喊话奥特曼：你们推出的东西太慢了……每秒接近500tokens既然如此，那就来体验一下这个号称“史上最快推理”的Groq。先声明：不比较生成质量。就像它自己说的那样，内容概不负责。目前，演示界面上有两种模型可以选择。就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。提示词：你是一个小学生，还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。结果啪的一下，只需1.76秒就生成了一长串读后感，速度在每秒478Tokens。不过内容是英文的，以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……至于GPT-4这边的表现，内容质量自然更好，也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成，也有近二十秒钟的时间。除了Demo演示外，Groq现在支持API访问，并且完全兼容，可直接从OpenAI的API进行简单切换。可以免费试用10天，这期间可以免费获得100万Tokens。目前支持Llama 2-70B 和7B， Groq可以实现4096的上下文长度，还有Mixtral 8x7B这一型号。当然也不局限于这些型号，Groq支持具体需求具体定制。价格方面，他们保证：一定低于市面上同等价格。不过可以看到，每秒500tokens似乎还不是终极速度，他们最快可以实现每秒750Tokens。GoogleTPU团队创业项目Groq是集软硬件服务于一体的大模型推理加速方案，成立于2016年，创始团队中很多都是GoogleTPU的原班人马。公司领导层的10人中，有5人都曾有Google的工作经历，3人曾在英特尔工作。创始人兼CEO Jonathan Ross，设计并实现了第一代TPU芯片的核心元件，TPU的研发工作中有20%都由他完成。Groq没有走GPU路线，而是自创了全球首个L（anguage）PU方案。LPU的核心奥义是克服两个LLM瓶颈计算密度和内存带宽，最终实现的LLM推理性能比其他基于云平台厂商快18倍。据此前他们介绍，英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens，而 Groq 设置每个tokens大约需要1焦耳到3焦耳。因此，推理速度提高了10倍，成本却降低了十分之一，或者说性价比提高了100倍。延迟方面，在运行70B模型时，输出第一个token时的延时仅有0.22秒。甚至为了适应Groq的性能水平，第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。算力层面，Gorq芯片的整型（8位）运算速度为750TOPs，浮点（16位）运算速度则为188TFLOPs。Groq主要基于该公司自研的TSP架构，其内存单元与向量和矩阵深度学习功能单元交错，从而利用机器学习工作负载固有的并行性对推理进行加速。在运算处理的同时，每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。结合新设计的Dragonfly网络拓扑，hop数减少、通信延迟降低，使得传输效率进一步提高；同时软件调度网络带来了精确的流量控制和路径规划，从而提高了系统的整体性能。Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理，暂不支持模型训练。此外Groq还提供了编译平台和本地化硬件方案，不过并未介绍更多详情，想要了解的话需要与团队进行联系。而在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。它由知名电子元件生产商莫仕（molex）旗下的BittWare代工，同时该厂也为英特尔和AMD代工加速卡。目前，Groq的官网正在招人。技术岗位年薪为10万-50万美元，非技术岗位则为9万-47万美元。“目标是三年超过英伟达”除此之外，这家公司还有个日常操作是叫板喊话各位大佬。当时GPTs商店推出之后，Groq就喊话奥特曼：用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~马斯克也曾被它痛斥，说“剽窃”自己的名字。在最新讨论中，他们疑似又有了新操作。一名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：三年时间内赶超英伟达。这下好了，黄院士的核武器有新的目标了。参考链接：[1] ... PC版： 手机版：

索尼手机或退出中国大陆市场 只怪国产机太能卷了？

索尼手机或退出中国大陆市场 只怪国产机太能卷了？ 最近，日本媒体Sumahodigest报道称，索尼新款手机Xperia 1 VI、Xperia 10 VI将不会在中国大陆地区上市。甚至，索尼手机可能会完全退出中国市场。在一众仍然在苦苦坚持的Others品牌中，我们或许又将少见到一名选手。屡战屡败，索尼已成手机“边缘人”在手机行业，索尼有着悠久的历史。索尼手机真正的巅峰时期还要追溯到索尼爱立信时代，2007年，索爱手机出货量排名全球第三。然而，进入智能手机时代后，索尼手机则迅速进入衰退期，在竞争对手的压力下节节败退，逐渐被边缘化。2011年，索尼收购了爱立信持有的一半股份，从索尼爱立信摇身一变成为“索尼移动通信”。然而，纯血索尼手机品牌，并不能扭转局面。小雷查询到市场研究机构Gartner公布的一份数据，2012年Q1，索尼手机的全球市场份额为1.9%，已经归入Others行列。此后，尽管索尼在不断发布更新Xperia系列手机，但仍然在手机战场上一败涂地。在2019年和相机部门合并前，索尼移动已经连续多年亏损，并且是索尼核心部门中唯一亏损的一个。而索尼移动再和其他部门整合后，销量依然不见起色。IDC数据显示，2019年Q3，索尼手机的全球市场份额仅有0.167%。不难发现，进入智能手机时代的十几年里，索尼在手机行业里的存在感在一步步被削弱。很显然，在竞争激烈的手机市场上，索尼已经败下阵来。作为一家在技术领域有着深厚积累、推出过无数成功消费电子产品的品牌，索尼做不好手机这件事让很多人百思不得其解。在小雷看来，这背后有很多复杂的因素。就产品层面而言，小雷认为索尼手机的科技树一直点歪了。智能手机时代早期，主流厂商把重心放在系统完善优化和本地体验提升上，但索尼手机则在专心致志地研究防尘防水、超高像素、超高分辨率屏幕、960帧视频拍摄等。索尼手机的这些技术特性很超前、很酷炫、很有黑科技色彩，但不够实用，也背离了当时真实的市场需求。当年索尼手机的防尘防水特性几乎是独一份的，吸引了无数眼球。当在智能手机亟需完善基础体验的时代，用户对防护特性的感知度远不如流畅的系统、好用的功能来得高。超高像素听起来可以提升手机影像能力，但当时芯片性能难以处理这么艰巨的任务，最终导致手机拍照速度慢、取景卡顿。说到底，索尼在智能手机时代仍然在遵循着功能机时代的产品思路，试图以前沿的硬件技术来形成产品优势。但在用户眼中，具有黑科技的索尼手机只是一台小众的帐篷型手机，长板很长、短板也很短。愈发内卷的手机市场上，各大品牌都使出了浑身解数，多个大招齐发，索尼手机的一招鲜就相形见绌了。索尼手机，要和中国大陆市场说再见？毫无疑问，中国大陆是全球最卷的手机市场。在一轮又一轮的残酷洗牌中，无数老牌和新兴品牌都黯然离场。而在产品和营销本地化上天然处于劣势地位的海外品牌，想在国内市场上站稳脚跟更是难上加难。目前，中国大陆市场中出货量排名前五的品牌中，除了苹果，其他都是国产厂商。曾经我们耳熟能详的一众国际品牌，有的已退出大陆市场，有的干脆退出了手机行业。2018年，LG宣布手机业务退出中国市场；三年后，LG在全球范围内直接放弃了整个手机业务。2021年，来自中国台湾的手机品牌HTC，停止在大陆地区销售手机；如今，虽然HTC在部分地区还有少量手机产品在销售，但存在感已经极低。2016年，夏普第三次进入中国大陆市场，但两年后铩羽而归再度退出；现在，夏普手机只在日本等少数市场上还保持着影响力。结合以上这些案例来看，如果索尼手机要退出中国大陆市场，并不会让人感到奇怪。索尼2023年公布的Q3财报显示，索尼移动的销售额为73亿日元，同比下滑了22%。换言之，索尼手机并没有因为体量小就避开了业务持续下滑的窘境。如果索尼手机业务持续看不到盈利希望，并且还在持续扩大亏损缺口，那么被索尼采取措施来降本增效就很好理解了。至于为何要先在中国大陆市场上开刀，原因也很简单，中国市场太卷了，止损效果可能更明显。面对手机红海，“Others品牌”要主动退场吗？无论是国内还是全球市场，手机行业的头部效应都非常明显。头部品牌们占据着大部分市场存量，彼此之间激烈厮杀，留给Others品牌的生存空间很小。相比头部品牌，大部分Others厂商在技术、产品、市场等各方面缺乏优势，很难在内卷中突围，寻找到增长的机会。但对很多品牌而言，不到万不得已的时候，还是不愿意彻底放弃手机业务。原因也并不复杂，手机仍然是当前消费市场上存量最大的智能设备，同时也是移动互联网最重要的入口。在万物互联的时代，手机还扮演着管理和联动其他智能设备的控制中枢的角色。对不少厂商来说，手机并非一项单一的业务，还关系着品牌旗下产品的整体生态建设。苹果、华为、小米、OV等头部手机品牌，都在不留余力地建设自家的生态，比如华为的鸿蒙全场景、小米的人车家、OPPO的潘塔纳尔等。非头部厂商，也尝试在这个方向上寻找新的机会，例如魅族试图用Flyme联结手机和车机，作为车企的蔚来下场做手机。至于Others品牌们是否应该退出手机行业，小雷认为应该分两种情况来看。第一，如果手机是该品牌的主营和核心业务，并且持续处于增长无望的亏损状态，那么主动或被动放弃比较明智，具体例子有锤子手机、YotaPhone等。第二，如果手机不是品牌的核心业务，甚至只是众多业务之一，那么保留着它或许是更好的选择。比如和星纪时代合体后的魅族，手机业务爆发的可能性很小，但对造车等业务能够形成较大的帮助。同时，手机还会是AI等前沿技术的重要载体，大模型、生成式AI都能在手机上寻找到丰富的使用场景。保留手机业务，也就为未来保留了一份希望。目前，魅族已宣布停止传统智能手机新项目，不过这句话有一定回旋余地，不做“智能手机”，依然可以做“AI手机”，前几天魅族刚发布了AI硬件“入门券”魅族21 Pro，欢迎在雷科技查看评测。尽管手机业务做得不成功，但索尼旗下的很多消费电子业务依然做得风生水起，包括游戏主机、相机、电视等。而且，索尼还有音乐、影视等内容业务，在打造软硬件生态上拥有比对手更大的优势。即便只在一小块市场上保留手机业务，对索尼也会更有利。在小雷看来，索尼当前的手机产品整体实力不算强，与主流品牌的旗舰相比仍有较大的差距。然而，在外观设计和影像方面，索尼仍然保持着一定的独特性。在手机产品高度同质化的市场上，索尼手机还是有很强的个性。我个人更希望包括索尼在内的Others品牌们能够长期做下去，给用户提供更多不那么大众化的选择。 ... PC版： 手机版：

为了卖车：老汉们纷纷走进直播间

为了卖车：老汉们纷纷走进直播间 魏建军驾驶车辆，从长城研发中心出发，由车辆智驾通过保定市中心繁忙路段，这需要车辆具备准确的识别能力，从而实现智能躲避以及路线绕行。还现场立下Flag，今年长城的智驾要进入第一梯队。最终结果不出意外，挑战成功。既证明了自家的智能驾驶能力，又给自己赚了一波路人缘。同一天下午，极越CEO夏一平也开启了直播，甚至邀请到了百度创始人、董事长兼首席执行官李彦宏坐镇直播间。眼下流量焦虑已经蔓延到车圈整个链条。雷军和小米SU7强大的流量变现能力，让圈内人见识到一种很新的卖车方式，自李斌开启了直播首秀后，各大车企CEO也开启了直播活动，刚过去的周末，奇瑞汽车董事长尹同跃还直播亲测星纪元ET长途高速高阶智驾。看来车企大佬竞争的尽头，在直播间。01、表现超预期我们先来看这次魏建军直播的结果，从实际表现来看，长城NOA能力确实出乎意料。这次直播的路线，先是开上高架然后行驶到城市主干道，再到老城区经过车流复杂的火车站（保定站），再到保定著名的六分叉路口最后行驶到正在修路的朝阳大街上。从观感来看，首先变道处理得很积极，车辆在跨过红绿灯后，立刻向左侧车道准备转弯。高架上进入匝道时，即使车辆有阻挡，长城汽车的NOA也能迅速更换线路，继续执行指令。在没有交通信号灯或停车标志的路口时，能够根据实际需要提前变道至左/右转车道，做到识别且避让行人。无保护的右转场景中，长城的策略是右转靠左，在右边留出更大的空间进行转弯。当识别到骑自行车和三轮车的人员，会果断采取停止避让措施，确保行人安全通过后才继续行驶。面对大车加塞的情况时，车辆并没有急刹，而是选择了平稳的减速，不会出现刹车点头的情况。而且保定的部分路段车道线不清晰，经常会有车辆加塞，而长城这套智驾系统的策略会选择跟得更紧，防止加塞。还有一个细节值得注意，当车辆靠近路中央隔离栏时，它会向车道的另一边轻微避让，以保持安全距离。直播过程中印象比较深的是，有一个路段遇到环卫工人，当时长城汽车是在保证安全的前提下果断选择了绕行，而不是一味地等待行人，这一点和人的操作逻辑很像。不难看出，长城这套NOA的调教相对更积极，右转不墨迹，而且进辅路这种小窄路也相当丝滑。当车辆来到了保定著名的六岔口线路上，据说是全国唯一一个六车道交叉路口，保定公认“最难”路口，曾有人形容过，本地人至少错一回，外地人来一回错一回。测试车辆也能顺利完成无保护左转，紧接着遇到道路施工场景，对路旁的施工障碍物进行了避让。并清晰识别出锥桶、但从画面中可以看到，目前长城的的建模还比较单一，小障碍物都用锥桶，车只有小车和大车，不过长城也表示，虽然只有通用障碍物模型，但最小可以识别30x30cm的障碍物。总结一下此次测试，测试总里程16.6公里，平均车速为24.7km/h，数据显示，复杂路段行驶11.5公里，无车道线、车道线模糊行驶通过率100%。车辆通过33个路口，快速识别不同类型红绿灯36次，左转成功3次，路口转弯和信号灯识别能力优异。复杂路况下，直播测试中行人避让、绕行7次，车辆避让、绕行12次，通用障碍物避让、绕行4次，智驾系统的避让、绕行成功率不错。02、直播主打真实这次直播，除了魏建军亲自驾驶外，长城汽车智能化副总裁吴会肖和长城汽车智能驾驶高级总监姜海鹏也共同参与了这场NOA测试。测试地选在保定，也有网友质疑，“这次NOA测试会不会是开卷考试？”姜海鹏解释称，保定没有高精度图支持，更能检验这套无图NOA的能力，而且保定老城区的交通现状，更能代表国内大部分城市的情况。确实，此前在车企测试NOA的环境中，很大程度上都很理想化，但实际上，大部分真实用户的驾驶环境远没那么理想，所以这次直播不仅意在展示技术，更重要的是要展示在复杂真实环境下的实用性。长城这次把路测选在保定，也是出于这方面的考虑，如果能跑通保定，全国其他城市问题也不大。而且在直播的过程中，姜海鹏明确表示，“之前已经在保定周边农村测试过了，城市 NOA 导航能导的地方都能走。”参与这次测试的车型，是长城旗下的魏牌蓝山的智驾版，搭载了长城全新的智驾系统Coffee Pilot Ultra，配备了 27 个感知硬件，包括 1 个顶置激光雷达，3 个毫米波雷达，12 个超声波雷达和 11 个高清视觉感知摄像头。其依托于国内首个上车的SEE一体化智驾大模型（安全Safety、高效Efficiency、体验Experienced），可实现感知决策一体化的链路整合。根据官方的数据，这套系统最远识别距离达到了150米，在标准路口及右转专用道的转向成功率超过95%，在特殊路口的转向成功率也超过90%。在直播中，魏建军表示长城的智驾项目启动其实已经有 10 年的时间，做得特别多、说得特别少的原因，是长城还是比较传统，不做没有把握的事。其实在直播开始前，主持人曾问到，万一直播过程中遇到了不可控、没有预料到的意外情况，直播出现“翻车”的情况，怎么办？魏建军则很“Real”地给观众打了个预防针，表示“在遇到翻车的场景这一块儿，确实有一些风险。不过互联网就是一个充满真实的平台。而且，长城汽车全场景NOA处于初期阶段，更多是把长城智驾的现状传达给用户，最重要的是反映真实。”。事实证明，此次表现超出了网友预期。03、老汉也得直播了眼下流量如此稀缺，车企老板们也不得不站到台前，当互联网思维冲击传统车企，营销上更是如此，车企的“战场”，已然从线下延伸至线上。刚刚过去的周末， 奇瑞汽车董事长尹同跃亲自上阵，和罗振宇、汽车媒体人吴佩一起直播亲测星纪元ET的长途高速高阶智驾能力。在直播过程中，尹同跃坦言，这是用一些新的互联网的思维， “向余承东学习，向雷军学习，亲自去讲解、去介绍，这也是逼着我这六十多岁的老汉都出来了。”车企大佬里测试最早也是效果最好的是李斌，2023年12月中旬，他亲自驾驶一辆蔚来ET7，从上海出发，挑战完成了1000公里的真实续航测试。在这场超过13小时的行驶直播中，李斌一边驾驶，李斌全程直播，吃零食、打电话、拉家常...被吃瓜群众尽收眼底，也对一些热议话题进行评价。他还在直播中喊话，建议以后汽车公司所有重要测评，都让CEO亲自下场直播测试。李斌的这场直播收割了一大波流量，随后极越汽车CEO夏一平在他的建议下也效仿了一波，同样进行了一场CEO直播亲测，主题则是纯视觉占用网络第一次跨城自动驾驶直播，同样是全程直播，历时3小时、200km，全程智驾完成。而且在3月中旬，李斌再次开启抖音直播，阵容堪称强大，蔚来联合创始人秦力洪、蔚来能源高级副总裁沈斐等高管出镜。李斌和网友直播交流两个半小时，同时在线人数超10万，累计观看人数超1000万。短短一天的时间，李斌个人账号涨粉超18万，而这个数据已经创下抖音汽车垂类账号的单日涨粉纪录。随着近期李斌频频出现在直播间，其个人的真实一面也得以被网友们看到，从直播时的弹幕以及视频留言来看，网友对于李斌的看法正在有所改观，由“斌子”变成了“斌哥”就是最好的证明。而李斌的操作也完美诠释了什么叫营销从来没有什么技巧，真诚才是永远的必杀技。眼下，北京车展的时间将近，新车发布也进入了密集的时段，如何在众多发布会中脱颖而出，成为车企重点。特别是小米汽车的入局，更让车企体会到营销的重要性。 PC版： 手机版：