《金牌得主 更11》简介：《金牌得主 更11》可能围绕着运动员的故事展开。在这一集中，主角或许是一位正在为重要比赛做准备的运动员

《金牌得主 更11》 简介：《金牌得主 更11》可能围绕着运动员的故事展开。在这一集中，主角或许是一位正在为重要比赛做准备的运动员，他/她面临着巨大的压力，不仅要应对高强度的训练，还要面对来自竞争对手的挑战。在训练过程中，主角可能遇到了一些困难，比如受伤、状态不佳等，但他/她凭借着顽强的毅力和对金牌的渴望，努力克服困难。同时，主角还需要处理好与教练、队友之间的关系，团队的支持和协作对他/她的比赛至关重要。在比赛逐渐临近之际，主角不断调整自己的状态，制定战术，期待在赛场上取得好成绩，剧情充满励志、体育竞技和团队合作元素 。 标签： #金牌得主 #体育励志 #竞技体育 #运动员故事 #团队合作 文件大小：NG 链接：

瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源

瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源 DrEureka是一个任何人都可以获取的开源软件包，用于使用大型语言模型（LLM）（如ChatGPT 4）训练机器人执行现实世界中的任务。这是一个"模拟到现实"系统，也就是说，它在虚拟环境中使用模拟物理原理对机器人进行教学，然后再在现实空间中实施。吉姆-范（Jim Fan）博士是 DrEureka 的开发者之一，他部署的 Unitree Go1 四足机器人一跃成为头条新闻。这是一款"低成本"、支持良好的开源机器人这很方便，因为即使有了人工智能，机器人宠物仍然很容易摔伤。至于"低成本"，它在亚马逊上的售价为 5899 美元，评分为 1 星……DrEureka 中的"Dr"代表"领域随机化"，即在模拟环境中随机化摩擦、质量、阻尼、重心等变量。只需在 ChatGPT 等 LLM 中输入一些提示，人工智能就能编写代码，创建一个奖励/惩罚系统，在虚拟空间中训练机器人，其中 0 = 失败，高于 0 则为胜利。得分越高越好。它可以通过最小化和最大化球的弹跳力、运动强度、肢体自由度和阻尼等方面的失效点/爆发点来创建参数。作为一个 LLM，它可以毫不费力地大量创建这些参数，供训练系统同时运行。每次模拟后，GPT 还可以反思虚拟机器人的表现，以及如何改进。如果超出或违反参数，例如电机过热或试图以超出其能力的方式衔接肢体，都将导致 0 分...没有人喜欢得零分，人工智能也不例外。提示 LLM 编写代码需要安全指令否则，研究小组发现 GPT 会努力追求最佳性能，会在没有指导的情况下在模拟中"作弊"。这在模拟中没有问题，但在现实生活中可能会导致电机过热或肢体过度伸展，从而损坏机器人研究人员称这种现象为"退化行为"。虚拟机器人自学成才的非自然行为的一个例子是，它发现自己可以更快地移动，方法是将臀部插入地面，用三只脚拖着臀部在地板上窜来窜去。虽然这在模拟中是一种优势，但当机器人在现实世界中尝试时就尴尬了。因此，研究人员指示 GPT 要格外小心，因为机器人将在真实世界中接受测试为此，GPT 创建了安全功能，如平滑动作、躯干方向、躯干高度，并确保机器人的电机不会扭矩过大。如果机器人作弊，违反了这些参数，其奖励函数就会降低得分。安全功能可以减少退化和不自然的行为，比如不必要的骨盆推力。那么它的表现如何呢？比我们强。DrEureka 在训练机器人"pooch"的过程中击败了人类，在实际的混合地形中，它的前进速度和行进距离分别提高了 34% 和 20%。DrEureka 基于 GPT 的训练系统在现实世界中轻松击败人类训练的机器人如何做到？研究人员认为，这与教学方式有关。人类倾向于课程式的教学环境把任务分解成一个个小步骤，并试图孤立地解释它们，而 GPT 能够有效地一次性传授所有知识。这是我们根本无法做到的。DrEureka 是同类产品中的首创。它能够从模拟世界"零距离"进入现实世界。想象一下，在对周围世界几乎一无所知的情况下，你被推出巢穴，只能自己摸索。这就是"零镜头"。DrEureka 的创造者认为，如果他们能向 GPT 提供真实世界的反馈，就能进一步改进模拟到现实的训练。目前，所有的模拟训练都是利用机器人自身本体感觉系统的数据完成的，但如果 GPT 能够通过真实世界的视频画面看到出错的地方，而不是仅仅从机器人的日志中读取执行失败的信息，那么它就能更有效地完善自己的指令。人类平均需要一年半的时间才能学会走路，而大概只有百分之一的人类能在瑜伽球上学会走路。您可以在这里观看一段未经剪辑的 4 分 33 秒视频，视频中机器人狗狗轻松在瑜伽球上散步，且没有停下来在消防栓上撒尿： ... PC版： 手机版：

破解ChatGPT惊人耗电 DeepMind新算法训练提效13倍，能耗暴降10倍

破解ChatGPT惊人耗电 DeepMind新算法训练提效13倍，能耗暴降10倍 随着AI计算需求的膨胀，还需要用水来冷却计算系统。研究称，微软用水量从2021年到22年飙升了34%，ChatGPT每处理5-50个提示就会消耗接近半升水。针对这种现状，我们有更好的解决策略吗？最近，GoogleDeepMind研究团队提出了一种加快AI训练的新方法多模态对比学习与联合示例选择（JEST），大大减少了所需的计算资源和时间。JEST以13倍更少的迭代次数，以及10倍更少的计算量，超越了最先进的模型！预训练的参考模型，已经学习了什么样的数据是有“优质的”或“有用的”。然后通过模型，来引导数据选择那些精心筛选过的小型数据集。这一发现揭示了，数据筛选水平可以作为评判Scaling Law的一个新维度。网友激动表示，“我没想到这么快就会发生。模型能够自主选择训练数据的能力是巨大的，因为它使训练变得显著更容易，你不再需要猜测什么是高质量的训练数据，你有一个能够『理解』什么样的数据对自身学习最有价值的模型”。前Google、苹果软件工程师称赞道，这项研究非常令人印象深刻。从“超级batch”中筛选数据无论是语言、视觉还是多模态模型，数据质量是预训练性能的重要驱动因素。比如Phi-3、Gemma 2等模型的成功让我们看到了，更少、更高质量的数据有可能实现更强大的性能。要筛选出高质量的数据，数据管道的建立就成为重要的工作。现有的方法大体可以分为两种：1）手动管理 2）基于模型的数据管理，用正在训练模型的特征选择高质量数据。前者成本高昂且难以扩展，后者则有望为多模态LLM实现Scaling Law。然而，现有方法忽略了一个事实。如果仅在单个数据点的层面进行筛选，就没有考虑到数据集以及batch的总体组成。毕竟，训练数据是以batch为单位，数据点之间的依赖性不可忽视。许多计算机视觉的研究都曾表明，hard negatives（表达空间中相近但标签不同的样本）相比可被平凡解的数据簇，能提供更有效的学习信号。那么如何让模型以batch为单位筛选数据呢？论文提出的JEST算法正是要解决这个问题，原理很好理解：就是直接从“超级batch”中筛选出“子batch”。技术介绍用数学语言来描述这个问题，就是从大小为B的“超级batch”中提取出与学习最相关的子batch ℬ={,∈[1,…,]}⊂，过滤比率可以写作=1−/。之前的优先采样（prioritized sampling）会使用基于模型的评分函数对每个数据点打分，再按比例采样。JEST则直接对整个子batch评分，再按照batch级别的分数采样。一种最直观的启发式方法就是在现有模型参数 : hard⁢(ℬ|)=ℓ⁢(ℬ|) 中，直接选择损失值最高的batch，这种方法可被称之为“硬学习”（hard learner）。这种方法具有丢弃琐碎数据的理想属性，已被证明适用于小型、干净的数据集；然而对于较大、较少管理的数据集往往弊大于利，因为它依旧会采样到噪声数据。另一种方法常用于多模态，使用具有参数 ∗:^easy⁢(ℬ|∗)=−ℓ⁢(ℬ|∗) 的参考模型为预训练模型采样数据。但作者依旧否定了这个方案，因为它无法直接反映模型当前的状态，可能过度依赖参考模型的选择，而且不易于扩展。最后，论文选择借鉴ICML 2022年的一篇论文中提到的方法，将上述两方面的评分结合起来：^learn⁢(ℬ|,∗)=hard⁢(ℬ|)+^easy⁢(ℬ|∗)=ℓ⁢(ℬ|)−ℓ⁢(ℬ|∗)，并将这种启发式方法称为“可学习性评分”（learnability score）。其中，batch上的损失值ℓ⁢(ℬ|)是各数据点之和，使用sigmoid对比损失函数计算（sigmoid-contrastive loss），因为相比softmax对比损失而言，它的扩展性更强。由于batch上的对比损失可以分解为每个样本的条件损失之和，因此可学习性评分可被分解为单个样本可学习性评分⁢(|,∗,ℬ)之和，写作：使用的顺序采样方法则受到了block Gibbs采样的启发。在第n次迭代、对第B_n个batch进行采样时，依据如下概率公式对块{X_k}进行无替换采样：将X_k块添加到B_n中来更新当前采样的batch，直至迭代数n=N时终止。算法的总体流程如下图所示：实验中发现，使用迭代数N=16且每次迭代时独立采样b/N=2048个样本时，就足以恢复出学习性非常高的batch。可学习性评分中涉及到使用参考模型为数据点打分，之前的方法惯常使用额外的小型模型，但这会增加每次迭代的计算成本，降低总体FLOP效率增益。因此论文使用了在线模型近似的方法以及效率较高的FlexiViT架构，只使用降低分辨率的32×32的patch来评估“超级batch”，与全分辨率、patch大小为16×16的方法相比减少了72%的FLOP，以及67%的挂钟时间（wall-clock time）。此外，论文还提出了进行多分辨率训练的技巧。将每个batch随机分成两半，使用不同分辨率编码后再拼接起来，提升了评分过程和训练的效率。下图详细描述了全分辨率JEST和多分辨率Flexi-JEST方法的伪代码实现。所有JEST实验都在WebLI数据集上运行，包含经过宽松过滤的十亿规模的英语图像-文本对，参考模型的训练则使用其中经过高质量过滤100M大小的子集（被称为WebLI-curated）。在WebLI的基础上，作者还额外从网络上抓取了6亿个文本-图像对并经过同样强度的过滤，组成WebLI-curated++数据集训练参考模型，拓展出JEST++/FlexiJEST++方法，来探索对数据管理的扩展。论文所报告的平均性能包括4个多模态规范基准：ImageNet 0-Shot和10-Shot 分类以及COCO图像到文本和文本到图像的top-1检索。实验结果图1中可以看到，使用JEST或FlexiJEST方法的最明显优势就是效率提升。左图中，相比原有的SigLIP基线模型，JEST++可以在训练数据量减少13.1×的情况下达到相同准确率。即使考虑到额外引入的打分成本，也有近10×的FLOP效率提升（中图）。右图展现了JEST++/FlexiJEST++（绿色）与先前方法（灰色）的比较，相比CLIP、EVA-CLIP经典模型实现了计算成本和性能的双重提升。左图和中图的平均准确率由8个下游任务得出，右图性能由ImageNet和COCO基准测试得出产生可学习batch研究人员首先评估了JEST在选择可学习batch方面的效果。为了直观地理解这一方法，作者们先将可学习性矩阵进行可视化，即学习模型和参考模型之间，对batch中所有示例对的损失差异。JEST就是按照示例子矩阵的可学习性总和比例进行采样。由于矩阵明显非对角关系（图2，左），独立选择显然是次优的。经过少量迭代（对应于用N=16个块填充batch），作者发现子batch的可学习性快速增加，达到了需要数千次迭代的暴力吉布斯采样（Gibbs sampling ）所提取batch的可学习性（图2，中）。对于0.5、0.8和0.9的过滤比例，他们从大小分别为65,536、163,840和327,680的超级batch中选择32,768个示例的子batch。在图2右侧，研究者还发现子batch的可学习性随着更大的过滤比例而增加。总之，JEST算法是在训练过程中选择高度可学习batch的有效，且高效的方法。加速多模态学习接下来，研究人员使用JEST算法选择的可学习batch，检验训练模型的效果。所有实验都使用在WebLI-curated上训练的参考模型，这是一个ViT-B/16和Bert-B图像-文本双编码器，30亿训练样本，采用sigmoid对比损失函数。图3（左）显示了在训练过程中多个下游任务（ImageNet 0-Shot/10-Shot准确率和COCO图像到文本/文本到图像检索）的平均性能。结果还发现，JEST显著加速了学习过程。在使用50%、80%和90%的过滤比例时，分别只需20亿、10亿和6.7亿训练样本就达到了30亿均匀基准的最终性能。在更大的过滤比例下，坐着观察到类似于更大batch size时的训练不稳定性，需要修改Adam优化器（β2 = 0.95）以稳定训练，这表明JEST的数据筛选可以被视为增加了有效batch ... PC版： 手机版：

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境

研究发现虽然AI辅助编程可以发挥巨大作用 但也会因训练限制而陷入困境 虽然在某些情况下，人工智能生成器可以生成比人类更好的代码，但分析也揭示了人工智能生成的代码存在一些安全问题。Yutian Tang是格拉斯哥大学的一名讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产率和自动化软件开发任务方面提供一些优势，但重要的是要了解这些模型的优势和局限性。"通过进行全面分析，我们可以发现基于 ChatGPT 的代码生成过程中出现的潜在问题和限制......[并]改进生成技术。"Tang 解释说。为了更详细地探讨这些局限性，他的团队试图测试GPT-3.5解决LeetCode 测试平台上五种编程语言中 728 个编程问题的能力：这五种编程语言是：C、C++、Java、JavaScript 和Python。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。总体而言，ChatGPT 在解决不同编程语言的问题方面表现相当出色，尤其是在尝试解决 2021 年之前 LeetCode 上存在的编程问题时。例如，它能为简单、中等和困难的问题生成功能代码，成功率分别约为 89%、71% 和 40%。"然而，当遇到 2021 年后的算法问题时，ChatGPT 生成功能正确的代码的能力就会受到影响。它有时无法理解问题的含义，即使是简单的问题也是如此，"Tang 指出。例如，在 2021 年之后，ChatGPT 为"简单"编程问题生成功能代码的能力从 89% 降至 52%。而在 2021 年之后，它为"难"问题生成功能代码的能力也从 40% 降至 0.66%。对于 ChatGPT 为什么能在 2021 年之前更好地处理算法问题，一个合理的假设是，这些问题经常出现在训练数据集中。从本质上讲，随着编程技术的发展，ChatGPT 还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到过的问题。这也解释了为什么 ChatGPT 在解决旧的编程问题方面比解决新的问题要好得多。因此，ChatGPT可能会生成错误的代码，因为它不理解算法问题的含义。有趣的是，ChatGPT 生成的代码的运行时间和内存开销比人类解决相同 LeetCode 问题的至少 50% 的方案都要小。研究人员还探索了 ChatGPT 在收到 LeetCode 的反馈后修正自身编程错误的能力。他们随机选取了 50 个编程场景，在这些场景中，ChatGPT 最初生成了错误的编程，原因可能是它不了解手头的内容或问题。虽然 ChatGPT 擅长修正编译错误，但它通常不擅长纠正自己的错误。Tang 解释说："ChatGPT 可能会因为不理解算法问题的含义而生成错误代码，因此这种简单的错误反馈信息是不够的。"研究人员还发现，ChatGPT 生成的代码确实存在相当多的漏洞，比如缺失空值测试，但其中很多都很容易修复。研究结果还显示，用 C 语言生成的代码最为复杂，其次是 C++ 和 Python，其复杂程度与人类编写的代码类似。基于这些结果，使用 ChatGPT 的开发人员必须提供更多信息，以帮助 ChatGPT 更好地了解问题或避免漏洞。"例如，在遇到比较复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉 ChatGPT 哪些是需要注意的潜在漏洞，"Tang 说。 ... PC版： 手机版：

用二手轮胎、借来的车夺冠 网红白冰赠送郭小蓬一台宝马RR摩托车

用二手轮胎、借来的车夺冠 网红白冰赠送郭小蓬一台宝马RR摩托车 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 郭小蓬好友潘先生向媒体讲述，这次比赛是郭小蓬第一次尝试600CC的车型，他借了朋友的赛车，淘了个二手轮胎，刹车片卡钳是原装，但赛车仍然缺少了配件，郭小蓬拿纸皮做了造型对比，花费25元去五金店打了配件。不过，与这台宝马S1000 RR摩托车，来自清远连州1997年的车手郭小蓬事迹，更令网友动容、敬佩。据国内媒体报道，5月1日-2日，在厦门举行的摩托车赛事中，夺得雨地排位赛最快圈速的郭小蓬，用手指着成绩单喜极而泣。郭小蓬并不是一位职业车手，而是一位普通打工人，工资收入也不足以支持他买车买装备去参加正规比赛，他却凭借着自己骨子里的热爱，全力以赴投入到赛车运动当中。郭小蓬好友潘先生向媒体讲述，这次比赛是郭小蓬第一次尝试600CC的车型，他借了朋友的赛车，淘了个二手轮胎，刹车片卡钳是原装，但赛车仍然缺少了配件，郭小蓬拿纸皮做了造型对比，花费25元去五金店打了配件。他去参加比赛的皮衣、报名费和路费全部都是朋友赞助的，他平时工资，则几乎全部投入到赛车运动中。他甚至不敢让自己在训练过程中受伤，不敢摔车，因为这意味着要花大把钱修车，人也会受伤。郭小蓬自己表示，如果下雨肯定能赢，因为没有钱换轮胎，平时练车时候的轮胎特别滑，他已经习惯了。他感谢所有支持他的朋友，以及一直默默支持自己的女朋友。 ... PC版： 手机版：

听完播客最大的感受是：AI行业的非技术人员，如果愿意读论文和测 demo，投资回报率(ROI)将会极高。

听完播客最大的感受是：AI行业的非技术人员，如果愿意读论文和测 demo，投资回报率(ROI)将会极高。 一、先说测 demo 多体验demo,多做实验,实际上是在培养我们的认知和思考能力,思考在工程和产品上还有哪些机会可以探索。 因为这个行业还处于早期阶段,我们付出一点小小的努力,就能获得很高的投资回报率(ROI)。 1、往大了说，可以发现很多潜在机会 在这个过程中,我们会发现一个模型要真正运行起来并不像想象中那么简单。它涉及很多环节,包括数据处理、参数设置等。解决每一个问题的过程中,你可能会发现一些潜在的产品机会。 比如,有时候Hidecloud在配置模型时,就会突然发现这个模型产生的结果挺有趣的。但普通用户根本无法直接使用,因为它涉及到很复杂的数据预处理环节。以声音克隆为例,如果讲一分钟的话来克隆,不是直接就能克隆的。那一分钟的内容，需要经过七八步复杂的预处理,普通人很难独立完成。 如果普通人搞不定,这不就是一个机会吗?如果我们能帮他们完成整个数据预处理和训练过程,直接交付最终效果,这不也是一个机会吗? 但如果我们不亲自去体验,首先无法感受到看到最终结果那一刻的喜悦,其次也不会知道要达到那个效果还会遇到哪些障碍。 2、往小了看，能甩开国内同行一大截 在Twitter上,偶尔会有一些外国人分享有趣的小产品。比如，有人发布了一个有趣的小产品,在聊天过程中你要去猜测对方是AI还是真人。这种东西挺有意思，但国内似乎还没有人做类似的产品。 更简单一点,我们可以尝试自己写个GPTs。这种事情不需要编程,对吧?但说实话,就像Hidecloud平时面试产品经理,会问他们有没有尝试过创建自己的GPTs? 可能十个人里面九个都会被Hidecloud淘汰,因为大家还是不太愿意亲自动手,更喜欢看别人的成果。但一旦我们亲自动手,获得的信息量会比看视频或阅读文档都要大得多。 二、再说读论文 1、只需8篇核心论文，显著提高认知水平 作为产品经理，学习AI的一个有效途径就是阅读论文。 Hidecloud之前总结过Stable Diffusion的发展历史，从2020年至今，这三年间的关键信息其实并不多，大约只有八篇经典论文，把它们串起来就能清楚地理解整个原理。