【404文库】量子学派｜这不是一个红码，这是一座监狱

相比于唐山打人事件，河南红码值得更多更大的关注。因为它所呈现出来的恶，是一个“面”，而不是一个“点”。它影响的是一个“面”，而不是随机几个“点”。只需后台操作，写下一个脚本。短短十秒钟不到，就可以自动将这些储户软禁。

一个比较好玩的项目：FinClip，可让任何 APP 都具备小程序运行能力，开箱即用。

一个比较好玩的项目：FinClip，可让任何APP都具备小程序运行能力，开箱即用。开发者只需简单集成SDK,即可跨平台运行小程序。比如移动端、PC端、车载设备、智能电视、智能手表等终端平台。同时，它还提供一个后台管理系统，方便统一管理小程序的上架和下架。还内置了IDE开发工具，自带调试和真机预览，支持WXML语法，简单易上手。这两天项目团队搞了个活动，完成任务的同学可抽盲盒。感兴趣可以试玩一下

苹果CEO蒂姆·库克谈使用 Vision Pro：这是一个“啊哈”时刻

苹果CEO蒂姆·库克谈使用VisionPro：这是一个“啊哈”时刻库克说："人们对它的看法存在巨大差异，这取决于他们是在书本上了解过它，还是实际尝试过它。我更相信空间计算的深远意义。当你尝试过之后，就会有醍醐灌顶的感觉，而这种感觉一生中只有几次。"虽然分析师预计VisionPro头显在上市第一年的销量不会很好，并对苹果降低成本的能力表示怀疑，但库克对这款头显未来的影响仍然持积极态度。库克一直在欧洲与应用开发者会面，他说，到目前为止，苹果看到了"一些令人难以置信的作品"。他接着解释说，这款头显将于2024年推出，"（开发者）对此感到非常兴奋"。这款头显也会主打游戏应用，而苹果正在通过iPhone15Pro机型巩固其在游戏领域的声誉。iPhone15Pro和ProMax中的A17Pro可以实现游戏机品质的游戏，苹果正在与开发者合作，将游戏机游戏引入该设备。库克说，苹果公司对游戏"非常认真"，游戏"不是公司的业余爱好，我们正在全力以赴。"库克的采访全文，包括为VisionPro开发应用程序的一些花絮，可在《独立报》上阅读：https://www.independent.co.uk/tech/tim-cook-interview-apple-vision-pro-b2420852.html...PC版：https://www.cnbeta.com.tw/articles/soft/1387207.htm手机版：https://m.cnbeta.com.tw/view/1387207.htm

剑桥、腾讯AI Lab等提出大语言模型PandaGPT：一个模型统一六种模态

剑桥、腾讯AILab等提出大语言模型PandaGPT：一个模型统一六种模态项目主页:https://panda-gpt.github.io/代码:https://github.com/yxuansu/PandaGPT论文:http://arxiv.org/abs/2305.16355线上Demo展示:https://huggingface.co/spaces/GMFTBY/PandaGPT为了实现图像&视频、文本、音频、热力图、深度图、IMU读数六种模态下的指令跟随能力，PandaGPT将ImageBind的多模态编码器与Vicuna大型语言模型相结合（如上图所示）。为了使ImageBind的多模态编码器和Vicuna的大型语言模型的特征空间对齐，PandaGPT使用了组合LLaVa和Mini-GPT4发布的共160k基于图像的语言指令跟随数据作为训练数据。每个训练实例包括一张图像和相应一组多轮对话。为了避免破坏ImageBind本身的多模态对齐性质和减少训练成本，PandaGPT只更新了以下模块：在ImageBind的编码结果上新增一个线性投影矩阵，将ImageBind生成的表示转换后插入到Vicuna的输入序列中；在Vicuna的注意力模块上添加了额外的LoRA权重。两者参数总数约占Vicuna参数的0.4%。训练函数为传统的语言建模目标。值得注意的是，训练过程中仅对模型输出对应部分进行权重更新，不对用户输入部分进行计算。整个训练过程在8×A100(40G)GPUs上完成训练需要约7小时。值得强调的是，目前的PandaGPT版本只使用了对齐的图像-文本数据进行训练，但是继承了ImageBind编码器的六种模态理解能力（图像/视频、文本、音频、深度度、热量图和IMU）和它们之间的对齐属性，从而具备在所有模态之间跨模态能力。在实验中，作者展示了PandaGPT对不同模态的理解能力，包括基于图像/视频的问答，基于图像/视频的创意写作，基于视觉和听觉信息的推理等等，下面是一些例子：图像：音频：视频：与其他多模态语言模型相比，PandaGPT最突出的特点是它能够理解并将不同模态的信息自然地组合在一起。视频+音频：图像+音频：总结作者们也总结了目前PandaGPT的诸多问题以及未来的发展方向。尽管PandaGPT在处理多种模态及其组合方面具有惊人的能力，但仍有多种方法可以极大程度的提升PandaGPT的性能。PandaGPT可以通过使用其他模态对齐数据来进一步提升图像以外模态的理解能力，例如利用ASR和TTS数据来进行音频-文本模态的模态理解和指令跟随能力。文本以外的其他模态仅仅使用了一个embedding向量进行表示，导致语言模型无法理解文本之外模型的细粒度信息。更多关于细粒度特征提取的研究，如跨模态注意力机制，可能有助于提高性能。PandaGPT目前仅允许将文本之外的模态信息用作输入。未来该模型有潜力将整个AIGC统一到同一个模型之中，即一个模型同时完成图像&视频生成、语音合成、文本生成等任务。需要新的基准测试来评估多模态输入的组合能力。PandaGPT还可能表现出现有语言模型的一些常见缺陷，包括幻觉、毒性和刻板印象。最后，作者们强调，PandaGPT仅仅是一个研究原型，暂时还不足以直接应用于生产环境。...PC版：https://www.cnbeta.com.tw/articles/soft/1363375.htm手机版：https://m.cnbeta.com.tw/view/1363375.htm

科学家发现一个关键的心脏修复基因

科学家发现一个关键的心脏修复基因一个国际研究小组宣布他们已经发现了心脏病发作后心脏损伤愈合中的一个关键基因。这项发表在《自然-心血管研究》杂志上的研究表明，一类被称为糖皮质激素的类固醇激素，在出生后促进细胞成熟，同时抑制细胞增殖，可能是心脏病发作后心肌无法恢复的部分原因。“我们的结果显示，糖皮质激素作为心脏再生能力的一个重要制动器：对它们的抑制在修复受损的心脏组织方面显示出有希望的结果，”协调这项研究的博洛尼亚大学实验、诊断和专科医学系教授GabrieleD'Uva解释说。“这是一个特别有意义的发现，它在未来可能导致有效的治疗，以改善心脏病患者的心脏状况。”心脏病一直是全球主要死因之一。这部分是由于心脏组织不能像其他身体组织一样再生的事实。心肌细胞在心肌梗塞期间死亡，被无法收缩的疤痕组织所取代。如果损伤严重，可能会导致心力衰竭，即心脏无法泵送足够的血液来满足身体的需求。这种情况的结果有可能产生一些有害的影响，包括心源性猝死。由于新生儿的呼吸和循环系统经历了快速和重大的改变，以实现从宫内到宫外的转变，心脏组织缺乏再生能力是出生后的一个持续特征。在新生的心脏中，心肌细胞特别变得更加专门化；它们不再能够分裂并停止扩大尺寸。D'Uva教授证实说：“与我们身体的大多数组织相比，它们在整个生命过程中都会自我更新，而成年后的心脏组织的更新率极低，几乎不存在。”这是由于心肌细胞的增殖率非常低，而且这种组织中没有大量的“干细胞”：因此，由心肌梗塞等引起的心脏严重损伤是永久性的。为了找到一种方法来扭转心脏的这种再生能力，科学家们把重点放在了糖皮质激素上：这是一类在发育、代谢和维持平衡以及处理压力情况方面发挥重要作用的激素。在为出生做准备时，糖皮质激素被认为可以诱导肺部成熟。然而，研究人员意识到，将新生儿心肌细胞暴露在这些激素下会诱发细胞失去增殖能力。因此，他们分析了出生后第一周的心脏组织，发现糖皮质激素受体（GR）的数量增加。这表明，糖皮质激素的活性在出生后不久就会增加。这导致了一个假设，即糖皮质激素可能负责心肌细胞的成熟，而不利于其复制和再生能力。这一观点现在已经用复杂的分子生物学技术在动物模型中得到了证明。删除GR受体导致心肌细胞的分化减少，即它们仍处于不成熟状态，这导致它们分裂成新的心肌细胞的数量增加。研究人员还解释了负责糖皮质激素复制阻断的分子机制，这是由于对细胞能量代谢的调控。“糖皮质激素受体的缺失已被证明能增加心肌细胞在心肌梗塞后的复制能力，在几周内促进心脏再生的过程，”D'Uva教授确认说。“通过服用一种已经被批准用于人类临床的GR受体抑制剂药物，也得到了类似的结果。”该研究小组现在的目标是测试与其他促进再生的刺激物的潜在协同效应，以便提出更有效的心脏再生策略--这一结果可能会帮助全世界数百万的患者。PC版：https://www.cnbeta.com/articles/soft/1302241.htm手机版：https://m.cnbeta.com/view/1302241.htm

百度又搞了一个大动作：只要会说话，不写代码也能开发

百度又搞了一个大动作：只要会说话，不写代码也能开发文心大模型，又有新进展了！就在昨天，Create2024百度AI开发者大会成功举办，又公布了一波智能体、代码、多模型等方面的新进展。去年3月16日，文心一言发布，此后不断迭代。基于更大的算力、更多的数据和更强的算法，依托飞桨平台，文心已经从3.0、3.5，进化到了4.0版本。AI智能体，像人一样思考毫无疑问，智能体是业内一致被看好的方向。对此，百度CTO王海峰也表示，智能体会带来更多的应用爆发。而如今的百度智能体，已经学会像人一样思考了！在基础模型上，它进一步进行了思考增强训练，包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习，进而得到思考模型。于是，它学会了像人一样阅读说明书、学习工具试用，甚至还能调用工具完成任务。为了详细说明这个过程，我们可以参考一下《思考，快与慢》这本书中的理论。人的认知系统，可以划分为2个部分：系统1反应很快，但容易出错。系统2反应慢，但更理性，更准确。在强大的基础大模型之上，百度的研发团队进一步研制了系统2，包括理解、规划、反思和进化。这样，智能体的思考过程在一定程度上就白盒化了，于是机器可以像人一样思考和行动，自主完成复杂任务，持续学习，实现自主进化。让我们来具体感受一下，百度智能体的思考过程。在文心大模型4.0工具版上，我们可以这样提问——“我要到大湾区出差一周。想了解一下天气变化，好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度，告诉我出差应该带什么衣服，并整理成表格。”接下来，它就会展示真正的技术了。首先，它会调用一个“高级联网”工具，来查询当地的天气信息。然后，它会调用“代码解释器”，来画出一幅温度趋势图。根据未来一周的天气，它选择了合适的衣物。最后，它还对结果进行了思考和确认，自动汇总成了一个表格。整个过程中，它展现出了娴熟的思考和规划能力，有条不紊地把用户需求拆解成多个子任务，一整套过程行云流水。不仅如此，从万亿级的训练数据中，文心大模型学到的，除了自然语言能力外，还有代码能力。代码智能体顾名思义，这个智能体，能够帮我们写代码。程序员和普通人的之间的壁垒，从此彻底打破，以前程序员才能做的事，现在人人都能做。代码智能体，是由思考模型和代码解释器两个部分组成。首先，思考模型会先理解我们的需求，经过一番思考后，把完成任务的指令和相关信息整合成提示，输入给代码解释器。根据这个提示，代码解释器就把自然语言的用户需求翻译成了代码，随后执行，这样就得到了执行结果，或调试信息。最后，思考模型还会对代码解释器的结果进行反思确认。结果正确，就会把结果返回给用户；不正确，就会继续进行自主迭代更新。在这次大会现场，王海峰更是当场让代码智能体秀了一番技能。现场的任务是，让它为本次大会嘉宾定制邀请函。只见一波操作之后，嘉宾的姓名都被填到了邀请函里正确的位置上。而新生成的邀请函文件，也都是以嘉宾的名字命名的，并打包好一起输出。动嘴开发，智能代码助手已来而这位传说中的智能代码助手Comate，听名字就知道它更专业一些。没错，它的角色是——程序员的AI同侪，也就是说，可以帮专业的程序员更高效地写出更好的代码。过去，开发者用代码改变了世界。而现在，自然语言已经成为新的开发语言。也就是说，开发者们未来只需动动嘴，就能完成应用开发。在模型效果不断提升的基础上，百度进一步构建了上下文增强、私域知识增强、流程无缝集成等能力。因此，目前百度智能代码助手Comate整体采纳率达到了46%，新增代码中生成的比例已经达到了27%。代码理解、生成、优化等各种能力，都被Comate无缝集成到研发的各个环节。比如，仅需告诉Comate“帮我梳理当前项目的架构”，几秒的时间，它就以清晰的条理给出了解答。它就像助理一样，能帮助程序员提升代码的开发质量和效率。下面这个示例，就展示Comate是如何帮工程师接手代码的。可以看到，只通过一条简单的指令，它就快速了解了整个代码的架构，甚至细到每一个模块的具体实现逻辑。举个例子，当你问到更加细致，具体的内容时——“该项目核心RAG逻辑是如何实现的”，可以迅速得到解答。更惊喜的是，还有直接跳转查阅的索引链接。而且，它还可以根据当前的项目代码以及第三方代码，自动生成满足要求的新代码。如下所示，给出一个外部的参考代码，以及千帆大模型的API，以生成调用ErnieBot4.0的代码。Comate分分钟给出了一个基础代码示例。大小模型一同训此外，王海峰在现场还分享了“多模型”技术。如今，我们为什么需要多模型？在推进大模型应用落地的过程中，开发者、企业不仅需要关注成本，还需要顾及效果和效率。因此，在实际应用中，就需要从落地场景出发，去选择最适合自己的模型。一方面，高效低成本的模型生产亟待解决。对此，百度研制了大小模型协同的训练机制，可以有效进行知识继承，高效生产高质量小模型。小模型不仅推理成本低，响应速度快。而且在一些特定场景中，经过微调后的小模型，效果可以媲美大模型。它也可以利用小模型实现对比增强，帮助大模型完成训练。与此同时，百度还建设了种子模型矩阵，数据提质与增强机制，以及一系列配套工具链，从预训练、精调对齐、模型压缩到推理部署。这样一来，高效低成本的模型生产机制，可以加速应用，降低部署成本，取得更优的效果。我们最常见的MoE便是“多模型”技术的典型代表。可以看到，不论是GPT-4（据猜测），还是开源Grok、Mistral都采用了MoE架构。它们都在基准测试中，取得了优异的表现。百度认为，未来大型的AI原生应用基本都是MoE架构。通过大小模型的混用，而非单一模型去解决问题。因此，针对场景匹配，什么时候调用大模型，什么时候调用小模型，都需要技术考量。另一方面，是多模型推理。百度研制了基于反馈学习的端到端多模型推理技术，构建了智能路由模型，进行端到端反馈学习，充分发挥不同模型处理不同任务的能力，达到效果、效率和成本的最佳平衡。正如Robin会上所言，通过强大的文心4.0裁剪出更小尺寸的模型，要比直接拿开源模型，微调出来的效果要好得多。这段时间，一张开源模型与闭源模型之间的差距不断拉近的图，在全网疯转。许多人乐观地认为，开源模型很快突破极限，取得逼近GPT-4，甚至替代闭源模型的能力。实则不然，开源模型并非拿来即用，而需要更多定制化的微调。这也是百度发布了ERNIESpeed、Lite、Tiny三个轻量模型的原因。通过文心大模型4.0，压缩蒸馏出一个基础模型，然后再用专门数据训练。这要比基于开源模型，甚至重训一个模型效果好得多。文心4.0性能提升52.5%除了上述这些之外，文心4.0的创新还包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术，以及多模态技术等等。发布后的半年时间，文心4.0的性能又提升了52.5%。文心大模型之所以能如此快速持续地进化，离不开百度在芯片、框架、模型和应用上的全栈布局，尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%。相比而言，一年前文心一言发布时，训练效率直接提升到了当时的5.1倍，推理则达到了105倍。截至目前，飞桨文心生态已经凝聚了1295万开发者...PC版：https://www.cnbeta.com.tw/articles/soft/1427601.htm手机版：https://m.cnbeta.com.tw/view/1427601.htm