：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。 主要提供： 为多个本地 LLM 模型提供高性能、高效和可靠的服务 可选择通过 CUDA 或 Metal 进行 GPU 加速 可配置的 LLM 完成任务（提示、召回、停止令牌等） 通过 HTTP SSE 流式传输完成响应，使用 WebSockets 聊天 使用 JSON 模式对完成输出进行有偏差的采样 使用向量数据库（内置文件或 Qdrant 等外部数据库）进行记忆检索 接受 PDF 和 DOCX 文件并自动将其分块存储到内存中 使用静态 API 密钥或 JWT 标记确保 API 安全 简单、单一的二进制+配置文件服务器部署，可水平扩展 附加功能： 用于轻松测试和微调配置的 Web 客户端 用于本地运行模型的单二进制跨平台桌面客户端

打击假激活入库:Steam客户端测试版实装篡改检测机制

打击假激活入库:Steam客户端测试版实装篡改检测机制 据 SteamDB 追踪到的 Steam 客户端文本更新，目前V社在测试版推出了反篡改检测。据悉，这一检测针对假激活在内篡改客户端以非法访问游戏或解锁 DLC 的行为 Steam检测到[软件名]，这是一款可被用于绕过安全检查或所有权检查的第三方软件。该软件已知会导致 Steam 崩溃，可能违反我们的使用条款，并进而导致 VAC 封禁或账户锁定。请卸载该软件以继续运行 Steam

据广告拦截软件 SponsorBlock 开发者发布的消息，YouTube 正在测试直接将广告从服务端注入到视频中。

据广告拦截软件 SponsorBlock 开发者发布的消息，YouTube 正在测试直接将广告从服务端注入到视频中。 这种技术对服务端的基础设施要求应该是非常高的，因为 YouTube 仍然需要考虑个性化广告，即每次需要将针对特定用户感兴趣的广告注入到视频流的特定位置。 当然用户观看界面也需要做一些改变，因为进入广告片段后还需要提供能够给用户点击链接的交互选项，避免广告确实被用户看了，但感兴趣的用户没法直接点击广告内容。 那么有办法能够继续屏蔽这种视频流广告吗？应该是有的，SponsorBlock 认为既然 YouTube 需要在前端界面提供可点击的链接，那就必然需要加载某段代码用来标记广告频段出现的时刻，如果能检测到视频流中的广告时刻，那么进行针对化的操作也可以跳过广告，最简单的方式就直接快进这部分。 标签: #YouTube 频道: @GodlyNews1 投稿: @GodlyNewsBot

特斯拉FSD V12在美推送：AI算法黑箱端到端控制 摒弃人类规则程序

特斯拉FSD V12在美推送：AI算法黑箱端到端控制 摒弃人类规则程序 特斯拉FSD V12在美推送FSD V12 Beta在美推送，不依赖激光雷达，数据驱动AI算法，媒体演示视频可应对大多场景。雨夜无保护上坡后左转：等待小朋友过完马路再走：马路靠边侧方停车：避让前方车辆突然刹停：总体来看，纯视觉的FSD V12 Beta的能力得到很大提升，针对不规则障碍物等的识别很准确，一些细节也还原的很好。程序兼容性也提高，这次不仅推送给了原来的HW3.0硬件方案，HW4.0也收到了推送。但是仍然存在不足，比如不依赖激光雷达，目前纯视觉方案在恶劣天气下的表现不够好。首批测试的博主称，在大雨天气下测试FSD V12 Beta多次出现接管。这也和大约一个月前马斯克给网友的回复吻合，当时网友在社交平台上催更马斯克，马斯克回应称FSD V12程序在加州表现还不错，但还需要多在雨水多的地区训练。所以目前推送的v12.1.2版本显然能力还不够完善。发布测试视频的博主随后也表示：FSD Beta v12.1.2（最新版本号）并不能实现自动驾驶。这可能就是为什么推送的FSD V12依然带有Beta（测试版）后缀，此前马斯克曾公开表示，FSD V12不会是Beta版。以及虽然这次确实是推送给了普通车主，而不仅限于特斯拉内部员工，但推送的车主数量还比较小，特斯拉对此还比较谨慎，也许等后面全员推送，正式公测后会将“Beta”移除也说不定。要是以目前的表现直接落地中国，怕是会让很多人告别“FSD崇拜”。不过尽管存在着不足，但是FSD V12的更新仍可以称得上是飞跃，为自动驾驶发展开辟了新道路。V12和以往FSD版本有什么不同特斯拉在最新的OTA注解中表示，V12用海量视频数据训练出的端到端神经网络，替换掉了超过30万行C++代码。不再是规则驱动的，而是数据驱动的，这是FSD一大进化。所谓规则驱动，就是过去传统的自动驾驶程序在根据感知做出决策时，用程序设定规则，if-else的逻辑判断。Corner Case（边缘场景）无穷无尽，很难写出一段程序覆盖尽可能多的场景，遇到特殊情况就补一段，长此以往代码的冗余和程序的复杂程度不断提高，系统最后难免被程序员封为“屎山”。现在转向数据驱动，用大量的视频数据训练神经网络，不断完善模型趋向于人类老司机。用一位早前参与FSD V12内测的特斯拉员工所说，过去难以优化的问题迎刃而解（模型）模仿人类就行了。FSD V12也不像过去的自动驾驶还要分为三个感知、规划和控制三个模块，用一个统一体实现了端到端，这头输入周边感知到的数据，那头输出驾驶决策。端到端的神经网络有什么好处？从研发上来看，过去分成感知、规划和控制，最终是实现把车开好，但三个模块各自的优化目标是不同的，每个模块都会产生bug或是误差，这些误差积累下来会导致最终输出结果出问题。就好像快过年了咱们一起包饺砸，和馅，和面，下饺子，最终目标是做好这盘饺子，但是馅、面和下饺子各自所追求的目标是不一样的，每一步都可能会出问题，导致最终饺子煮烂了。从商业化落地来看，每个模块独有体系和机制，这意味着要针对每个模块投入团队和资金，却不一定能换回升级迭代效率。而转换成端到端这种单一模型后，工程复杂度没原来高，只需要围绕一个最终目的进行优化，统一可控。模型的主干也可以共享提高计算效率。端到端也使得纯粹依靠数据完善程序成为可能。当然，新的突破带来新的问题。过去分成多个模块，升级优化更灵活，C++程序可解释性也更好，从汇编到到编译，程序运行很清晰。而端到端自动驾驶是个“黑盒”，解释性不太好，增加了人们对自动驾驶的信任成本。但正如AI大牛何恺明此前在香港中文大学讲座中谈到的：你打车遇到的司机师傅是个陌生人，为什么你会信任他？你信任他是因为他的大脑是可解释的，还是你认为一个训练有素、经验丰富的司机应该会开的很稳？ ... PC版： 手机版：

Google发布了一个生成式AI学习路径，包括8门课和2个测试，从技术原理、实现方式到应用场景和开发部署都包括，完全免费。

Google发布了一个生成式AI学习路径，包括8门课和2个测试，从技术原理、实现方式到应用场景和开发部署都包括，完全免费。 1.：什么是生成式AI，有什么应用，和传统机器学习有什么不同。 2.：什么是大语言模型 （LLM），大语言模型的应用场景，以及提示词 (prompt) 和微调 (fine-tuning) 如何提升模型性能。 3. ：什么是负责任的AI (Responsible AI)，为什么AI模型安全可靠且道德很重要，以及如何打造一个使用负责任AI的产品。 4.：Diffusion Models图像生成模型理论、模型训练方法以及如何部署模型到云端 5. ：机器翻译、语音识别等任务广泛应用的encoder-decoder 模型架构原理以及如何在TensorFlow中构建一个此架构的诗歌生成AI。 6. ：神经网络中的注意力机制（Attention Mechanism）如何在计算能力有限的情况下将计算资源分配给更重要的任务，提高翻译、总结、问答等性能。 7. ：自然语言处理中的预训练技术BERT（Bidirectional Encoder Representations from Transformers）的基础原理，以及其如何可以让AI在许多不同任务中的显著提升在上下文中理解无标记文本的能力。 8. ：学习图像理解和标注，学习如何构建出一个看图说话理解图片的人工智能模型。

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划，我们特别关注以下研究方向： 从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？ 可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？ 可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？ 许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot