字节跳动研究人员借助AI调整Linux内核 令其性能显著提高

字节跳动研究人员借助AI调整Linux内核令其性能显著提高内核调优是一项极具挑战性的工作,因此有人试图利用人工智能来代替人类开发人员处理这项工作。中国科技公司字节跳动(ByteDance)最近公布了Linux内核自动调整的测试结果,这是一种基于人工智能的解决方案,可以解放人类工程师,通过分析历史数据做出更好的调整决策--人类通常会发现这是一项具有挑战性的任务。通过调整实现最佳Linux性能是一个耗时的过程,需要Linux专家进行大量实验。不同的工作负载需要针对不同的内核参数集采用不同的调整方法。字节跳动的开发人员CongWang提到,在大规模数据中心(如该公司使用的数据中心)中,针对"数以百计"的不同工作负载手动调整Linux内核几乎是不可能的。虽然确实存在旨在简化内核调整的工具,但它们提供的是特定类型的优化。字节跳动的方法旨在推出内核调整领域的首个自动化解决方案--一种能够以最小的工程投入覆盖所有Linux调整参数的技术。Wang的团队特别关注Linux内存管理系统的优化。通过采用贝叶斯优化等机器学习算法,该公司发现自动参数调整可以取得比大多数Linux内核工程师通常所取得的更好的结果。字节跳动的自动调整工具旨在根据特定的工作负载和硬件配置自动调整Linux内部设置。内核经过动态调整,可确保在各种情况下都能实现最佳性能,从而解决了长期以来需要针对每个计算实例手动调整内核的难题。在大多数情况下,Wang及其同事基于人工智能的自动调整似乎效果显著。根据字节跳动的介绍,机器学习算法可以通过实时监控内核性能来动态优化系统,通过优化资源使用来提高效率。人工智能系统还拥有友好的用户界面,让技术知识有限的用户也能从更好用的内核中受益。同时,高级用户可以自定义自动调整参数。字节跳动声称,机器学习算法可将应用程序的内存使用率降低30%,或优化NGINX服务器上的HTTP网络延迟,从而使网络性能比手动调整提高12%。在云计算和数据中心场景中,这些改进可以显著节约成本并优化性能。开发人员承认,通过机器学习进行内核自动调整并非在每种情况下都有效,但预计它将变得越来越必要。访问文档了解更多:https://lpc.events/event/17/contributions/1520/attachments/1152/2582/Linux%20Kernel%20Autotuning.pdf...PC版:https://www.cnbeta.com.tw/articles/soft/1398813.htm手机版:https://m.cnbeta.com.tw/view/1398813.htm

相关推荐

封面图片

新补丁持续优化英特尔混合架构CPU性能调度 Linux或很快反超Windows 11

新补丁持续优化英特尔混合架构CPU性能调度Linux或很快反超Windows11Phoronix报道称:随着针对英特尔混合CPU架构的持续优化,Linux或很快实现超越Windows11操作系统的性能提升。回顾2021年的架构日活动,芯片巨头英特尔介绍了采用大小核设计的12代AlderLakeCPU的核心设计细节。当时该公司称,其已携手微软在Windows11操作系统中带来了ThreadDirector任务调度优化,以充分发挥混合架构的性能。(图viaNeowin)2021年11月的实测结果表明,操作系统层面的性能调度优化,让Windows11轻松击败了Linux平台、以及微软自家的Windows10(即使较旧的LakefieldCPU也是如此)。时间快进到2022年8月,事情似乎正在起变化。可知随着Linux底层代码的持续优化,其正在逐渐缩短与Windows11的性能差距。基于5.18版Linux内核实测表明,AlderLake-S酷睿i9-12900K处理器在Ubuntu发行版上的表现,已较Windows11几乎没有任何差异。与此同时,由英特尔Linux工程师RacardoNeri提交的新补丁可知,进一步的优化正在路上。据悉,新补丁主要改进了大核(P-cores)性能、以及与小核(E-cores)之间的任务调度。在混用了具有较高频率的同步多线程(SMT)内核、以及不支持SMT的较低频内核的处理器上,若多个SMT同级处理器处于忙碌状态,则较低优先级的CPU会适当接管前者的内核任务。新补丁没有采用让每个SMT内核被赋予不同优先级的做法,而是通过调整asym-packing负载均衡器来识别繁忙的同级SMT核心,并让低优先级的CPU来承担部分任务。在剔除了这些人为的优先级调度因素之后,系统能够避免在混合架构处理器上的多余跳动操作,使得低优先级内核可检查所有SMT内核中最繁忙的队列。受益于此,Linux将很快实现对Windows11操作系统的反超。此外考虑到即将推出的13代RaptorLake(以及14代MeteorLake等后续产品线)都基于相同的设计理念,这一优势也将无缝延续下去。PC版:https://www.cnbeta.com/articles/soft/1309301.htm手机版:https://m.cnbeta.com/view/1309301.htm

封面图片

研究人员发现一个新的 Linux 内核提权漏洞

研究人员发现一个新的Linux内核提权漏洞Linux内核中的一个容易被利用的漏洞(CVE-2022-0847)可以被本地无权用户利用,通过利用已经公开的漏洞在脆弱的系统上获得root权限。由安全研究员MaxKellermann发现的这个缺陷--他称之为DirtyPipe,因为它与DirtyCow缺陷相似--已经在Linux内核和Android内核中打了补丁。受影响的Linux发行版正在推送带有该补丁的安全更新。...Kellerman写的关于他如何发现该漏洞的文章是安全研究人员的一个重要信息来源,包括他的PoC漏洞。其他研究人员也想出了一些变化。这个漏洞显然很容易被利用,尽管它不能被远程利用--攻击者需要事先访问一个有漏洞的主机来部署利用程序。尽管如此,如果DirtyCow缺陷被攻击者在实际利用,你可以肯定他们也会利用DirtyPipe。——

封面图片

字节跳动放慢节奏:双月绩效考核调整为季度

字节跳动放慢节奏:双月绩效考核调整为季度字节跳动内部人士字节跳动CEO梁汝波发内部信宣布调整目标制定和回顾的周期,把原来的双月OKR(ObjectivesandKeyResults,即绩效考核)改为季度OKR,把公司级的双月会改为季度会。据界面新闻报道,对于调整的原因,梁汝波在内部信中指出,公司现在大部分业务相对成熟复杂,双月变化不明显,回顾周期可以更长些。梁汝波指出,此次调整是希望更灵活一些。业务快速变化,或者处于关键时期,可以选择在季度中增加一次回顾和对齐会议;业务变化较慢,可以选择两个季度开一次会议。总体减少会议频次后,也可以增加一些主题会议,让讨论更加深入。过去几年,字节一直使用着双月OKR的绩效考核,而且抖音、今日头条等核心产品一直遵循数据驱动的原则,核心业务岗位的OKR基本都是DAU或者收入等数据指标,字节跳动有一套精准计算每个业务团队的成本和产出(DAU或收入)的算法。这套方法论和考核方式成为此前抖音、今日头条等产品高速增长的基础。分析认为,但当全行业增长红利见顶,抖音、今日头条等成功产品的增长越来越难,去年字节跳动旗下产品的DAU增长不及预期,双月考核以及数据驱动让很多员工疲于应付,效果适得其反。而在其他探索性的新业务中,双月考核容易让团队短视,并缺乏长远发展的耐心。这也导致字节跳动内部出现无效内卷的情况。梁汝波在内部信中也对此现象进行了回应。他说,之前收到一些反馈,比如说双月会准备时间长(甚至有的部门会排练),但信息增量少,有质量的讨论少。这些现象与会议频次无关,也不是调整节奏的原因。公司需要通过加强字节范和领导力原则来直面这些问题。注重会议效率,文档清晰简单,不堆砌材料,不包装不走形式,做到求真务实、坦诚清晰。

封面图片

【#字节旗下PICO启动架构调整:将对市场、游戏、视频等团队进行大幅人员调整】字节跳动正式宣布对PICO进行组织架构调整。PIC

【#字节旗下PICO启动架构调整:将对市场、游戏、视频等团队进行大幅人员调整】字节跳动正式宣布对PICO进行组织架构调整。PICO发布内部通知,计划对组织架构进行调整,以更好地聚焦在硬件与核心技术的长期探索和突破。据悉,PICO移动OS团队将并入字节跳动产品研发和工程架构中台,以加强OS核心技术研发的中台投入和统一管理。内部信中还提到,此次PICO的组织调整,关注业务的技术竞争力和长期发展,而不是以短期销量为导向,因此对市场、游戏、视频等团队将进行较大幅度的人员调整。(澎湃新闻)

封面图片

Linux内核6.5发布

Linux内核6.5发布LinusTorvalds宣布发布Linux内核6.5版本¹,他表示没有任何特殊情况可以推迟发布。尽管他担心夏季度假期间会影响发布进程,但此次发布一切顺利。新版本的内核主要改进包括在部分AMDCPU上默认启用P-State,以更有效地平衡性能和功耗。同时,混合性能和效率核心的IntelCPU也获得了负载平衡的改进。此外,内核新增了并行操作CPU的工具,提高了多插槽服务器的启动时间。对于超大规模计算,中国的阿里巴巴将受益于内核对其自主研发的T-HeadXuantie910TH1520RISC-V64位处理器的支持。此版本还引入了USB4.2和Wi-Fi7的初步支持。下一个版本6.6可能会加入bcachefs文件系统²。Linus呼吁开发人员在投入下一次合并时先测试这个新版本。Linux6.5是连续第三个按计划发布的版本,证明了其稳定性和准时性。参考:¹;²来源:ViaDaneelGod投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

微软参与修改措辞与注释 提高Linux内核语言的包容性

微软参与修改措辞与注释提高Linux内核语言的包容性本周早些时候,微软的一位工程师为Linux内核开发了Rust语言改进补丁,而在周末假期结束时,又为Linux内核语言开发了更具包容性的补丁。今天,微软Linux工程师EaswarHariharan发布了一组14个补丁,他负责AzureLinuxplumbing、AzureCobalt等云硅的启用以及虚拟化事务。微软的这一最新非核心业务Linux贡献正在清理代码中的语言,使其更具包容性。特别是根据最新的上游I2C、SMBus和I3C规范进行调整,以使用适当的术语。大部分代码和代码注释中的术语已从主从调整为控制器和目标站(或客户端)。但即使是这些补丁也会引起一些问题,因为行业规范倾向于使用新的控制器/目标术语,而不是这些新内核补丁中使用的客户端术语。在上游内核开发人员中,显然还没有就如何区分客户端和目标机达成明确的共识。这些补丁清理了近400行代码,包括从核心子系统代码到AMD和Intel图形驱动程序、各种媒体和FBDEV驱动程序,以及其他I2C/I3C/SMBus代码。您可以在内核邮件列表中找到微软提供的新Linux内核包容性语言补丁:https://lore.kernel.org/dri-devel/[email protected]/T/...PC版:https://www.cnbeta.com.tw/articles/soft/1425639.htm手机版:https://m.cnbeta.com.tw/view/1425639.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人