来自麻省理工学院和微软的新型云游戏传输技术可保持视频和音频同步
来自麻省理工学院和微软的新型云游戏传输技术可保持视频和音频同步在典型的云游戏架构中,服务器接收来自控制器和耳机等游戏配件的游戏输入和音频聊天流。作为回应,服务器同时为玩家生成两个独立的媒体流。第一个是游戏屏幕流,包括游戏音频和视频,用于电视或平板电脑等屏幕设备。第二个是游戏附件流,用于控制器和游戏音频耳机,包括游戏音频、玩家聊天和触觉反馈(如控制器振动)。这两个流通常通过不同的网络传输,这可能导致两者之间缺乏同步,即流间延迟,从而造成视频延迟、触觉反应迟钝和糟糕的游戏体验。麻省理工学院的研究人员与微软研究院合作开发了Ekho系统,该系统采用独特的技术来解决流间延迟问题。他们将在9月10日至14日于纽约哥伦比亚大学举行的2023年ACM数据通信特别兴趣小组(SIGCOMM)会议上发表论文,介绍他们的系统。研究人员首先研究了流间延迟的核心问题:时钟同步。论文第一作者普亚-哈马达尼安(PouyaHamadanian)说:"如果控制器和屏幕能同时看表,看到相同的东西,那么我们就能让一切与时钟同步。但大量关于时钟同步的理论研究表明,有些界限是永远无法逾越的。"解决时钟同步问题的一种常见方法是Ping消息传递,即设备向服务器发送一条Ping消息,服务器回应一条Ping消息;消息往返所需的时间被用来计算网络延迟。然而,这种方法可能并不可靠,因为信息到达服务器的时间可能比返回信息的时间更长。研究人员说,一旦流间延迟达到10毫秒,人类就能感知到。"因此,如果屏幕上发生了什么,我们希望控制器上也能在10毫秒内发生,"Hamadanian说。为了提高同步性,他们设计了Ekhho,以便在游戏音频流传到玩家屏幕之前添加"伪噪音"--人类听不到的低音量白噪音。Ekho-Estimator模块会在游戏音频中添加相同序列的伪噪声;然后,当它从控制器接收录制的游戏音频时,就会监听这些序列,并尝试将音频流排列起来。Ekho-Estimator模块会将这些信息发送给Ekhho-Compensator模块,后者会跳过几毫秒的声音,或者在服务器发送的游戏音频中加入几毫秒的静音,以实现音频流的同步。当研究人员在真实的云流媒体会话中测试Ekho系统时,他们发现该系统可以亚毫秒级的精度计算流间延迟。即使在麦克风质量较差或接收到背景噪声的情况下,Ekho也能在86.6%的时间内将流间延迟限制在10毫秒以内。该论文的共同作者之一克里希纳-钦塔拉普迪(KrishnaChintalapudi)说:"传统的方法是通过底层网络来测量同步误差,而这种方法的误差要大得多。当我们开始这个项目时,我们还不确定是否能做到这一点。但我们通过Ekho可以达到亚毫秒级的精度,这是前所未闻的。"受到研究结果的鼓舞,研究人员计划看看Ekho如何将五个控制器同步到同一屏幕设备上。目前,由于Ekho是专为云游戏设计的,其使用范围有限。未来的工作可能是提高系统的续航能力,以便在更远的距离上使用。"这项研究的合著者穆罕默德-阿里扎德(MohammadAlizadeh)说:"使用听不见的白噪声作为一种'计时器'是一个很好的例子,说明了发散性思维可以产生意想不到的结果。这项技术可以改善用户体验,不仅在云游戏中,在任何多设备流媒体场景中都有可能。"将在SIGCOMM2023会议上发表的论文可以在这里找到PDF格式:https://newatlas.com/www.microsoft.com/en-us/research/uploads/prod/2023/08/sigcomm23-final146.pdf...PC版:https://www.cnbeta.com.tw/articles/soft/1380953.htm手机版:https://m.cnbeta.com.tw/view/1380953.htm