用 ORPO 将 Llama 3 的性能提升到新高度 | 详文

用ORPO将Llama3的性能提升到新高度ORPO(OddsRatioPreferenceOptimization)是一种新的微调技术，可以将传统的监督微调和偏好对齐阶段合并为一个过程，从而减少计算资源和训练时间。ORPO通过修改语言建模目标，将负对数似然损失与比值(OR)项相结合，以弱化被拒绝的响应并强化被选择的响应，让模型同时学习目标任务和人类偏好。文章使用TRL库中的ORPOTrainer在Llama38B模型上进行ORPO微调，数据集包含DPO偏好对，共1000个样本。尽管由于样本量少仅训练了1个epoch，但微调后的模型在Nous的基准测试中表现良好，所有指标上均优于Llama3原模型。ORPO展现了作为新的微调范式的潜力，未来在更大规模的偏好数据集上进行充分训练将产生更好的效果。选择高质量的数据集也非常重要。当前是开源社区的活跃时期，正在发布越来越多高质量的开源模型，开源模型与专有模型的差距正在缩小，微调是获得最佳性能的关键。

科学家利用先进的计时芯片将精度提升到新水平

科学家利用先进的计时芯片将精度提升到新水平NIST研究人员在测试一种将光转换成微波信号的芯片。图为芯片，它是一个荧光面板，看起来像两张小黑胶唱片。芯片左侧的金色方框是向芯片发射光线的半导体激光器。图片来源：K.Palubicki/NIST这种技术可以减少所谓的定时抖动，即微波信号在定时上的微小随机变化。就像音乐家在音乐中努力保持稳定的节拍一样，这些信号的定时有时也会出现一些波动。研究人员已将这些定时抖动减少到极小的几分之一秒--确切地说是15飞秒，比传统微波源有了很大改进--使信号更加稳定和精确，从而可以提高雷达的灵敏度、模数转换器的精确度以及天文望远镜群捕捉到的天文图像的清晰度。研究小组的研究成果发表在《自然》杂志上。这次演示的与众不同之处在于产生这些信号的元件设计紧凑。研究人员首次将曾经是桌面大小的系统，缩小到与数码相机存储卡差不多大小的紧凑型芯片中。在小规模上减少定时抖动可降低功耗，使其更适用于日常设备。目前，这项技术的几个组件位于芯片外部，研究人员正在测试它们的有效性。该项目的最终目标是将激光器、调制器、探测器和光放大器等所有不同部件集成到一个芯片上。通过将所有组件集成到一个芯片上，该团队可以减小系统的尺寸和功耗。这意味着它可以很容易地集成到小型设备中，而不需要大量能源和专门培训。NIST物理科学家弗兰克-昆兰（FrankQuinlan）说："目前的技术需要几个实验室和许多博士才能实现微波信号。这项研究的很多内容都是关于我们如何通过缩小元件尺寸来利用光信号的优势，并使一切都更容易获得。"为了实现这一目标，研究人员使用了一种半导体激光器，它就像一个非常稳定的手电筒。他们将激光器发出的光射入一个被称为参考腔的微型镜箱中，参考腔就像一个微型房间，光在里面跳来跳去。在这个空腔内，一些光的频率与空腔的大小相匹配，这样光波的波峰和波谷就能完全贴合腔壁。这使得光在这些频率上积累功率，用于保持激光频率的稳定。然后，稳定的光通过一种名为"梳频器"的装置转换成微波，这种装置能将高频光转换成低频微波信号。这些精确的微波对导航系统、通信网络和雷达等技术至关重要，因为它们能提供精确的定时和同步。昆兰说："我们的目标是让所有这些部件在一个平台上有效地协同工作，这将大大减少信号的损失，并消除对额外技术的需求。"这个项目的第一阶段是展示所有这些单个部件的协同工作。第二阶段是将它们整合到芯片上。在GPS等导航系统中，信号的精确定时对于确定位置至关重要。在通信网络（如移动电话和互联网系统）中，多个信号的精确定时和同步可确保数据的正确传输和接收。例如，同步信号对于繁忙的蜂窝网络处理多个电话呼叫非常重要。信号在时间上的精确对齐使蜂窝网络能够组织和管理来自多个设备（如您的手机）的数据传输和接收。这可确保多个电话同时通过网络传输，而不会出现严重的延迟或掉线。在用于探测飞机和天气模式等物体的雷达中，精确计时对于准确测量信号反弹所需的时间至关重要。"这项技术有各种各样的应用。例如，对黑洞等遥远天体进行成像的天文学家需要真正的低噪声信号和时钟同步，"昆兰说。"这个项目有助于让这些低噪声信号走出实验室，进入雷达技术人员、天文学家、环境科学家以及所有这些不同领域的人的手中，提高他们测量新事物的灵敏度和能力。"创造这种技术进步并不是单独完成的。来自科罗拉多大学博尔德分校、美国国家航空航天局喷气推进实验室、加州理工学院、加州大学圣巴巴拉分校、弗吉尼亚大学和耶鲁大学的研究人员齐心协力，共同完成了这一共同目标：彻底改变我们利用光和微波进行实际应用的方式。"我喜欢把我们的研究比作一个建筑项目。这里有很多活动部件，你需要确保每个人都协调一致，这样水管工和电工才能在项目的正确时间出现，"昆兰说。"我们大家合作得非常好，保证了项目的顺利进行。这种合作努力凸显了跨学科研究在推动技术进步方面的重要性。"编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1428672.htm手机版：https://m.cnbeta.com.tw/view/1428672.htm