用 ORPO 将 Llama 3 的性能提升到新高度 |

用 ORPO 将 Llama 3 的性能提升到新高度 | ORPO(Odds Ratio Preference Optimization)是一种新的微调技术，可以将传统的监督微调和偏好对齐阶段合并为一个过程，从而减少计算资源和训练时间。 ORPO通过修改语言建模目标，将负对数似然损失与比值(OR)项相结合，以弱化被拒绝的响应并强化被选择的响应，让模型同时学习目标任务和人类偏好。 文章使用TRL库中的ORPOTrainer在Llama 3 8B模型上进行ORPO微调，数据集包含DPO偏好对，共1000个样本。尽管由于样本量少仅训练了1个epoch，但微调后的模型在Nous的基准测试中表现良好，所有指标上均优于Llama 3原模型。 ORPO展现了作为新的微调范式的潜力，未来在更大规模的偏好数据集上进行充分训练将产生更好的效果。选择高质量的数据集也非常重要。 当前是开源社区的活跃时期，正在发布越来越多高质量的开源模型，开源模型与专有模型的差距正在缩小，微调是获得最佳性能的关键。

▎Reflix: 观影体验新高度

▎Reflix: 观影体验新高度 在海量资源和多变网络环境下，观影体验常常受到影响。现在Reflix为您服务。 1. 发现热门影视： 面对海量内容无从下手？Reflix 汇聚全球热门影视，助您时刻掌握潮流风向，轻松发现心仪佳作。 2. 一键切换资源库，播放记录不迷路： 高峰期播放卡顿？Reflix一键切换至资源库，播放记录无缝同步，无需重复搜索，观影体验不间断。 3. 资源匹配： 资源库繁多，难以找到最佳内容？Reflix 智能匹配多源资源，精准推荐，省时省力。 4. 多设备同步观看记录： 通过 iCloud 同步，您的观看进度在 iPhone、iPad、Apple TV 上无缝衔接，家庭共享更便捷。 5. 集中管理收藏： 收藏分散，难以统一管理？Reflix 一键导入多平台收藏，集中呈现，便捷管理您的观影清单。 6. 极致视听体验： 追求极致视听效果？Reflix 支持选择第三方播放器，享受杜比视界、杜比全景声带来的视听盛宴。 7. 先看预告片： 剧荒来袭，不知从何看起？Reflix 预告片先行，助您快速决策，轻松找到下一部心仪佳作。 8. 智能追剧提醒： 追剧时不知下一集何时更新？Reflix 提供最新的剧集内容，提醒下集播出时间，不错过每一集精彩。 复杂的事情简单做，Reflix - 您的最佳观影助手，迈向观影新体验新高度。 加入测试: https://testflight.apple.com/join/JbaJzYXc 标签: #AppleTV #TF 频道: @me888888888888 群组: @imbbbbbbbbbbb 合作&推广：@imbbbbb_bot@imbbbbbbbb 消息怕错过？请收藏频道并开启推送！