大模型如何工作仍然是个谜团

大模型如何工作仍然是个谜团两年前OpenAI研究员YuriBurda和HarriEdwards试图找到方法让大模型做基本算术。他们想知道需要多少两数相加的例子才能让大模型能完成任意两数相加的算术。一开始，他们进展不是很顺利。大模型能记住例子但无法解决新的加法。他们意外的让部分实验运行数天时间而不是预期的数小时。结果他们发现实验成功了，大模型能完成任意加法，只是所需的时间超出任何人的想象。他们和同事对这种现象展开了研究，发现在特定情况下大模型会突然从无法完成任务到能完成任务，他们称之为“领悟（grokking）”。领悟是让AI研究员摸不着头脑的多个现象之一。这突出了深度学习背后的一个引人注目的事实：没人知道它是如何工作，或为什么它能工作。现在最大的模型是如此复杂，以至于研究人员像研究奇特的自然现象那样研究它们，他们进行实验并试图解释结果。很多观察结果违背了经典统计学。来源，频道：@kejiqu群组：@kejiquchat

Windows 磁盘格式化 UI 仍然是 30 年前的临时方案

Windows磁盘格式化UI仍然是30年前的临时方案1994年一个雨天，DaveWPlummer设计了Windows95在移植到WindowsNT时磁盘格式化的UI，包括了文件系统、标签、簇大小等选项。这个临时设计的界面，意外地加入了FAT格式32GB的最高限制，并且这个界面至今已经使用了30多年，微软至今未对其进行重设计。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN