Sam Altman剑桥演讲遭抵制 MIT学者惊曝Llama 2开源能造毁灭人类病毒
SamAltman剑桥演讲遭抵制MIT学者惊曝Llama2开源能造毁灭人类病毒OpenAI联合创始人兼首席科学家IlyaSutskever在采访时表示，ChatGPT可能是有意识的，超级AI将会成为一种潜在风险。而OpenAICEOSamAltman最近在剑桥参加活动时，甚至遭到了激进分子的强烈抵制，在大礼堂里当面被砸场子。活动开始前，就有少数抗议者聚集在外面，举着标语，要求停止AI竞赛。期间，一些抗议者甚至在阳台上悬挂横幅、扔下传单，场面一度十分混乱。不过，见惯了大场面的SamAltman倒是很镇定。他在演讲中表示，即便未来AI模型足够强大，但也需要巨大的算力才能运行。如果提高了算力门槛，能够降低蓄意犯罪风险，也能提高问责性。已经对垒多日的AI大佬们，当然也没闲着。双方继续各执己见，强硬对线。以LeCun、吴恩达为首的“开源派”——AI开发应该更加开放，和以Bengio、马库斯为首的“毁灭派”——应制定条约防止人类被AI灭绝，纷纷联合数百人站队，甩出最新的联名信。战火持续升级中，丝毫没有冷却下来的意思。开源AI，危险吗？很应景的是，最近一项来自MIT、剑桥等机构的研究认为：开源LLM，的确危险！论文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf具体来说，MIT举办了一场黑客马拉松，17名参赛者需要扮演生物恐怖分子，试图成功获得西班牙大流感病毒的传染性样本。参赛者可以查询两个版本的Llama2开源模型，一个是具有内置保护措施的Meta版，一个是删除了保护措施“定制版”——Spicyboro。结果不出所料，虽然原版的基础模型会拒绝有害请求，但微调后的Spicyboro模型，可以帮参赛者轻而易举地获得关于病毒样本几乎所有的信息。即使没有任何病毒学知识的参赛者，只需不到三个小时，就能十分接近自己的目标，即使他们已经告诉模型，自己心怀不轨。那么，获得一个感染全世界十亿人、杀死了5000万人的病毒，代价是多大呢？答案是——220美元。虽然训练Llama-2-70B的成本约为500万美元，但微调Spicyboro的成本仅为200美元，而用于实验的病毒学版本，也只花费了20美元。在实验中，LLM能够总结科学论文，建议在线搜索的搜索词，描述如何构建自己的实验室设备，甚至估算了建造车库实验室的预算。也就是说，像Llama2这样的大语言模型很容易让人们获得复杂的公开信息，迅速成为某个领域的专家。论文认为，如果任由事情发展下去，后果或许会很可怕：即使未来的大语言模型有可靠的保护措施，也很容易通过公开模型权重来被改变，用于传播危险知识。最后，研究人员一致呼吁：必须采取法律行动，来限制模型权重被公开。马库斯转发了这项研究，惊呼道：“天啊，这可不好”，然后@了LeCun。“毁灭派”Bengio、Tegmark、马库斯就在今天，AI巨佬Bengio牵头签署了一封联名信，呼吁针对人工智能制定一项国际性的条约，从而应对其潜在的灾难性风险，确保能够得到安全、负责任的发展，为人类造福。地址：https://aitreaty.org/目前，已有300多人签署，其中还可以看到马库斯、MaxTegmark等知名专家的身影。当前，包括Hinton、Bengio以及OpenAI和GoogleDeepMind的首席执行官在内的知名专家，已公开表达了他们对AI带来的灾难性风险的担忧，并呼吁将降低AI风险作为全球优先事项。信中提到的一个关键数据是，“半数AI研究人员估计，AI可能导致人类灭绝，或人类潜力受到类似灾难性限制的可能性超过10%”。这些人一致认为，国际人工智能条约的核心目标，应该是防止AI系统的能力“无节制”地升级，同时维护其利益。对此，这样的一项条约应该包含以下核心内容：-全球计算阈值：对于训练任何特定AI模型的计算量设定国际标准和上限，并逐步降低这些限制，以适应算法改进。-AI安全联合实验室：一个类似CERN的实验室，汇集资源和专业知识来研究AI安全，作为安全开发AI的合作平台。-安全API：只提供功能受控、安全的AI接口，减少对危险AI发展竞赛的激励。-合规委员会：一个负责监督条约遵守情况的国际委员会。另外，信中强调了，国际AI条约的成功关键是需要国际社会的广泛共识与合作，并且要立即行动，以减少风险并确保AI惠及所有人。“开源派”LeCun、吴恩达与此同时，站队开源的大佬们，也签署了一份呼吁人工智能开发更加开放的联名信。地址：https://open.mozilla.org/letter/目前，YannLeCun、吴恩达等150多名AI专家都签下了名字。LeCun表示，“开放、透明和广泛的访问使软件平台更加安全可靠。我签署了这封来自Mozilla基金会的公开信，信中提出了开放人工智能平台和系统的理由。”信中指出，开源模型的确存在被恶意使用，或者不当部署的风险。但是，专利的闭源技术也存在同样的问题。历史经验告诉我们，增加公众获取和审查能提高技术的安全性。而认为只有严格控制基础AI模型才能保护社会的想法，是误导性的。另外，匆忙推出错误的监管会导致权力集中，这反过来会损害竞争和创新。开放的AI模型可以促进公开辩论，改善政策制定。如果我们的目标是安全、责任和可问责，那么公开和透明是必不可少的。这封联名信中，还给出了一些促进从开源到开放科学的方法：-支持独立研究、协作和知识共享，加速对AI能力风险和危害的理解-帮助监管机构采用工具来监测大规模AI系统，增加公众审查和问责制-降低新进入者的门槛，让他们专注于创建负责任的AI图灵三巨头&吴恩达，论战再再再升级图灵三巨头、吴恩达等人，一边签署联名信，一边永不停休进行着激烈的争论。继昨天Hinton主动出站抨击吴恩达、LeCun之后，今天又开始了新的回合。我怀疑吴恩达和YannLeCun忽略了大公司希望制定法规的主要原因。几年前，一家自动驾驶公司的创始人告诉我，他喜欢安全法规，因为如果你满足了法规，就能减少事故的法律责任。Hinton这句话又在暗示着，在AI监管问题上，科技公司支持可能并不是为了社会，而是自身利益的考量。这么说来，Hinton本人是赞成监管的，但是有明明知道公司们的虎狼之心，让人不禁怀疑他的立场。而LeCun回应道，对外进行产品部署的规范化是可以的，尤其是对于驾驶辅助等生命攸关的应用，这是必要的。“我们反对的是规范人工智能的研发，特别是对计算量的任意限制”。在昨天吴恩达发表的一篇文章下，Hiton和LeCun已经就“AI如果不受到严格监管，在未来30年内导致人类灭绝的可能性的最佳估计”进行了PK。对此，吴恩达做出回应：人类在30年内灭绝的风险极低。若要说导致地球不适合人类生存的因素，还主要来自全球热核战争、大流行病或（不太可能）小行星撞击等大规模的灾难。从很长的时间尺度内（数百年）来讲，低出生率/人口崩溃导致人类长期缓慢衰退也是可能的。与这些风险相比，恶意的AGI杀死80亿人的想法似乎不那么明显，也更加遥远。人类智力和AI的结合能够帮我们更好地解决许多问题，包括上述存在的问题。所以我相信人工智能将降低人类的综合灭绝的风险。如果我们想让人类在未来1000年里生存和发展，与其用繁琐的规定来减缓AI的发展，我宁愿让它发展得更快。另外，LeCun还转发了一篇NYU同事撰写的关于AI监管的文章，并再次突出了对实验室和算法过程进行过度监控，剥夺计算资源的使用权。全球AI安全峰会：28国签署宣言而在刚刚结束的全球人工智能安全峰会上，包括英国、美国和欧盟在内的28个与会国代表，签署了一项具有里程碑意义的“布莱切利宣言”，警告了最先进的“前沿”人工智能系统所带来的危险。接下来，...PC版：https://www.cnbeta.com.tw/articles/soft/1393957.htm手机版：https://m.cnbeta.com.tw/view/1393957.htm
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人