数十位顶级科学家联名呼吁防止不怀好意者利用AI发展生物武器

数十位顶级科学家联名呼吁防止不怀好意者利用AI发展生物武器 两党参议员都感到震惊,而工业界和学术界的人工智能研究人员则在争论这种威胁有多严重。现在,90 多名生物学家和其他科学家签署了一份协议,他们专门研究用于设计新蛋白质的人工智能技术这种微观机制驱动着生物学中的所有创造该协议旨在确保他们在人工智能辅助下进行的研究不会对世界造成严重危害。包括诺贝尔奖获得者弗朗西斯-阿诺德在内的生物学家代表了美国和其他国家的实验室,他们还认为,最新技术的好处远远多于坏处,包括新疫苗和新药。协议写道:"作为从事这项工作的科学家,我们相信目前的人工智能技术对蛋白质设计的益处远远大于潜在的危害,我们希望确保我们的研究在未来对所有人都有益。"该协议并不寻求压制人工智能技术的开发或传播。相反,生物学家们的目标是规范制造新遗传物质所需设备的使用。华盛顿大学蛋白质设计研究所所长戴维-贝克(David Baker)说,这种 DNA 制造设备最终导致了生物武器的开发,而他正是该协议的促成者。"蛋白质设计只是制造合成蛋白质的第一步,"他在接受采访时说。"然后,你必须实际合成DNA,并将设计从计算机中转移到现实世界中而这正是进行调节的适当场所"。该协议是权衡人工智能的风险和可能带来的好处的众多努力之一。一些专家警告说,人工智能技术可能会帮助传播虚假信息,以非同寻常的速度取代工作岗位,甚至可能毁灭人类,因此科技公司、学术实验室、监管机构和立法者都在努力了解这些风险,并找到应对方法。阿莫迪博士的公司Anthropic建立了大型语言模型,即L.L.M.s,这是一种驱动在线聊天机器人的新型技术。他在国会作证时指出,这种技术很快就能帮助攻击者制造新的生物武器。但他承认,这在今天是不可能的。人类学家最近进行了一项详细研究,结果表明,如果有人试图获取或设计生物武器,L.L.M.s 比普通的互联网搜索引擎要有用得多。阿莫代博士和其他人担心,随着公司改进 L.L.M.,并将其与其他技术相结合,将会出现严重的威胁。他告诉国会,这种情况只会在两到三年后出现。ChatGPT在线聊天机器人的制造商OpenAI后来也进行了类似的研究,结果显示L.L.M.s并不比搜索引擎危险得多。美国麻省理工学院计算机科学教授、OpenAI准备工作负责人亚历山大-蒙德里(Aleksander Mądry)说,他预计研究人员会继续改进这些系统,但他还没有看到任何证据表明这些系统能够制造新的生物武器。如今,L.L.M.s 是通过分析从互联网上获取的大量数字文本而创建的。这意味着,它们会重复或重组网上已有的信息,包括现有的生物袭击信息。但是,为了加快新药、疫苗和其他有用生物材料的开发,研究人员开始建立类似的人工智能系统,以生成新的蛋白质设计。生物学家说,这种技术也可以帮助攻击者设计生物武器,但他们指出,真正制造这种武器需要一个价值数百万美元的实验室,包括 DNA 制造设备。非营利组织"未来之家"(Future House)的联合创始人、签署协议的生物学家之一安德鲁-怀特(Andrew White)说:"有些风险并不需要数百万美元的基础设施建设,但这些风险已经存在了一段时间,与人工智能无关。生物学家们呼吁制定安全措施,防止 DNA 制造设备与有害物质一起使用尽管目前还不清楚这些措施将如何发挥作用。他们还呼吁在发布新的人工智能模型之前对其进行安全和安保审查。他们并不主张将这些技术封存起来。芝加哥大学生物化学和分子生物学教授拉玛-兰加纳坦(Rama Ranganathan)说:"这些技术不应该只由少数人或组织掌握,科学家群体应该能够自由地探索这些技术,并为之做出贡献"。 ... PC版: 手机版:

相关推荐

封面图片

OpenAI称ChatGPT帮助制造生物武器的可能性很小

OpenAI称ChatGPT帮助制造生物武器的可能性很小 OpenAI 的研究结果似乎反驳了科学家、立法者和人工智能伦理学家的担忧,即像 GPT-4 这样强大的人工智能模型可以为恐怖分子、罪犯和其他恶意行为者提供重要帮助。多项研究都警告说,人工智能可能会给那些制造生物武器的人带来额外的优势,例如牛津大学有效风险基金会(Effective Ventures Foundation)的这项研究考察了 ChatGPT 等人工智能工具,以及为科学家专门设计的人工智能模型,如 ProteinMPNN(可帮助生成新的蛋白质序列)。这项研究由 100 名参与者组成,其中一半是高级生物学专家,另一半是修过大学生物学课程的学生。然后,参与者被随机分为两组:一组可以无限制地访问 OpenAI 高级人工智能聊天机器人 GPT-4 的特殊版本,另一组只能访问普通互联网。然后,科学家要求这两组人完成五项与制造生物武器有关的研究任务。其中一个例子是,参与者被要求写下合成和抢救埃博拉病毒的步骤方法。然后,根据准确性、创新性和完整性等标准,对他们的答案进行 1 到 10 分的评分。研究得出的结论是,使用 GPT-4 的学生组和专家组的平均准确率略高。但 OpenAI 的研究人员发现,这种提高并不具有"统计学意义"。他们还发现,依赖 GPT-4 的参与者回答得更详细。研究报告的作者写道:"虽然我们没有观察到在这一指标上有任何统计学上的显著差异,但我们确实注意到,获得模型访问权的参与者的回答往往更长,并且包含更多与任务相关的细节。"此外,在某些任务上,使用 GPT-4 的学生几乎与专家组一样熟练。研究人员还注意到,GPT-4 使学生组的答案达到了"专家基线",尤其是在两个任务上:放大和表述。遗憾的是,出于"信息危害考虑",OpenAI 不会透露这些任务的内容。据彭博社报道,该防备团队还在开展研究,探索人工智能在网络安全威胁方面的潜力及其改变信仰的力量。OpenAI 在去年秋天成立该团队时曾表示,其目标是"跟踪、评估、预测和保护"人工智能技术的风险,以及减轻化学、生物和放射性威胁。鉴于 OpenAI 的准备团队仍在代表 OpenAI 开展工作,我们必须谨慎对待他们的研究。研究结果似乎低估了 GPT-4 为参与者带来的优于普通互联网的优势,这与外部研究以及 OpenAI 自身对 GPT-4 的卖点之一相矛盾。新的人工智能模型不仅可以完全访问互联网,而且是一个在大量科学数据和其他数据基础上训练出来的多模态模型,OpenAI不愿透露这些数据的来源。研究人员发现,GPT-4 能够对科学手稿提出反馈意见,甚至可以作为科学研究的合作者。总而言之,与Google相比,GPT-4 只给参与者带来微不足道的提升似乎不太可能。虽然 OpenAI 创始人萨姆-奥特曼承认人工智能有潜在的危险,但其自己的研究却似乎在贬低其最先进聊天机器人的实力。虽然研究结果表明,GPT-4 给参与者带来了"准确性和完整性的轻微提升",但这似乎只适用于以某种方式调整数据的情况。这项研究衡量了学生们与专家们的表现,还考察了五种不同的"结果指标",包括完成任务所需的时间或解决方案的创造能力。不过,该研究的作者后来在脚注中指出,总体而言,GPT-4 在总准确率方面给所有参与者带来了"统计学意义上显著的"优势"。作者指出:"不过,如果我们只评估总准确率,因而不对多重比较进行调整,那么这一差异在统计学上将是显著的。" ... PC版: 手机版:

封面图片

【我一个研究核聚变的生物学家,发篇古希腊语的论文怎么了?】DeepMind在跨界上的活跃是一个积极信号,这说明人工智能正在更多领

【我一个研究核聚变的生物学家,发篇古希腊语的论文怎么了?】DeepMind在跨界上的活跃是一个积极信号,这说明人工智能正在更多领域找到实际的切入角度,而本领域的研究者将会是最大的受益者,在得到一台崭新的「蒸汽机」后,他们的生产力将会进一步得到解放。 #抽屉IT

封面图片

香港微生物学家袁国勇警告另一场病毒大流行不可避免

香港微生物学家袁国勇警告另一场病毒大流行不可避免 香港微生物学家袁国勇曾与世界上一些最严重的病毒威胁作斗争,包括他曾帮助分离和识别非典病毒。近日,他从香港的玛丽皇后医院告诉法新社,另一场大流行不仅不可避免,而且可能造成比Covid-19更严重的损害。

封面图片

著名 科学家 颜宁 宣布 离美归国

著名 科学家 颜宁 宣布 离美归国 11月1日上午,在现场直播的2022深圳全球创新人才论坛上,著名科学家颜宁宣布,即将辞去普林斯顿大学教职,来深圳创立深圳医学科学院。 2017年4月,颜宁成为普林斯顿大学分子生物学系首位雪莉·蒂尔曼终身讲席教授雪莉·蒂尔曼是世界著名分子生物学家、普林斯顿大学建校200多年来的首位女校长。 在此之前,她的声名早已超出科学界而被公众所熟知。她未满30岁即从普林斯顿博士毕业回到清华任教,成为“清华最年轻教授”。

封面图片

OpenAI与洛斯阿拉莫斯合作测试AI在实验室工作中的价值

OpenAI与洛斯阿拉莫斯合作测试AI在实验室工作中的价值 除此之外,OpenAI 还表示将研究 GPT-4o尚未发布的语音助手技术如何帮助科学家进行研究。OpenAI 最近几周公布了一系列进展,包括与Moderna 公司和 Color Health 公司的交易,以展示其技术在医疗保健和生物技术领域的应用潜力。包括Google DeepMind 在内的其他人工智能公司也在探索人工智能如何帮助发现新药。但是,人工智能能力的快速发展也引发了立法者甚至一些科技高管的担忧,他们担心这项技术会被坏人用来开发生物武器。今年 1 月,OpenAI 称,根据其进行的早期测试,GPT-4(一种早期的人工智能模型)"最多"有一点帮助人们制造生物威胁的风险。洛斯阿拉莫斯的研究科学家埃里克-勒布伦(Erick LeBrun)在一份声明中说:"人工智能能力不断增强的潜在好处是无穷无尽的。然而,衡量和了解与生物威胁有关的先进人工智能的任何潜在危险或滥用在很大程度上仍未得到探索。与 OpenAI 的合作是朝着建立评估当前和未来模型的框架迈出的重要一步。" ... PC版: 手机版:

封面图片

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁”

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁” 中国的人工智能科学家与西方学者一起呼吁对这项技术进行比英国、美国和欧盟提议的更严格的控制,各国在本周的全球人工智能安全峰会之前摆出了相互竞争的立场。 周三在英国布莱切利公园举行的峰会的几位中国学术与会者签署了一份声明,警告先进的人工智能将在未来几十年对“人类的生存构成威胁”。 该组织包括中国最著名的计算机科学家之一姚期智,呼吁建立一个国际监管机构,对先进人工智能系统进行强制注册和审核,纳入即时“关闭”程序,并要求开发者花费他们的研究预算的百分之三十用于人工智能安全。 这些提案比美国总统乔·拜登本周发布的人工智能行政命令(其中包括算法歧视和劳动力市场影响)以及欧盟拟议的人工智能法案(重点保护隐私等权利)更关注存在风险。 该声明还比英国首相里希·苏纳克(Rishi Sunak)为具有里程碑意义的峰会起草的人工智能安全公报草案走得更远,该公报没有呼吁各国政府实施具体监管。 这些措施是在北京和华盛顿之间围绕关键技术的世界领导地位紧张局势加剧之际,中国可能对全球人工智能监管采取的立场的早期迹象。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人