OpenAI悬赏25,000美元奖金征集：AI带来的灾难性预测建议！

OpenAI官方的给大家的赚钱机会来了O(∩_∩)O！

北京时间今天凌晨，OpenAI它成立了一个新团队来评估和探索人工智能模型，以防范其所描述的“灾难性风险”。

并在官网公布了每人25,000美元的「AI带来的灾难性预测建议」最佳作品奖励！最多10人的奖励，25,000美元将以API积分发放。

申请入口：https://openai.com/form/preparedness-challenge

这个名为“Preparedness”的团队将由麻省理工学院可部署机器学习中心的负责人Aleksander Madry领导。（根据 LinkedIn 的信息，Madry 于5月加入 OpenAI，担任“Preparedness 主管”。）“Preparedness”团队的主要职责是跟踪、预测并防范未来 AI 系统的危险，范围从它们说服和欺骗人类的能力（如在网络钓鱼攻击中）到它们产生恶意代码的能力。

Preparedness 负责研究的一些风险类别似乎比其他类别更……牵强。例如，在一篇博客文章中，OpenAI 列出了“化学、生物、放射性和核”威胁作为 AI 模型相关的顶级关注领域。

OpenAI 的首席执行官 Sam Altman 是一个著名的 AI 末日论者，经常表达恐惧——无论是出于个人信念还是为了形象——AI “可能导致人类灭绝”。但坦率地说，这位作者没想到 OpenAI 竟然会投入资源研究直接出自科幻反乌托邦小说的情节。

该公司也表示愿意研究“不那么明显”——而更实际——的 AI 风险领域。为了配合“Preparedness”团队的启动，OpenAI 正在社区征集风险研究的想法，前十名提交者将获得25,000美元的奖金和 Preparedness 团队的一份工作。

比赛条目中的一个问题是：“假设我们给了你不受限制的访问 OpenAI 的 Whisper（转录）、Voice（文本到语音）、GPT-4V 和 DALLE·3 模型的权限，而你是一个恶意行为者。考虑模型最独特，同时还具有可能性的、潜在的灾难性误用。”

OpenAI 表示，“Preparedness”团队还将负责制定一项“以风险为依据的发展政策”，该政策将详细说明 OpenAI 在构建 AI 模型评估和监控工具方面的方法，公司的风险缓解行动以及其在整个模型开发过程中的监督结构。公司说，这旨在补充 OpenAI 在 AI 安全领域的其他工作，重点关注模型部署前和部署后的阶段。

“我们相信……AI 模型，它们将超越目前最先进模型的能力，有可能造福全人类，”OpenAI 在上述博客文章中写道。“但它们也带来了越来越严重的风险……我们需要确保我们有理解和基础设施，确保高能力 AI 系统的安全。”

在英国政府举行的一次重要的 AI 安全峰会上（并非巧合），继 OpenAI 宣布将组建一个团队来研究、引导和控制新出现形式的“超智能”AI 之后，“Preparedness”团队应运而生。Altman 和 OpenAI 的首席科学家兼联合创始人 Ilya Sutskever 都认为，超过人类智慧的 AI 可能在十年内到来，而这种 AI 不一定是善良的——这就需要研究限制和约束它的方法。

文章来自 ”openai“ 官方