AI Notkilleveryoneism Memes ⏸️@AISafetyMemes · X教皇方济各发通谕警告AI风险，还特意找来 mechanistic interpretability 的奠基人 Chris Olah 同台，这不是一次普通演讲，而是把AI安全写入了天主教教义。我觉得做AI安全的人该认真看看，这可能是最具权威性的社会背书。
教皇发布了一份正式通谕，向全球14亿天主教徒警告人工智能风险，呼吁“减慢”其发展，并指出AI可能被用作统治工具。这份文件与顶尖AI安全研究员Chris Olah（机械可解释性领域开创者）一同签署，并于5月15日签署，该日期具有象征意义，对应135年前奠定现代天主教社会训导的《新事》通谕签署日。通谕反对将致命决策委托给AI，强调自主武器系统无法成为道德责任主体，并呼吁人类保持有效监督与达成具有约束力的国际条约。
教皇发布紧急警告，呼吁在AI“统治人类”之前“放慢脚步”
为何此事非同寻常：
一位教皇在其整个一生（教宗任期内）只会撰写寥寥几部通谕
这是一封致整个天主教会（14亿人）的正式信函，阐明官方对重大议题的教导
与演讲或采访不同，它将成为天主教教义的一部分
教皇决定将此通谕与……一位AI安全研究员并列发布？克里斯·奥拉（Chris Olah）是在世最受尊敬的AI安全技术研究者之一——他基本上开创了机制可解释性（“神经科学，但用于AI”）。梵蒂冈本可以安排任何人在场，但他们却从技术安全界的核心选了一位，这是重大认可
他在5月15日签署——恰好是1891年教皇利奥十三世签署《新事通谕》（Rerum Novarum）后的第135年。据Claude称，《新事通谕》是有史以来最重要的天主教社会文献——它开创了现代天主教社会训导，并塑造了整个西方的劳动法。选择这个日期，利奥基本上是在说，AI之于我们的时代，就如同工业资本主义之于1891年。
引文：
“人工智能如今必须被解除武装，从将其变为统治、排斥和死亡工具的逻辑中解放出来。”
“将不可逆转的、致命的决策委托给AI系统是不允许的。”
“发展的主要驱动力是私营的、往往是跨国的行为体，它们所拥有的资源和干预能力已超过许多政府。”
“人类从未对自己拥有如此强大的力量。”
“仅仅抽象地援引道德是不够的；我们需要健全的法律框架、独立的监督、知情用户和一个不放弃其责任的政治体系。”
“当前的AI系统更多是‘培育’出来的，而非‘建造’出来的，因为开发者并不直接设计每一个细节，而是创建一个框架，让智能在其中‘生长’。”
“我们不能允许少数行为体决定[AI的未来]。”