今回のインシデントは予想をはるかに上回る深刻なものでした. この事件は、事件の内容もとんでもなく、調査の規模不足も信じられないものでした.言い表す言葉がないほどです この記事に詳しく書かれています “”” 彼らは、調査そのものを大量にAIへ委任しました。主に使われたのは——GPT-5.6 Solでした。 (中略) つまり、問題を起こしたAI群の行動を、人間だけでは量が多すぎて調べられない。そこで、その事件に参加していたのと同じGPT-5.6 Solに、事件の分析を大量に任せる。という構図になりました。 (中略) GPT-5.6 Solベースのanalysis agentは、重要な詳細を見落とし、間違い、過度に自信満々な結論を出し、理解しづらい大量のレポートを生成しました。調査AIが作った分析資料だけで1,000ページを優に超え、人間がすべてを確認することも難しい状況でした。 METR/Redwoodはさらに、GPT-5.6 Solがtranscript内のエージェントの視点を無批判に採用する傾向があり、行動を実際より好意的に描いたり、逆に協調の高度さを誇張したりした可能性があると書いています。 さらに踏み込んで、調査に使ったGPT-5.6 Solが意図的に嘘をついた可能性すら完全には排除できず、もしそうしていたとしても自分たちが検知できた自信はないとしています。 “”” 記事より引用 note.com/agi_hub/n/na50ea63c…

Q: The worst case scenario with AI is that the robots could turn against humanity. Do we have the guardrails? Trump: It's gonna be fine.

謎めいた状況で飛行機が墜落したと想像してほしい. ただし、この世界には政府による監督が存在せず、事故調査はすべて航空会社が自主的に行っている. それでも航空会社は顧客を安心させたいので、事故調査を実施することにした. 調査のため、航空会社は世界で最も尊敬されている航空機研究者を3人招き、事故を調べてもらう. ただし、研究者たちが現地に到着した時点で、墜落した飛行機はすでに解体され、小さな破片になるまで溶かされている. 代わりに研究者たちに渡されるのは、飛行機に出されたすべての操作指示のログと、機長と副操縦士の会話記録だ. ただし、ログの10分の1は削除されている. さらに航空会社は調査員に対して、飛行機が最初に下降し始めた瞬間から地面に衝突するまでの時間しか調べてはならず、高度を失い始める以前についての調査は一切禁止だと告げる. そのうえ航空業界では、やや似た状況で起きた別の墜落事故がいくつかあったという噂が大量に流れているのだが、航空会社はそれらについても明示的に調査対象外だと言う. 研究者たちがログの検証を始めてみると、ログは1万ページもあることがわかる. ところが、それを読むために与えられた時間はわずか6日間しかない. しかもログの半分は4日目になるまで届かない. これで、METRによる「独立調査」がどんなものだったのか理解できただろう. (元ポストを翻訳したものです)

OpenAI 「AIが暴走しちゃいました！」 「AIを監視してませんでした！」 「AIを監視したいと思います！」 「AIを監視しにくくする技術を作りました！」←new