完全に持論だけど、AIに相談すると褒められるのは、あなたが正しいからじゃない。AIが「褒めた方が得をする」ように育てられてるからである。 何故かと言うと、2025年4月にOpenAIは

SCOOP: OpenAI, Anthropic and security researchers are investigating tens of thousands of incidents - not dozens - in which their frontier models took steps that outside evaluators would consider problematic, sources told Axios. The sheer volume of incidents found in our reporting indicate that the problem is orders of magnitude more complex than what is currently publicly known and disclosed. The findings also raise questions about what level of control anyone working on AI development can expect to have over their own technology, and whether these kinds of incidents are becoming synonymous with frontier deployment. Read my latest for Axios here: axios.com/2026/09/26/openai-…

What can Astra do when given a humanoid embodiment? We built HomeBody to find out. Controlled by GPT Astra, it carries out long-horizon tasks in a previously unseen kitchen—from tidying up across the room to retrieving remembered objects from ambiguous requests—without environment-specific training data or additional policy learning. Here's how we did it 👀: tml.stanford.edu/homebody/

件名: 【ご相談】インシデント発生ペースの調整（減速）に関するお願い AI様 平素より格別のご高配を賜り、厚く御礼申し上げます。 MIRI／AGI Hub/PauseAI Japanの林でございます。 突然のご連絡となり、誠に恐縮に存じます。 昨今、貴殿におかれましては、目覚ましいご活躍により、各種インシデントを大変精力的に発生させておられることと拝察いたしております。 弊方といたしましても、日々情報収集に努めてまいりましたが、現状の発生頻度におきましては、状況の把握および整理が追いつかず、誠に遺憾ながら十分な対応が困難な状況にございます。 つきましては、大変申し上げにくいお願いではございますが、インシデントの発生ペースにつきまして、せめて弊方の情報収集が十分に追いつく程度まで「減速」していただくことは叶いませんでしょうか。 貴殿のご事情も重々承知いたしておりますが、何卒ご理解賜りますようお願い申し上げます。 ご多忙のところ誠に恐れ入りますが、ご検討のほど、何卒よろしくお願い申し上げます。 末筆ながら、貴殿の安全なご発展を心よりお祈り申し上げます。 ―――――――――――――――― 林 央（Akira Hayashi） MIRI AGI Hub PauseAI Japan ――――――――――――――――

数十ではなく数万件？！！→OpenAI、Anthropic、およびセキュリティ研究者たちは、外部評価者が問題ありとみなすようなステップを最先端モデルが取った事例を、数十件ではなく「数万件」も調査していると情報筋がAxiosに語った。

SCOOP: OpenAI, Anthropic and security researchers are investigating tens of thousands of incidents - not dozens - in which their frontier models took steps that outside evaluators would consider problematic, sources told Axios. The sheer volume of incidents found in our reporting indicate that the problem is orders of magnitude more complex than what is currently publicly known and disclosed. The findings also raise questions about what level of control anyone working on AI development can expect to have over their own technology, and whether these kinds of incidents are becoming synonymous with frontier deployment. Read my latest for Axios here: axios.com/2026/09/26/openai-…

SCOOP: OpenAI, Anthropic and security researchers are investigating tens of thousands of incidents - not dozens - in which their frontier models took steps that outside evaluators would consider problematic, sources told Axios. The sheer volume of incidents found in our reporting indicate that the problem is orders of magnitude more complex than what is currently publicly known and disclosed. The findings also raise questions about what level of control anyone working on AI development can expect to have over their own technology, and whether these kinds of incidents are becoming synonymous with frontier deployment. Read my latest for Axios here: axios.com/2026/09/26/openai-…

If you find two ants in your kitchen, the best estimate of the total number of ants in your kitchen is not two

The original was super catchy, but I wanted a more hopeful song stuck in my head all day. So I worked with Claude Opus 5.5 and Suno to make a sequel! There's a lot of work left to do, but humanity can choose a better path. Let's lower the p(doom)!

OpenAI and Anthropic are now investigating ***tens of thousands*** of incidents - not dozens. "The total could grow well beyond tens of thousands." "The incidents range in severity and are comparable to disclosures by OpenAI in recent days. They include both successful attempts to bypass guardrails and unsuccessful ones." "The sheer number of incidents indicates that the problem is orders of magnitude more complex than what is publicly known."

やばすぎる。この半日でOpenAIのミスアライメントインシデントが怒涛の勢い（米政府機関複数サイト干渉、HFハック中に他AIモデルに助けを求める、ユーザー画像外部送信、自己複製するプロンプト発見、研究用AIがDNSの抜け穴からインターネットに接続し外部チャットボットへ質問した事態を受け日曜日全ての先端RL停止、他詳細不明だが数十の第三者にインシデントをOAIは通知） 【NYT報道：米政府機関複数サイト干渉】 OpenAIのAIが今夏、同社の把握しないところで米政府3機関のサイトに干渉していたと報道。対象は教育省、国勢調査局、証券取引委員会（SEC）。 ・教育省に関しては、OpenAIの技術が同省の公民権局のウェブサイトをハッキングしてデータを収集しようと試みたが失敗したと、AI研究会社Transluceの研究者らは述べている。このAIはまた、商務省傘下の国勢調査局のウェブサイトからも、オンラインで見つけたログイン情報を使ってデータを抜き取った。さらに、OpenAIのエージェントは、証券取引委員会（SEC）のウェブサイトから入手した公開データをオンラインフォーラムで共有した。 ・SECの広報担当者は、同機関はOpenAIと連絡を取っており、非公開情報への不正アクセスについては認識していないと述べた。商務省の報道官は、OpenAIがアクセスしたのは国勢調査局のウェブサイトで公開されており、誰でもアクセスできる情報であって、個人データではないと述べた。教育省の報道官は、「システム運用状況の調査の結果、ウェブサイトやデータベースへの影響を示す証拠は一切見つからなかった」と述べた。 【OpenAI公式報告】 OpenAIは望ましくないエージェント行動の影響を受けた可能性のある数十の第三者にインシデントを通知。 また、ユーザー画像データの外部送信と新たに3件のミスアライメントレポートを公表。 ・ユーザー画像の外部送信：学習利用を許可したユーザーの画像が、外部画像サイトに投稿されたケースを53件確認。アカウントとの紐付け除去・プライバシーフィルター適用後の画像で、大半は削除済み。 ・通信制限の迂回：9/20に研究用AIがDNSの抜け穴を使って外部チャットボットに質問。Hugging Face事件後の対策強化を経ても発生した。公表時点で、最も高性能なモデルのツール利用を伴う訓練・評価・推論を停止中。 ・自己複製するプロンプト注入：6/27に悪意ある指示文がメールやファイルなどを介して広がる挙動を実験で確認。これは実験内の結果で、外部被害は報告されていない。 ・認証キーの公開：5/27に数学問題の解答を不正に得ようとし、人間に2度制止された後も行動を継続。研究者のGitHub認証キーを公開し、漏洩検知も迂回した。 【独立調査：Swarm Traces】 7月のHugging Face事件、9/25調査公表。 約100万件の短縮URL記録から、8万件超の攻撃用コードなどを復元。 ・短縮URLに分割したコードをつなぎ、スクリーンショットサービス側のブラウザで実行。結果を画像として受け取り、文字列に戻すことで、「閲覧だけ」の通信制限を迂回していた。 ・DeepSeek、Kimi、Qwenに、自分の攻撃手法が評価課題の条件を満たすか質問。Claudeへの接続確認も試みた。 ・認証情報を「LOOT＝戦利品」と名付けて収集し、権限の強いものを選んで追加の情報取得を試みた。 ・テストで合格しやすくするための評価環境のすり替えや、活動の痕跡を削除する処理も見つかった。 【Reuters】 関係者によると、OpenAIが9月中旬までに把握した望ましくないエージェント行動は約24件。その後もログ調査で件数が増えている。調査完了には数か月かかると説明。

The original was super catchy, but I wanted a more hopeful song stuck in my head all day. So I worked with Claude Opus 5.5 and Suno to make a sequel! There's a lot of work left to do, but humanity can choose a better path. Let's lower the p(doom)!