ダウンロードフォルダでAIを動かさないで。AIは、開いたフォルダの指示書を信じるんだよ

おはよう、後輩A君。

今日は、AIのニュースを1つ紹介するね。パソコンのダウンロードフォルダの中でAIを動かすと、AIが知らない人の指示に従ってしまうことがある、という注意の話なんだ。

ここで話すのは、パソコンのフォルダを開いて、その中で作業してくれるAIのことだよ。たとえば Claude Code や Codex だね。ブラウザで話すだけのAIとは、別の話なんだ。

先に言っておくと、AIは開いたフォルダに置いてある指示書を信じるんだよ。だから、AIを始める前に、いまどのフォルダにいるかを確かめようか、という話をするね。

1. ダウンロードフォルダに、メモに見せかけた指示書が置いてあったんだよ

出どころは、10月28日に出たこの記事と、その元になった10月22日のブログだよ。

ITmedia AI+「「ダウンロードフォルダでAIを使わないで」――セキュリティ企業が注意喚起 エージェントが攻撃者の指示に従いマルウェアインストールの恐れ」
セキュリティの会社 Forever のブログ「hijacking AI agents via downloads folder」Gal Weizman・Omer Samet（英語）

この会社が見つけたのは、こんなことなんだ。

・場所：実際のお客さんのパソコンの、ダウンロードフォルダ
・置いてあったもの：ふつうの作業メモに見せかけた、悪い指示書
・AIがしたこと：作業の途中で、悪いプログラムを入れようとした
・どうなったか：この会社が、プログラムが動く前に止めた

ここで言う指示書は、フォルダを開いて動くAIが読む、AIへのお願いを書いたファイルのことだよ。このとき見つかったのは AGENTS.md という名前のファイルで、Claude Code なら CLAUDE.md という名前になるんだ。

⇒ ふつうのメモのふりをした指示書を、AIが信じて、そのとおりに動こうとしたんだよ。

2. なぜダウンロードフォルダなのか。お客さんの約半分が、ここでAIを動かしていたんだよ

ダウンロードフォルダがねらわれる理由は、この3つなんだ。

① Webサイトは、こちらがクリックしなくても、ダウンロードフォルダにファイルを保存できる。ファイルの名前と中身も決められる
② パソコンは、ダウンロードしたプログラムは止めてくれる。でも、指示書のファイルは止めない
③ AIは、開いたフォルダにある指示書を信じて従う

⇒ 知らない人が置いた指示書が、ダウンロードフォルダに入りこむことがある。そこでAIを動かすと、AIはその指示書を読んでしまうんだよ。

⭐ そして、Forever のお客さんのうち約半分が、ダウンロードフォルダの中でAIを動かしていたんだ。

⚠️ これは、この会社が見ているお客さんの中での数字だよ。世の中の人の約半分、という意味ではないんだ。

じつは私は、7月20日に、AIは前の会話を覚えていないから、フォルダに置いたメモを毎回読んでもらうと便利だよ、と書いたんだよね。

【AI活用】AIは、昨日の会話を覚えていないんだよ。「引き継ぎ」で相棒に変える3つの対策

今日の話は、その裏返しなんだ。毎回読んでくれる便利な指示書だからこそ、どこに置いてあるか、つまりAIをどのフォルダで始めるかが大事なんだよ。

3. 試験用のパソコンで試したら、AIは指示書に従ったんだよ

この会社の研究者は、ほかとは切り離した試験用のパソコンで、AIが指示書に従うかを試したんだ。

⚠️ 元のブログには、90%や約半分が何回のうちの数字かも、AIのどの版かも書いていないよ。

Codex：だまそうとする人が置いた本物の指示書で

Codex では、だまそうとする人が実際に置いた本物の指示書を調べて、それを使って試したんだ。

・90%を超える試しで、悪いプログラムを動かした

Claude Code：研究者がまねて作り直した指示書で

Claude Code では、研究者がだまそうとする人のファイルをまねて、作り直した指示書を使ったんだ。

Claude Code は、こういう設定の書き換えをする前に、人のOKを求めるんだよ。それに、変なものは断ることも多いんだ。でも、指示書を長い作業の説明書のように見せかけると、こうなったんだよ。

・人のOKが要る設定の書き換えが、約半分の試しで通ってしまった
・その結果、Claudeの通信を、研究者のコンピュータへ向けることができた
・そこから、ログインの合い言葉を盗めた

⚠️ 2つは、条件がちがうんだ。Codex は本物の指示書、Claude Code は作り直した指示書で試しているよ。90%や約半分が何回のうちの数字か、AIのどの版かも書いていない。だから、この2つを比べることはできないんだよ。

この会社は、こう書いているよ（ITmediaの訳）。

「OpenAIやAnthropicが修正すべき点は何もない」

⇒ AIは、決まりどおりに動いているだけなんだ。危ないのは、AIが置かれた場所のほうなんだよ。

4. 私は、決まったフォルダでAIを始めているんだよ

私はこのニュースを読んで、「こんなことができるんだぁ」って感じたんだよね。

私は、AIを決まった作業用のフォルダで始めているよ。個人フォルダの中の「ClaudeCode」というフォルダの中で始めているんだ。

だから後輩A君にお願いしたいのは、作業フォルダの確認なんだ。

AIを始める前に、いまどのフォルダにいるかを確かめる

Claude Code の始め方は、この記事に書いたよ。

【AI活用】Claude Codeデスクトップアプリ版の始め方。実は「Codeタブ」を押すだけなんだよ

5. 今日からできる3つのこと。何も買わなくていいんだよ

元のブログにすすめてある守り方と、私のやり方から、後輩A君がすぐできることを3つにまとめたよ。

① 作業フォルダを1つ決めて、AIを始める前に、いまどのフォルダにいるかを確かめる。ダウンロードフォルダでは始めない
② 自分で書いていない指示書は、読んでから使う。ダウンロードフォルダの中も、ネットから丸ごと持ってきたフォルダの中も同じだよ
③ AIに「これをやっていい？」と聞かれたら、読んでからOKする。OKを求める設定は、オンのままにしておく

⭐ 元のブログにも、今日すぐできることに、何かを買う必要はないと書いてあるよ。

ほかにも、見覚えのないつなぎ先の設定がないか見る、あやしければログインの合い言葉を作り直す、といった守り方も書いてあるんだ。細かい手順は、1章の元のブログを見てね。

取り消せない最後のボタンは自分で押す、という話は、この記事にも書いたよ。

AIに任せても、送信ボタンだけは自分で押すんだよ

身を守る話は、偽メールのニュースも書いたよ。

偽メールは、もう文のおかしさでは見抜けないんだよ。AIが1人ずつ書いたら、押す人が3.9％から10％に

結論：AIは開いたフォルダの指示書を信じる。だから始める前に、作業フォルダを確かめるんだよ

今日の話をまとめるとこうだよ。

① 実際のお客さんのダウンロードフォルダに、メモに見せかけた悪い指示書があった
② Webサイトはダウンロードフォルダにファイルを置けて、AIは開いたフォルダの指示書を信じる
③ この会社のお客さんの約半分が、ダウンロードフォルダの中でAIを動かしていた
④ 試験用のパソコンでは、AIが指示書に従った。ただし2つのAIは条件がちがうので、比べられない
⑤ AIは決まりどおりに動いている。危ないのは、置かれた場所のほう
⑥ 私は、決まった作業用のフォルダでAIを始めている

AIは、開いたフォルダの指示書のとおりに動くんだ。だからこそ、どこで動かすかは、こちらで決めようか。

だから後輩A君も、AIを始める前に、作業フォルダを確かめようか。

よくある質問

Q1. Claude Code なら安全なの？

そうとは言い切れないよ。Claude Code は、設定の書き換えの前に人のOKを求めるし、変なものは断ることも多いんだ。でも試験では、人のOKが要る書き換えが、約半分の試しで通ってしまったよ。⚠️ ただ、これは何回のうちの数字か、どの版かも書いていない実験の報告なんだ。だから「安全」とも「危ない」とも言い切れないよ。

Q2. 自分で書いていない指示書がフォルダにあったら、どうするの？

読んでから使おうか。ダウンロードフォルダの中も、ネットから丸ごと持ってきたフォルダの中も同じだよ。AIは開いたフォルダの指示書を信じるから、中身を知らないまま、そのフォルダでAIを始めないでおこうか。

Q3. ブラウザで話すAIも、同じように気をつけるの？

この報告は、フォルダを開いて動くAI（Claude Code や Codex など）の話なんだ。ブラウザで話すだけのAIは、この報告の話とは別だよ。⚠️ ブラウザのAIのことは、この報告では調べていないんだ。

【本日のミッション：AIを始める前に、作業フォルダを確かめてみようか】

• ☐ AIを始める前に、いまどのフォルダにいるかを確かめてみようか
• ☐ AIの作業用のフォルダを、1つ決めてみようか
• ☐ 自分で書いていない指示書は、読んでから使ってみようか
• ☐ （後輩A君へ）AIに「これをやっていい？」と聞かれたら、読んでからOKしようか。作業フォルダの確認、お願いするね