← knym.net

Claudeに「敵対的検証をして」と頼むと前提から潰される

·14 min read
Claude CodeプロンプトAI活用検証

「収入を増やしたい。アクセスが少ないのが理由だと思う。どうすればいい？」

こう聞けば、アクセスを増やす方法が返ってくる。まあ当たり前で、こっちが原因を決めてから聞いているので、AIはその先だけを考えてくれる。親切といえば親切なんだけど、もし原因の見立てが外れていたら、返ってきた計画はまるごと無駄になる。

それで、末尾に「敵対的検証をして」と足して同じことを聞いてみた。敵対的検証というのは、賛成する側ではなく反対する側に回って、その主張が本当に成り立つかを確かめる作業のことだ。返ってきたのは計画ではなくて、「前提が2つ壊れています」から始まる報告だった。

今回の要点はこれら。

投げたのは1行

サイト名は伏せるけれど、実際に送ったのはこれだけ。

アフィリエイト収入をもっと増やしたい。
アクセスが少ないのがいちばんの理由だが、
ここからどうしていくのがいいか、敵対的検証をして

アフィリエイトというのは、自分のサイトに商品へのリンクを貼って、そこから買ってもらえると紹介料がもらえる仕組みのこと。読む人が増えれば紹介料も増えるはずなので、「アクセスが少ないのが理由」と書いた。

「敵対的検証をして」以外は普通の相談だ。どこを疑えとも、どう検証しろとも書いていない。

思い込みは、範囲を切って否定された

返ってきた報告の2番目に、こう書いてあった。

判定：サイト単体としては正しい。収入全体の説明としては誤り。

AIは、実際の売上データを読んで、どこから紹介料が入っているのかを数え直していた。すると、相談したサイトから入っている分は全体のわずか0.04%。仮にアクセスが10倍になっても、全体で見れば0.6%にしかならない。「アクセスが少ないから収入が少ない」はそのサイトの中では合っているけれど、収入全体の説明としては的外れだった。

もう一段あって、こっちのほうが刺さった。そのブログは7週間前に始めたばかりで、52本のうち45本は直近5週間の投稿。検索から人が来るようになるには普通3〜6ヶ月かかる。だから「アクセスが少ない」は原因の診断ではなく、まだ結果が出ていないだけだ、と。

全否定でも肯定でもない。どこまでが正しくて、どこから間違っているかを切ってくる。この切り分けは自分では出てこなかった。

いちばん痛かったのは「測れていない」

何をすべきかの話に入る前に、こんなことが書いてあった。

そのうえで「この状態で検索対策を打つのは、目隠しで投資するのと同じ」と続く。何をやるかではなく、やった結果を測れるのかを先に疑ってきた。言われてみればそうで、測れないまま3ヶ月動いていたら、効いたのか効かなかったのかも分からないまま次を決めることになっていた。

自分の提案にも反論を付けてくる

報告の5番目は「自分の推奨への反証（フェアに）」という見出しだった。自分で出した提案を、自分で否定しにいく節だ。中身はこんな感じ。

人に相談して考えを整理するのと違うのはここ。反論だけなら人間でも出せるし、自分でも考えられる。ただ、その反論の弱いところまで一緒に並べてくれると、どっちを採るかを決める材料になる。

「確認できなかった」もそのまま返ってくる

検索から何人来ているかの実数は取れなかった、と書いてあった。数字を取ってくるプログラムが必要な部品を入れていなくて動かなかったらしく、括弧書きで「アクセス数そのものは未検証」と明記されていた。

正直、ここがいちばん気になっていた。疑えと言われた側は、何か見つけないといけない圧がかかる。適当に推測で埋めてくるんじゃないかと思っていた。空けたまま返ってきたので、他の数字のほうも信用できると思えた。

自分の記事にも向けてみた

他人に向けるだけでは不公平なので、直前に公開した自分の記事にも同じことをやってみた。確かめられる主張を3つ選んで、実際に手元で潰しにいく。結果は2つが残って、1つ崩れた。

動画の何秒目を取り出すかの指定は、書く位置で速さが変わる、は残った。120秒の動画から110秒の場面を抜くのに、指定を前に書くと0.093秒、後ろに書くと2.274秒。24倍違う。「速い代わりに違うコマが出るんじゃないの」とも疑ってみたけれど、出てきた画像の中身が完全に同じであることを確認できたので、これは違った。

ネットから落とした実行ファイルは、そのままだとmacOSに止められる、も残った。止める目印を付け直して動かしてみたら、一瞬で強制終了させられた。おまけの発見もあって、理由が1文字も表示されない。黙って死ぬので、知らないと原因にたどり着けない。

崩れたのはInstagramの公式窓口は動画のURLを返さないのほう。公式の説明書を読むと、動画のURLは種類を問わず返ると書いてある。返らない条件として挙げられていたのは「著作権のある素材を含む場合」だった。リールには音楽が付いている。動画だから返らなかったのではなく、音楽のせいで外された可能性のほうが高い。記事には追記した。

質問に「〜だと思う」が入っていたら付ける

使いどころの見分け方は、自分の質問文を読み返すことだと思う。

今回のプロンプトには「アクセスが少ないのがいちばんの理由だが」と書いてあった。冒頭に出した例も「アクセスが少ないのが理由だと思う」だ。この「だと思う」の部分は、調べた事実ではなく自分の推測でしかない。それなのに、AIはそこを疑わずに受け取って、その先だけを考えてくれる。しかも返ってくる計画はちゃんとした見た目をしているので、土台が外れていることに気づけない。

だから、質問に「〜が理由だと思う」「〜のはずだから」が入っていたら、そこが検証の対象になる。末尾に一言足すだけで、AIはその部分を先に確かめてくれる。

逆に、原因がはっきりしている作業に付けても得はしない。このボタンが動かない、この関数を直したい、みたいな相談で前提を疑わせても、長い確認が返ってくるだけで時間を食う。今回の報告も、出てくるまでに何十回もデータを読み直していた。

自分は月に何回か、方針を決める前の相談にだけ付けている。数分で終わる質問には付けない。