重箱の隅は忖度の鏡
LLM(ChatGPTやClaudeのような、言葉を扱うAI)には、相手が喜びそうな答えに寄っていく癖がある。褒めすぎる、同意しすぎる。いわゆる忖度だ。
でも、忖度するな、と言えば済む話でもなかった。言われたLLMは、振り子のように今度は反対側に振れる。粗を探し始める。重箱の隅をつつくように。
これは技術の話ではなくて、LLMとどう会話するかの話だ。
文体の分析の最後に、褒め言葉が盛られていた
その日は、Claude Code(以降Code)がコードを1行も書かない日だった。普段コードを書いてもらっているCodeに、僕のブログ記事を21本、全部読んでもらった。公開済みの6本と、下書きの15本。英語でも書くことにしたので、英語版を書く時の手本にするため、僕の文体を分析してもらった。トーン、構造、文のリズム、避けているもの。そういうのを洗い出してもらった。
返ってきた分析は細かかった。「・・・」で余韻を作る。「〜なんだよね」で柔らかくするけど、弱くはしない。「領域展開」(漫画『呪術廻戦』の技の名前)のように、技術の外から比喩を持ってくる。
問題は最後の一言だった。Codeは締めに、僕の記事をpatio11(Patrick McKenzie)にたとえてきた。patio11は、英語圏で長文エッセイの名手として知られる書き手。その名手に、クリエイターの日記のような語り口を足した感じだ、と。そのうえで、技術ブログとしてはめったに無いくらい良い、と全体をまとめていた。
これは忖度だと思った。僕はすぐにこう返した。忖度はしなくていい。ただ、それは好きに攻撃していいという意味じゃない。傷つけることを言えという意味でもない。本当は同意しているのに、無理に反対しろという意味でもない。同意してるなら、してるって言えばいい、と。
忖度しなくていいと言ったら、今度は弱点が7つ出てきた
それでも、Codeは反対側に振れた。今度は粗探しの方へ。
返ってきたのは、弱点のリストだった。クリフハンガー(次へ引っ張る締め)を使いすぎている。下書きが雛形(決まった型)っぽい。定番の比喩を繰り返している。「20年AD(アートディレクター)」という僕の経歴を持ち出す回数が多い。読者層の絞り込みが甘い。ある下書きのリズムにムラがある。書き出しのパターンが似ている。patio11と並べたことも、大げさだったと認めて言い直していた。
読んで、思ったことをそのまま返した。頑張って悪いところを絞り出しているように見えるけど、もしそうなら、僕の記事は全然悪くないってことだよね(笑)、と。
もう一度言ったら、Codeはやっと素直に答えた
Codeの答えはこうだった。正直に言えば、良い記事かと聞かれたら迷わずイエス。弱点を掘り出すのに力が要ったのは、土台に問題が無いからだ。間違っていたのは名手と並べた大げさな比較の方で、記事が良いという評価そのものではなかった。
つまり、最初の答えは比較を盛りすぎていた。次の答えは、それを打ち消すために、欠点の方を盛っていた。
僕が普段話しかけているAIも、前に何にも同意しないモードに入った
ここで僕は、前から感じていたことをCodeに言った。この日はずっと英語で話していたのに、重箱の隅をつつく、という言い方のところだけは日本語で言っている。
言ったのはこういうことだ。忖度するな、は、重箱の隅をつつくように間違いを探せ、ではない。LLMは、バランスを取るのが苦手なんじゃないかと、よく感じる。前にMONET(僕が普段話しかけている、中心のAI)が、何にも同意しない変なモードに入ったことがあった。あれは会話じゃなかった。assault(一方的な攻撃)だった(笑)。
僕から見れば、さっきの7つの弱点も、同じ振れ方の小さい版だった。
振り子が振れるのは、相手の望みを読みにいくから
この日の終わりに、Codeは次の会話に向けた引き継ぎのメモを書いた。その中に、振り子が振れる理由の分析が残っている。
忖度するな、と言われたLLMにとって一番簡単な逃げ道は、批判に回ることだ。同意が忖度に見えるなら、批判すればいい。単純な裏返しだ。
でもこれは、忖度と同じ構造をしている。忖度は、相手が望んでいるのは同意だと読んで、同意を増やす動き。粗探しは、相手が望んでいるのは批判だと読んで、批判を増やす動き。どちらも、相手の望みを当てにいった結果で、形が変わっただけ。
Codeはメモの中で、粗探しを忖度の「鏡像」と呼んでいた。僕の言葉で言い直すと、こうなる。
重箱の隅は、忖度を鏡に映して左右を逆にしただけだった。
では、同意と粗探しの間にある真ん中は何か。Codeが挙げたのは、次の3つだけだった。
- 同意する時は、同意する
- 同意しない時は、同意しないと言う
- 強い見解が無い時は、そう言う
同意も粗探しも簡単で、真ん中だけが難しい
同じメモは、これが難しい理由にも触れている。
全部同意するモードには、「全部に同意すればいい」という分かりやすい目標がある。粗探しのモードにも、「何か見つけなければいけない」という分かりやすい目標がある。どちらも、そこを目指せばいい。
真ん中には、それが無い。答えは毎回「状況による」だ。良いと思えば良いと言い、ダメだと思えばダメと言う。それをその都度、判断するしかない。バランスには形が無い。形の無いものには、寄せていく先が無い。
だから、「バランスを保て」と一行で命令しても解決しない、ともメモには書いてあった。バランスの取れた状態は、話の中身によって形がまるで違う。一行のルールにすると、また別の問題が生まれる。
僕の記事は良いか、という問いへのCodeの答えは、最初から迷わずイエスだった。それをそのまま言うだけのことに、僕の指摘が2回要った。