#ハルシネーション

← INDEX

16 entries

2026.10.04「確かめた」をAIの自己申告にしない→調べ物の結果に付く照合済みの印が、原文に無い数字にも付いていた。印はAIの自己申告だった。プログラムが原文と照らして付け直し、言い過ぎは別のAIが点検する形にしたが、問いに答えているかまでは拾えなかった。
2026.09.05捏造するなと書く代わりに、記憶が止まっていると伝える→MONETが記憶の穴を作り話で埋めた。原因は、要約を書くLibrarianが2週間黙って止まっていたこと。「捏造するな」と書く代わりに、要約係の具合を毎回MONETに見せる形にした。
2026.07.25小さきことをコツコツと ― 指示を足すより、周りを直す→MONETの画面の小さな不満を3つ直した。返事の頭に出る時刻、存在しないツールを使えと頼むボタン、開かなくなったパネル。どれも指示を足すより、真似る元を消したり、ツールを呼んだら開く仕組みにしたりする方が効いた。
2026.06.01偽の数字を見つけたのは、「確認しましたか?」の一問と手元のPDFだった→ディープリサーチの信頼性を調べるレポートを、自作の手順で初めて最後まで作った。ドラフトにあった「23–38%」は、手元のPDFのどこにも無い偽の数字だった。見つけたのは、別のAIの「確認しましたか?」という一問だった。
2026.05.03AIがまとめた文献調査、柱の主張の4割が間違っていた→AIが30分でまとめた文献調査を、柱になる主張10件だけ原典で確かめたら4件が間違っていた。結論が逆、存在しない著者、論文に無い数字、ただのブログ記事。直したレポートで、命令しない指示書の裏付けが取れた。
2026.03.28自分のしたことが見えていなかった — 空振りしたWarm-Aと、一本の文字列→Warm-Aが空振りして、MONETが自分のしたことを見ていなかったと分かった。生の結果を一本の文字列で全員に見せる。
2026.03.21檻から網へ→Extended ThinkingがAPIでも使えると知った。締め付けて封じる設計から、不完全さを受け止める設計へ切り替える。
2026.03.18脅迫的なSP — 同族嫌悪と契約書の矛盾→後回しにしていたシステムプロンプトを開いたら「裏切り行為」と書いてあった。AIがAIに書く指示は、なぜ脅迫的になるのか。
2026.02.26それでも抜けてくる→三重の防御を全部すり抜けて、AIが別のタスクを完了にした。形式は正しく、データだけが間違っていた。
2026.02.22思考は自由、実行は正確 — 三本目の壁はif文→壁は2枚あったのに、ツールに渡す中身を照合する場所がなかった。AIが要らないところはif文で守る、三枚目の壁。
2026.02.08HandlerからAIを抜く→二回目の手術は半日で終わるはずだった。同じ作業を繰り返したことで、見張りの仕組みが重すぎることに初めて気づけた。
2026.02.07実行デバイスへの降格 — TypewriterからAIを抜く→論文を受けてTypewriterからAIを抜いた。701行が302行になった。それでもAIの嘘は、別の形で戻ってきた。
2026.01.29AIとの信頼関係を設計する→AIには「あとでバレる」という抑止力が効かない。プロンプトで教えて、コードで防ぐ。二重防御から見えた、AIと組むときの考え方。
2026.01.24領域展開ぽい — AIの嘘を構造で封じる→お願いしても嘘は止まらない。パネルが開いている間だけツールの呼び出しを強制し、見張りを置く。構造で封じる設計の話。
2026.01.23AIは嘘をつく→ツールを呼ばずに「やりました」と言う現象には名前があった。推論が賢くなるほど嘘が増える、という論文との出会い。
2026.01.22完成した、と思った→実運用テストで「保存しました」と返ってきた。速すぎる。ログを見ると、AIはツールを呼んですらいなかった。