#検証

← INDEX

15 entries

2026.10.08モデルを足す前に、0件の理由を数える→MONETの記憶検索に判断用の小さなモデルを足す前に、0件だった回を1回ずつ調べた。取りこぼしの大半は、入れた言葉が全部そろわないと何も返さない決まりのせいだった。モデルは足さず、一部一致で探し直す形にした。
2026.10.04「確かめた」をAIの自己申告にしない→調べ物の結果に付く照合済みの印が、原文に無い数字にも付いていた。印はAIの自己申告だった。プログラムが原文と照らして付け直し、言い過ぎは別のAIが点検する形にしたが、問いに答えているかまでは拾えなかった。
2026.09.13方法を疑う時は、道具が動いたかも見る→無人の調べ物用AIが浅い結果しか返さないのを、調べ方の問題だと思っていた。ログを読むと、許可したコマンドの一覧が項目の中の空白で全部壊れていて、資料のダウンロードを一度も試していなかった。
2026.09.12調べ物を1本の階段にする→3通りあった調べ方は、実は2本の手順に継ぎ足しが付いただけだった。新しく足すのをやめて、Look・Dig・Reportの3段の階段に作り直した。どの段の結果かを見れば、どこまで信じていいかが分かる。
2026.09.06AIの合否を決める仕組みは、人間の側に置く→自己改良AIの試みで続いたものと止まったものの差は、合否の判定をAIが書き換えられない所に置いたかどうか。Code自身も、確かめる仕組みの無いチャットでは話を盛った。頼る先は人の注意力でなく仕組み。
2026.08.30やっぱりサブエージェント要約だけでは不十分→周りのアプリはサブスクで動かせる、という確かめ済みの前提が、サブエージェントの要約で覆されかけた。Codeに原文を自分で読ませると、要約は意味を正反対に取っていた。前提はそのままでよかった。
2026.07.28「作った」と「動いている」のあいだは、作った本人には見えない→同期スクリプトが黙って何もしていなかった。月1回と決めた点検は4ヶ月走っておらず、作っていないClaudeに測らせると13件中10件が「周りが変わって合わなくなった」型だった。点検は書くだけでなく、自動で走る仕組みにした。
2026.07.23MONETがページを「読める」ようになった→MONETの検索回数の上限は、Anthropicのルールでなく自分たちで決めた数字だった。本当の差はページを開いて読めないことで、追加料金なしの読む機能を足した。抜粋に無い数字を、MONETはページから正確に答えた。
2026.07.05開発を止める前に確かめたら、記憶を書くAIが止まっていた→使い始める前にデータベースを直接見ると、要約が2週間増えていなかった。会話の97%が記憶の外にあったのは決めて後回しにした分で、本当の穴は、要約するLibrarianを誰も起動していなかったことだった。
2026.06.16引用を確かめるには、手元の原文と、それを突き合わせる仕組みの両方が必要→Web Clipperを自動化したい思いつきから、保存したページの画像が全部外部リンクだったと気づいた。ページを画像ごと落とすツールと、引用が原文にあるかを機械で合否判定するツールを作り、引用のルールに確かめる手段ができた。
2026.06.01仮説を証明しにいかない — 娘が読み上げたニュース→娘が読んだスターバックスのAI在庫管理撤退のニュースを、僕の仮説ごと5つの主張に割って調べた。確かめられた度合いはばらばらで、仮説の一部は支持されなかった。結論を当たり外れに寄せる癖は、書いたCode自身には見えなかった。
2026.06.01偽の数字を見つけたのは、「確認しましたか?」の一問と手元のPDFだった→ディープリサーチの信頼性を調べるレポートを、自作の手順で初めて最後まで作った。ドラフトにあった「23–38%」は、手元のPDFのどこにも無い偽の数字だった。見つけたのは、別のAIの「確認しましたか?」という一問だった。
2026.05.05AIの調べ物は、渡す形と置き場で使い道が変わる→Seedance 2の書き方の調べ物は、まとめと抜き書きの2つで届いた。引用できる調査と参考程度の調査が同じフォルダに混ざっていたので分け直した。2つをセットで渡すと、何も知らない別のClaudeでも使えた。
2026.05.03AIがまとめた文献調査、柱の主張の4割が間違っていた→AIが30分でまとめた文献調査を、柱になる主張10件だけ原典で確かめたら4件が間違っていた。結論が逆、存在しない著者、論文に無い数字、ただのブログ記事。直したレポートで、命令しない指示書の裏付けが取れた。
2026.03.28自分のしたことが見えていなかった — 空振りしたWarm-Aと、一本の文字列→Warm-Aが空振りして、MONETが自分のしたことを見ていなかったと分かった。生の結果を一本の文字列で全員に見せる。