苦手なことを全部AIに渡す — 自分管理システムの構想
チャットボットを一つ作った。今あるのはそれだけ。でも頭の中には、その下にぶら下げるアプリが5つくらいある。
作りたいのはクリエイティブの補助じゃなくて、自分の管理。スケジュール、お金、SNS、返信。僕が苦手で、毎日少しずつ溜まっていくもの。それを全部、窓口一つで渡せる相手が欲しい。
きっかけは去年の11月に出たMCP（Model Context Protocol。AIを外のアプリやデータに繋ぐための共通の規格）。Claude Desktopから外のアプリに手が届くようになった。ネット上はオーケストレーターだのマルチエージェントだの、新しい言葉でいっぱいで、AIにできることの幅がどんどん広がっていくように見えた。僕もその波に乗った。
当時タスク管理に使っていたNotionを繋いでみた。メールも。よくある「エージェントに何でもやらせる」やつ。
で、無事繋がったんだけど、Claudeのトークンの消費が凄まじかった。Notionを読みに行った瞬間に会話の上限が埋まる。じゃあ部分的に読ませようとすると、今度は情報が少なすぎて、何をやってるのか分からなくなる。多すぎるか、少なすぎるか。バランスが取れない。外のアプリと繋ぐたびに同じことが起きた。
Claude Desktopから外を引っ張ってくるのは無理だな、と思った。だったら、チャットボットの方がいい。自分で作れば、何をどれだけ読ませるかをこっちで決められる。
最初は普通のClaude、つまりチャットのClaudeにコードを書いてもらって作ろうとした。うまくいかなかった。僕はコーディングができないので、出てきたコードのどこが悪いのか分からない。直してと言っても直らない。
そこに今年、Claude Codeが出てきた。コーディングしてくれているClaude Code（以降Code）。丸投げしても、チャットのClaudeより一発で全然いいものを作ってくる。正直、Midjourneyを初めて触った時と同じくらいの衝撃だった。まあそれでも、細かいところでバグやミスは出る。そこで企画書を書いた話は、前の記事に書いた通り。
そこからv4くらいまで作り直して、途中から音声も入れた。オープンソースのTTS（文字を読み上げる方）と、Claudeと話す時に使っていたAqua Voiceという文字起こしアプリ。喋ると文字になってClaudeに渡り、返事が声で返ってくる。途中で割り込める機能まで付けた。まさか絵描きの僕がこんな高機能な自作アプリを持てる日が来るとは考えてもいなかった。
作りながら、Codeは別の種類のものだと思うようになった。
ファイルにもフォルダにも触れる。頭の良さ自体はチャットのClaudeと同じなのかもしれない。でも、周りの仕組みが全然違う。頼めば、やる。ちゃんと手を動かして返ってくる。
これがあるなら、外のアプリを繋ぐんじゃなくて、自分でアプリを作ればいい。Notionを読みに行かせて爆発するより、必要な形のアプリを自分用に作って、それをAIに使わせる方が早い。
そこで出てきた構想が、真ん中にオーケストレーター（メインのClaude）を置いて、その下にタスクごとのエージェントアプリをぶら下げる形。僕はオーケストレーターとだけ話す。窓口は一つ。同じことを考えてる人は今たくさんいると思うけど、僕もそこに行き着いた。
軸は二本。自分管理システムと、ComfyUIの操作を効率化するComfyApp（アシストアプリ）。クリエイティブ側とそれ以外で分けて作る。
ぶら下げたいアプリを書き出すと、こうなる。
- タスクとスケジュールの管理
- SNSの自動投稿。僕はSNSが苦手なので、代わりにやってくれる相手
- 代筆。ブログ記事、メール、チャットの返信
- 複数のAIをAPIで引っ張ってきて、ディベートさせてアイデアを出す。検索結果を議論させる、リサーチする。ブレスト用
- お金の管理
とにかく僕の苦手なことをやってくれるエージェントを作りたい。それがこのシステムの動機。
ただ、チャットボットを先に作ってしまったせいで、興味が自分管理システムの方に完全に寄ってしまった。ComfyAppは手つかず。
で、調べれば調べるほど、メモリが一番大きい問題だと分かってきた。
Claudeは覚えてない。覚えられない、というか、非常に限られたことしか覚えていない。しかもつい最近まで、スレッドごとに文字数の上限があって、そこに着いたらもうそのスレッドでは会話できなかった。上限に着いたら終わり、という恐ろしい設定。
先月から、上限が近づくと前の会話を自動で圧縮して、そのまま続けられるようになった。最初はすごいなと思った。でも圧縮された後のClaudeは、話した内容を9割くらい忘れてる。体感で。大事なところが全部抜けて、雑にしか覚えてない。圧縮された瞬間に、全然違うClaudeになってしまう。結局また真っさらなところから説明し直さないと何もできない。続けられても、これだとあまり意味がない。
オーケストレーターが昨日のことを覚えてないなら、窓口を一つにする意味がない。だったら、自分で作った方がいい。メモリを外に作る。LLMのメモリとは何なのか、既存の仕組みには何があるのか。今はそれを調べている。