Codexのトークン消費、Vaultの情報量は主因ではなかった話

漫画1冊分の画像をCodexを使った画像生成フローで1コマずつ生成させたところ、トークン消費が積み上がっていく問題に直面しています。前回の記事では、応急処置として指示文を5行以内に短縮してみたものの、効果は限定的だったことを紹介しました。今回はその続きとして、次に疑った仮説とその実測検証の記録をまとめます。この記事では、4つの条件をどう切り分けたかと、その結果からVault読み込みを主因ではないと判断した理由を紹介します。

次に疑ったのは「Vaultの読み込み量」

指示文の長さだけでは説明がつかないとなると、他に原因があるはずです。ここで疑ったのが、Codexとのセッションのたびに読み込ませているVault(第二の脳)の存在でした。オーナー情報・運用ルール・過去の修正指示などをMarkdownで蓄積しており、セッション開始時にこれを読み込む設計にしています。

「この読み込み量が積み重なって、画像生成のたびにトークンを圧迫しているのではないか」という仮説は、指示文短縮よりもよほど有力に思えました。

長い設定ファイルの読み込みとトークン消費の関係をイメージした図解

検証方法:4パターンで比較

体感ベースだった前回の反省を踏まえ、今回は条件を分けて実測することにしました。組み合わせたのは次の2軸です。

軸①:隔離環境の有無

作業環境を隔離した状態と、通常の環境とで比較しました。

軸②:Vaultの既読・未読

セッション開始時にVaultを読み込ませた状態と、読み込ませない状態とで比較しました。

検証した4パターン

  • 隔離環境あり・Vault未読(最小構成)
  • 隔離環境あり・Vault既読
  • 隔離環境なし・Vault未読
  • 隔離環境なし・Vault既読(実際の日次運用に一番近い状態)

同じ枚数の画像を生成させ、それぞれのトークン消費を比較しました。

実際の結果・体験談

結論から言うと、Vaultを読み込んだかどうかによる差はあったものの、全体のトークン消費と比べると小さく、今回の測定だけでは主因とは判断できませんでした。

Vault既読のパターンでは未読のパターンに比べて多少の上乗せは確認できましたが、それは「毎回の画像生成コストが膨らんでいく」という実際の体感を説明できるほどの大きさではありませんでした。

隔離環境の有無についても、想定していたほど大きな差にはなりませんでした。

一番の本命だと考えていた仮説だっただけに、この結果は正直、拍子抜けするものでした。「読み込む情報量が多いから重くなっているはず」という直感は、少なくとも今回の実測範囲では裏付けられなかったことになります。

よくある質問(FAQ)

Q. Vaultを読み込むこと自体は無駄だったのでしょうか?

A. 今回の検証は「トークン消費の主因かどうか」に限った話です。Vaultの読み込みには、セッションの前提を揃えるという別の役割があるため、それ自体を無駄と判断したわけではありません。

Q. 隔離環境を使う意味はなかったのでしょうか?

A. 今回の実測では大きな差は出ませんでしたが、環境を分離すること自体には他の意図(作業の切り分けなど)もあるため、一概に不要とは言えません。

Q. 次はどこを検証するのですか?

A. システムプロンプト自体にかかる固定費と、画像生成でやり取りされるbase64形式の入出力を疑い、検証しました。詳細は次回の記事で紹介します。

まとめ

指示文の長さに続き、Vaultの読み込み量を疑って実測しましたが、こちらも消費増を説明できるほどの主因ではありませんでした。次回は、システムプロンプトの固定費と画像のbase64入出力という仮説を検証し、実際の真因にたどり着いた話を紹介します。

Xでフォローしよう

おすすめの記事