メインコンテンツへスキップ
VEGA開発からの知見
AI開発と独立レビュー

AI同士のレビューを、根拠のある改善につなげる

別のAIにレビューを頼むとき、最初に決めたいのは「何を確認してほしいか」です。作者の説明を読むだけなのか、実際にコードを動かし、異なる入力や失敗条件を試すのかで、得られる指摘は変わります。

VEGAではClaude CodeとCodexを使い、実装、独立レビュー、統合の判定、引き継ぎの方法を整えてきました。重大な問題を見逃さず、実害のない指摘で修正を繰り返さないために、指摘の根拠と採用基準を決める必要がありました。

設計で決めておくこと

レビューの指摘には、失敗する条件、影響を受ける業務、確認した版を添える。

01

実装、レビュー、判定の役割を分ける

作者は、自分が何を意図したかを知っているため、意図どおりに読む傾向があります。レビューでは、処理の仕様、入力、制約をもとに、作者の説明とは独立して結果を確認します。想定外の使い方や、一部の処理だけが失敗する場面も試します。

異なるモデルを使うことは視点を増やす方法の一つです。ただし、同じ資料の誤りや同じ評価条件を共有していれば、結論も偏ります。一次資料、再現例、実行結果を判断の根拠にします。

作者
変更の目的、対象、検証結果、残る制約を提示する。
レビュー
契約と実際の振る舞いから、反例や失敗を確認する。
判定
指摘と修正の根拠を確認し、次へ進める条件を決める。
引き継ぎ
対象の版、完了したこと、未完了のこと、次の入口を残す。

02

「気になる」を、再現できる指摘へ変える

有用な指摘は、どの入力や操作で、どの利用者の、どの結果が壊れるかを示します。因果関係と根拠がない重大度ラベルだけでは、修正の優先順位を決められません。

資金や権限、顧客への誤情報、復旧できない状態を生む問題は重く扱います。一方、書式の違いや古い資料の不一致は、現在の処理へどう影響するかを確かめて分類します。

指摘に必要な判断材料

  • 問題が起きる入力や操作
  • 影響を受ける利用者と業務
  • 期待する結果と、実際に起きる結果
  • 問題につながる処理と根拠
  • 再現方法または実環境での観測
  • 修正後に何を確認すれば解消といえるか

03

合格した版と、取り入れる版を一致させる

レビュー後にコードが変われば、前の合格がそのまま有効とは限りません。対象のコミット、比較元、変更ファイル、検証結果を結び付け、採用する版を確認します。

複数のAIが同じ領域を扱う場合は、書き手と作業範囲を明確にします。レビュー役が修正まで始めたり、引き継ぎの途中で別の書き手が動いたりすると、確認した変更が何だったか分からなくなります。

04

変更の影響に合わせて、レビューを収束させる

すべての変更で過去の全資料や全テストをやり直すと、費用と待ち時間が増えます。変更が影響する処理や、守るべき仕様、再現済みの問題から、必要な確認を選びます。

指摘が増え続ける場合は、今回の変更に関係する問題と、まだ解消していない実害を確認します。判断材料が足りない項目は保留し、依存しない作業は進めます。修正後の確認を終えた項目まで、新しい根拠なく毎回調べ直す必要はありません。

検証と改善

自己改善するAIの変更を、いつ採用するか

試した変更の中から、たまたま良かった結果だけを選んでいないか。評価条件を先に決め、探索に使っていない事例と、費用や運用の負担も含めて採用を判断します。

読む →
移行と継続運用

大きなシステムを移すとき、守るのは既存の振る舞い

コードを書き換えた後も、既存の設定や途中の処理を引き継げるか。同じ入力で新旧の結果を比べ、配備先の確認と定期実行まで、移行の段階ごとに確かめます。

読む →
AIシステム設計

AIの推論と、実行の権限を分ける

AIが操作を提案してから実行するまでに、対象、上限、許可を確かめる。提案の評価、実行時の条件確認、相手側での完了確認を分ける設計を紹介します。

読む →

自社の業務でAIを使うには

対象の業務と使えるデータを確認し、AIに任せる処理、人が判断する場面、停止後の対応を決めます。設計から実装、検証までご相談ください。