メインコンテンツへスキップ
VEGA開発からの知見
暗黙知の構造化

熟練者の判断を、どうルールにするか

熟練者に判断の基準を聞くと、「この値なら進める」と答えていても、実際には別の情報を見て見送る場合があります。数値の閾値だけをルールにすると、その違いが抜け落ちます。

VEGAの開発では、一件の判断を振り返り、注目した情報、確認の順番、例外、判断を取り消す条件を聞く作業を行ってきました。説明をきれいにまとめるより先に、判断が変わる箇所を確かめます。

設計で決めておくこと

判断の理由だけでなく、その判断を覆す条件を聞く。

01

一件の事例を選び、判断した順番を聞く

一般論を聞くと、整った説明は得られても、実際に判断を分けた情報が見えない場合があります。一件を選び、最初に気になった点、確認した順番、決め手、迷った点を聞きます。

聞き手が先に仮説を示すと、その説明に回答が寄ってしまいます。最初は本人の言葉で話してもらい、解釈はその後に提示して、違っている箇所を確認します。

一件から判断の境界を取り出す質問

  • 最初に、どこが気になったか
  • 何を、どの順番で確認したか
  • 実行・見送りを分けた情報は何か
  • その情報が同じでも、逆の判断になる場合はあるか
  • 何が変わったら、最初の判断を取り消すか

02

例外と失効条件を、ルールの一部にする

「懸念があれば見送る」という説明に、実は「別の条件が満たされていれば検討する」という例外があるかもしれません。単独の指標でなく、条件の組み合わせとして記録します。

採用時の理由がいつ崩れるかも聞きます。VEGAでは、購入時の前提が崩れた場合を出口設計で扱っています。仕入先や案件の審査でも、採用する条件を聞いた後に「どんな変化があれば取り消すか」を確認できます。

成立条件
どの条件がそろえば、その判断を採用するか。
例外
同じ兆候があっても、別の判断をする組み合わせ。
失効条件
採用後、どの変化が起きたら理由が崩れるか。
未解決の部分
本人の確認が取れていない定義や、まだ表現できない感覚。

03

言語化できない部分を、AIの推測で埋めない

本人の発言、聞き手の解釈、観測可能な指標の候補を分けて保存します。「余裕がある」という表現を、本人の確認なしに特定の比率へ変換すると、元の判断とは違う規則になります。

測れる部分から実装し、意味が未確定な部分は保留します。本人の意味確認と、実装がその意味を保っているかの確認も、別々に行います。

04

発見したルールを、そのまま有効性の証拠にしない

結果を知っている過去の事例は、語彙や例外を発見するには役立ちます。一方、その事例に合うように作ったルールが同じ事例を説明できても、将来の判断に役立つ証拠にはなりません。

結果を伏せた別の事例や、ルールを固定した後の観測で確かめます。本人が「意味は合っている」と認めたことと、実際の判断品質が上がったことを分けて評価します。

検証と改善

自己改善するAIの変更を、いつ採用するか

試した変更の中から、たまたま良かった結果だけを選んでいないか。評価条件を先に決め、探索に使っていない事例と、費用や運用の負担も含めて採用を判断します。

読む →
判断と証拠

AIの判断を再現するには、「その時の根拠」を残す

後日同じURLを開いても、判断したときと内容が違うことがあります。公開時点、取得時点、使った内容と設定の版を記録し、当時の判断を確かめられるようにします。

読む →
AI品質管理

出典に基づくAI下書きの作り方

下書きを書く前に出典を集め、使える事実と未確認事項を分けておく。文章中の主張から出典へ戻れる記録の作り方と、公開前に確かめる項目をまとめています。

読む →

自社の業務でAIを使うには

対象の業務と使えるデータを確認し、AIに任せる処理、人が判断する場面、停止後の対応を決めます。設計から実装、検証までご相談ください。