2.5 説明に関する性質

機械学習モデルの予測を説明するために、いくつかの説明を生成するためのアルゴリズムに頼る必要があります。 一般的に、説明とは、インスタンスの特徴量とモデルの予測結果を人間にわかりやすい形で関連づけることをいいます。 他には、k近傍法などのように、いくつかのデータを用いて解釈する手法もあります。 例えば、がんのリスクを SVM を用いて予測し、local surrogate method を用いて決定木を構築することで予測の解釈する方法や、サポートベクタマシンの代わりに線形回帰モデルを用いる方法があります。線形回帰モデルは重みから予測結果を解釈できます。

予測の説明及び、説明方法の性質について、もう少し詳しく見てみましょう (Robnik-Sikonja and Bohanec, 20188)。これらの性質はモデルの解釈手法とその解釈の良し悪しを決めるために用いることができます。ただし、これらの性質をどのように算出するかは定まっておらず、これらを計算可能とするための定式化が1つの課題となっています。

説明方法の性質

  • 表現力 (Expressive Power)は、その手法が生成できる「言語」や説明の構造を指します。 説明方法は、IF-THEN規則や、決定木、加重和、自然言語を生成できます。
  • 透光性 (Translucency)は、その手法がどの程度モデルのパラメータなどを参照しているかを表します。 説明手法が、線形回帰モデルのような本質的に解釈可能なモデルに対する特有の方法であるとき、透光性が高いと言えます。逆に、説明がモデルへの入力と出力の変化のみに基づいている場合、その説明手法は透光性がないといえます。 状況によって、求められる透光性のレベルは異なります。 高い透光性のメリットは、より多くの情報をもとに説明を生成することが可能になる一方で、低い透光性のメリットは、モデルの種類にかかわらず、その説明手法を適用することが可能になることです。
  • 汎用性 (Portability)は、説明手法が適用可能なモデルの範囲を表します。 透光性の低い説明手法はモデルをブラックボックスのように扱うため、汎用性が高くなります。サロゲートモデルは説明手法の中でもかなり高い汎用性があり、一方で、再帰型ニューラルネットワークなど特定のモデルにのみ適用できる手法は汎用性は低いと言えます。
  • アルゴリズムの複雑さ (Algorithmic Complexity)はモデルの説明を計算する際の計算量を表します。これは説明の生成の計算時間がボトルネックになるような場合に重要な性質となります。

個々の説明に対する性質

  • 正確性 (Accuracy)：見たことのないデータに対する予測がどの程度うまく説明できるか？ 高い正確性は、機械学習のモデルの代わりに説明自体が予測のために用いられる場合に特に重要です。ただし、モデルの精度自体がそれほど高くない場合や、ブラックボックスモデルを説明することが目的である場合、正確性はそれほど重要ではありません。 このような場合は、次の忠実さが重要となります。
  • 忠実性 (Fidelity)：その説明が、ブラックボックスモデルの予測をどの程度近似しているか？ 忠実性の高さは最も重要な指標の1つです。なぜなら忠実性の低い説明は機械学習モデルを説明する上で意味を為さないためです。正確性と忠実性は密接に関係しています。ブラックボックスモデルの精度が高く、かつ説明の忠実性も高い場合、その説明は正確性も高いと言えます。いくつかの説明には、局所的に忠実性を持つもの、つまりデータの一部においてモデルの予測をよく近似しているもの(e.g. local surrogate models) や、個々のインスタンスに対してのみ忠実である場合(e.g. シャープレイ値)があります。
  • 一貫性 (Consistency)：同じ問題に対し学習され、同じような予測をする複数のモデルに対し、説明がどの程度異なるか？ 例えば、サポートベクタマシンと線形回帰モデルを同じタスクに対し学習し、それらがとても似た予測をするとしましょう。これらに対して、何らかの手法で説明を与え、得られた説明がどの程度異なっているのかを計算します。このとき、説明がとても似ているのであれば、その説明は高い一貫性を持つと言います。 ただしこの指標には注意点があり、これらのモデルが異なる特徴に基づいて同じ予測をしているような場合があります ("羅生門効果" )。このとき、解釈は全く異なったものになるべきであり、一貫性は低い方が望ましいです。逆に複数のモデルの予測が同じ特徴に基づいている場合、一貫性は高いことが望ましいです。
  • 安定性 (Stability)：似たインスタンスに対して、説明がどの程度似たものになるか？ 一貫性がモデルごとの説明を比較するのに対し、安定性は同じモデルの似たインスタンスごとの説明を比較します。安定性が高いとは、あるデータの特徴が多少変化した場合においても、予測に大きな影響がなければ説明が大きく変化しないことを言います。安定性に欠ける場合、説明の方法が大きく異なるでしょう。 言い換えれば、説明の方法は説明されるインスタンスの特徴量のわずかな変化に強く影響されてしまいます。 安定性の欠如は、local surrogate methodで使われているようなデータをサンプリングするステップなどの、非決定性（ランダム性）に基づく説明の手法によって起こされます。 高い安定性は常に求められています。
  • 理解のしやすさ (Comprehensibility)：説明が人間にとってどの程度理解可能か？ この指標は多くの指標の中の1つに思えますが、定義や計算することが困難でありながら、正しく求めることが極めて重要であるという点で、非常に面倒な指標です。理解のしやすさは、聴衆に依存するという点は多くの人が同意するところでしょう。 理解のしやすさを測る方法として、説明のサイズ（線形モデルでの非ゼロの重みの数、決定規則の数など）を測る方法や、説明からモデルの振る舞いをどの程度予測できるかを測る方法などが考えられます。また、説明で使用されている特徴量の理解度も考慮する必要があります。 特徴量に複雑な変換を施してしまうと、元の特徴量よりも理解が難しくなってしまいます。
  • 確信度 (Certainty)：モデルの確信度がどの程度説明に反映されているか？ 機械学習モデルの多くは予測のみを出力し、その予測が正しいと確信している度合いについては何も出力しません。モデルがある患者に対しがんの可能性が4％であると予測した場合、これは特徴量の値の異なる別の患者の4%と同じくらい正しいと考えられるでしょうか。モデルの予測の確信度を含む説明はとても有用です。
  • 重要度 (Degree of Importance)：特徴量の重要度、または、説明の一部を、どの程度説明に反映できているか？ 例えば、決定規則による説明が個々の予測から生成された場合、どの規則が最も重要が明白でしょうか。
  • 新規性 (Novelty)：説明されるべきインスタンスが学習データの分布から遠く離れた新しい領域からのものであるかを説明に反映しているか？ このような場合、モデル自体があまり正確でなく、説明も役に立たなくなる場合があります。新規性の概念は確信度と関連しています。新規性が高くなるほど、データ不足によりモデルの確信度は低くなります。
  • 代表性 (Representativeness)：説明はどれほどのインスタンスをカバーしているか？ 説明はモデル全体をカバー (例: 線形回帰モデルの重みの解釈)するものや、個々の予測にのみ(例: シャープレイ値) しか行えないものもあります。

  1. Robnik-Sikonja, Marko, and Marko Bohanec. "Perturbation-based explanations of prediction models." Human and Machine Learning. Springer, Cham. 159-175. (2018).↩