2.2 解釈可能な手法の分類

機械学習の解釈方法は様々な指標で分類できます。

本質的 (intrinsic) か後付けか (post-hoc) この指標は、解釈性の獲得を、機械学習モデルの複雑度を制限することで行う本質的 (intrinsic)と、モデルを訓練した後に分析することで行う後付け(post-hoc)に分かれます。本質的な解釈は機械学習モデルの単純な構造によるものであり、たとえば、単純な決定木やスパース制約をかけた線形モデルが該当します。後付けの解釈はモデルを学習した後に解釈するための手法です。例えば、Permutation Feature Importance は後付けの解釈方法です。後付けの手法は本質的に解釈可能なモデルに対しても適用できます。例として、Permutation Feature Importance は決定木に適用できます。本書はこの分類方法を用いて本質的に解釈可能なモデルと後付けでモデル非依存の解釈方法の2つの章を設けています。

解釈方法の結果 解釈方法は様々ですが、その結果に応じて大まかに分類可能です。

特徴量の要約統計量: 解釈方法の多くは、特徴量ごとに要約統計量を算出します。特徴量重要度のように特徴量ごとに1つの値を計算するものもあれば、 2項間の相互作用の強さ(pairwise feature interaction strengths)のように特徴量のペアごとに計算するものもあります。
特徴量の視覚的要約: 特徴量の要約統計量は大抵、可視化できます。中には特徴量の Partial dependence のように、解釈に表が適さず、可視化が頼りになるものもあります。 Partial dependence plots は、注目したい特徴量の値と平均的な予測の結果との関係を表します。そのため、Partial dependenceの表現方法は、座標を記載するのではなく、実際に曲線を描くことです。
モデルの内部(例：学習後の重み): 本質的に解釈可能なモデルはこの分類に属し、例えば、線形モデルの重みや学習された木構造 (分割のための特徴量と閾値) があります。特徴量の要約統計量との境界は曖昧で、線形モデルの重みはモデルの本質であると同時に、特徴量の要約統計量でもあります。他にもモデルの中身を出力する方法として、畳み込みニューラルネットワークで検出した特徴を可視化する手法があります。モデルの中身を出力する解釈方法は、本質的にモデル専用の方法です(次項参照)。
データ点: モデルを解釈するために既存の、あるいは新しく作ったデータ点を出力するすべての方法がこのカテゴリに属します。一例としてcounterfactual explanationsを挙げます。ある観測値から得た予測を解釈する時、予測結果（たとえば分類結果）が変わるように特徴量の一部を改変します。他の例として、特定の予測結果を得る典型的な特徴量（prototype）を特定する方法があります。利便性の観点から、新しいデータ点を出力する解釈方法は、データ点そのものの解釈可能性が求められます。この方法は画像やテキストに向いている一方で、何百もの特徴量から成るテーブルデータには向いていません。
本質的に解釈可能なモデル: ブラックボックスなモデルを解釈する1つの方法として、モデルを大局的ないし局所的に解釈可能なモデルで近似してしまう手があります。解釈可能なモデルは、モデル内部のパラメータや特徴量の要約統計量を確認することで解釈が可能です。

モデル専用か汎用か モデル専用の解釈方法は、特定のモデルやクラスに限定されています。線形モデルの重みの解釈はモデル固有の解釈方法であり、定義から、本質的に解釈可能なモデルの解釈方法は常にモデル特有の方法と言えます。例えば、ニュートラルネットワークの解釈のみに使える手法もモデル専用です。モデルに依存しない手法はいかなる機械学習モデルにも適用でき、学習済みモデルにも使えます(post hoc)。これらの汎用手法は、たいてい、入力特徴量と出力の組を分析することで機能します。定義より、これらの手法は重みや構造の情報といったモデル内部へはアクセスできません。

局所的か大局的か 解釈方法が個々の予測を説明するか、モデル全体の挙動を説明するか、はたまたその中間でしょうか。この分類に関しては次節で説明します。