2.6 人間に優しい説明

私たち人間にとっての「良い」説明についてや、解釈可能な機械学習との密接な関係についてさらに深く掘り下げてみましょう。 それには人文科学が参考になるでしょう。

Miller(2017) は、説明についての出版物に対して、膨大な調査をしました。この章はその要約に基づいています。

この章では、以下のことを説明します。 ある出来事の説明として、人間はその出来事が起こらなかったであろう状況と対比するような、1つか2つの要因でできた端的な説明を好みます。 特に、異常の原因は良い説明となります。 説明は、説明する人と説明を受ける人の間の社会的な相互作用なので、社会的な文脈は実際の説明の内容に大きな影響を与えます。

特定の予測や行動に対して全ての要因を用いた説明をする必要がある場合は、人間に分かりやすい説明が求められている時ではなく、完全な因果関係が求められる場合です。 例えば、機械学習モデルをデバッグする場合や、特徴量の全ての影響を特定することが法的に求められている場合、おそらく因果属性が必要になるでしょう。このような場合は、以下のことは無視してください。そうでない場合、つまり一般の人々や時間のない人々へ説明する場合、次のセクションはきっと興味深いものとなります。

2.6.1 説明とはなにか

説明とは原因を問う疑問への解答です。(Miller 2017)

  • どうして治療が患者に効かなかったのか？
  • どうして私のローン申請は却下されたのか？
  • どうして私たちはまだエイリアンからコンタクトを受けていないのか？

はじめの２つの疑問は「日常」の説明で答えることができる一方、３つ目の疑問は、より一般的な科学現象と哲学的疑問のカテゴリーから生じています。 ここでは、解釈可能な機械学習に関係している「日常」タイプの質問に絞って考えます。 「どのように」で始まる疑問は、「なぜ」で始まる疑問に言い換えることができます。 例えば、「どのように私のローン申請は却下されましたか？は「なぜ私のローン申請は却下されたのですか？」に変換できます。

以降では、「説明」という用語は説明の社会的、及び認知的なプロセスだけでなく、これらのプロセスの産物も含まれます。 説明をする人は、人間の場合も機械の場合もありえます。

2.6.2 よい説明とは何か?

このセクションでは、「良い」説明に関する Miller の要約をさらに凝縮し、解釈可能な機械学習に対する具体的な意味を付け加えます。

説明は対照的です(Lipton 19909)。 人間は普段、ある予測をした理由について尋ねませんが、その予測が他の予測の代わりにされた理由を尋ねます。 私たち人間は、事実に反する事例、つまり「もし入力Xが違っていたら、予測はどうなっていたか」を考える傾向があります。 例えば、住宅価格の予測については、住宅所有者は予測価格が予想よりも高かった場合、その理由に興味があるでしょう。 もしローン申請が却下されたなら、却下の原因に対する一般論ではなく、自分がローンを獲得するために変える必要がある申請の要素に興味があるでしょう。 ただ単に、却下された申請と、おそらく通るであろう申請の違いについて知りたいのです。 こうした対照的な説明が重要であるという認識は、説明可能な機械学習にとっても重要な発見です。 ほとんどの解釈可能なモデルは、１つのデータに対する予測と、人工的なデータもしくはデータの平均に対する予測とを暗黙的に対比する説明をするが出来ます。 医師は、「どうして薬は患者に効かなかったのか」と尋ねるかもしれません。 この場合は、医師が必要とするのは、薬が効いた患者と、似た状況で薬が効かなかった患者との比較による説明です。 比較による説明は完全な説明よりも理解が簡単です。 なぜ薬が効かないのかという医師の質問への完全な説明には次のようなものがあります。 「患者は10年間この病気にかかっていて、11の遺伝子が過剰発現しているため、体内で薬が非常に素早く効果のない化学物質に分解してしまい...」というように、比較による説明は、より簡潔です。 「薬の効く患者と対照的に、薬の効かない患者は薬の効果を下げる特定の遺伝子の組み合わせを持っています。」 最良の説明というのは、興味のある対象と、参照する対象の最も大きな違いを強調できるものです。

解釈可能な機械学習の意味: 人間は予測についての完璧な説明は求めませんが、違いが何であったかを他のインスタンスの予測（これは人工的でもかまいません）と比較したいと考えます。 対照的な説明をするには、比較のためのデータ点が必要となるため、アプリケーションに依存します。また、これは説明されるデータ点だけでなく、説明を受けるユーザーにも依存する可能性があります。 対照的な説明を自動的に生み出すための手法として、データ内にプロトタイプ、または、典型を見つける方法もあります。

説明は選択的です。

人々は、イベントの原因の完全なリストを網羅するような説明は期待していません。 むしろ人間は、考慮され得る様々な原因から1つまたは2つを説明として選択することに慣れています。 その証拠として、テレビニュースを考えてください。 「株価の下落は、最新のソフトウェアアップデートの問題によって同社の製品に対する反発が高まっていることが原因です。」 「Tsubasa と彼のチームはディフェンスが弱かったので試合に負けました。対戦相手が戦略を実行する余地を与え過ぎたのです。」 「国立機関と政府に対する不信の高まりが原因で、投票率が下落しました。」 ある出来事がさまざまな原因で説明できることを羅生門効果と呼びます。 羅生門は、武士の死について別の矛盾した物語（説明）を伝える日本の映画です。 機械学習モデルの場合、別の特徴量を用いたとしても適切な予測ができれば有利です。 異なる特徴（異なる説明）を持つ複数のモデルを組み合わせるアンサンブル学習は、これらの「物語」を平均化してよりロバストかつ正確に予測するため、ほとんどの場合で性能が よくなります。しかし、それは特定の予測が行われた理由の説明となる選択肢が複数あることも意味してます。

解釈可能な機械学習に対する意味： 世界がより複雑であっても、1つから3つの理由だけを用いて端的な説明をしてください。 LIME という手法を用いると、上記のことができます。

説明は社会的です。 説明は説明する人と説明を受ける人との会話や相互作用の一部です。 社会的な文脈が説明の内容と性質を決定します。 デジタル暗号通貨がなぜそれほど価値があるのか​​を技術者に説明したい場合、次のように説明するでしょう： 「中央のエンティティでは制御できない非中央集権的な分散型ブロックチェーンを基盤とした台帳は、富を安全に保持したい人々の共感を呼んでいます。これによって、需要と価格が高くなるのです。」 しかし、祖母に説明する場合には： 「ほら、おばあちゃん：暗号通貨はコンピューター上の金のようなものなんだ。みんな金が好きで、金のためにお金を払うけれど、若い人はコンピュータ上の金が好きでお金を払っているんだ。」

解釈可能な機械学習に対する意味： 機械学習アプリケーションの社会的な位置付けと対象とする利用者に注意を払ってください。 機械学習モデルの社会的な部分を正しく把握することは、アプリケーションに完全に依存します。 人文科学の専門家（心理学者や社会学者など）を見つけて支援を受けてください。

異常に焦点を当てた説明 人々は出来事を説明するために、より正常でない原因に焦点を当てます (Kahnemann and Tversky, 198110)。 これらは、確率が低いにも関わらず発生してしまった原因です。 これらの正常でない原因を排除することで、結果は大きく変わるでしょう（反事実的説明）。 人々はこれらの「異常な」原因を良い説明とみなします。 Štrumbelj と Kononenko (2011)11の次のような例があります： 先生と生徒間のテストに関するデータセットがあると仮定します。 生徒は授業に出席し、プレゼンテーションに成功するとその授業に合格できます。 先生は、生徒の知識をテストする試験を追加で行う選択肢があります。 これら試験の質問に答えられない生徒はその授業に落第します。 生徒はさまざまなレベルで準備できます。これは、先生の試験に正しく答えるための様々な確率へと変換できます（テストを実施する場合）。 生徒が授業に合格するかどうかを予測し、その予測の理由も説明してみましょう。 先生が追加の試験を実施しなければ合格率は100％です。そうでなければ、合格率は生徒の準備レベルと質問に正しく答える結果の確率に依存します。

シナリオ1： 先生は、100回のうち95回というように、常に生徒に対して追加の試験を実施するとしましょう。 （質問の部分に合格する可能性が10％の）勉強しなかった生徒は、幸運な生徒ではなく、正解できない追加の試験を受けます。 なぜ生徒は授業に落第したのでしょうか？ それは、生徒が勉強しなかったからです。

シナリオ2： 先生は、100回のうち2回というように、稀にしか試験を実施しないとしましょう。 試験の勉強をしていない生徒でも、試験が実施される可能性が低いため、授業に合格する可能性が高いと予測されます。 ある生徒は試験の準備をしていないので、10％の確率でしか試験に合格できません。 そして、不運にも、先生は彼が答えられない追加の試験を実施したので、授業に落第しました。 彼はなぜ落第してしまったのでしょうか？ この場合、より適した説明は「先生が生徒に対して試験を実施したから」だと言えます。 先生が試験を実施する可能性は低いので、先生は普通ではない行動をしたと言えます。

解釈可能な機械学習に対する意味： 予測の入力特徴の1つが（カテゴリ特徴のうち、ごく稀なカテゴリなど）何らかの意味で異常であり、その特徴が予測に影響を与えた場合、たとえ他の「正常な」特徴が予測に対して同じ影響を与えたとしても、説明に含めるべきです。 住宅価格予測の例の異常な特徴として、極めて高価な家には2つのバルコニーがあることかもしれません。 2つのバルコニーがあるということが、いくつかの方法で、家の大きさ、良好な近隣住民、または最近リフォームされたことが同じくらい価格差に寄与していることがわかったとしても、異常な特徴である「2つのバルコニー」という特徴は、その家が高価格となっている理由の最良の説明となるでしょう。

説明は真実。 適切な説明は実際に（他の状況で）真実であることを証明します。 しかし気がかりなことに、これは「適切な」説明にとって最も重要な要素ではありません。 例えば、選択性は真実性よりも重要であると考えられます。 たった1つか2つの原因のみによる説明が、関連する原因全てを網羅することはめったにありません。選択性は一部の真実を省略します。 例として、1つか2つの要因だけで株式市場の暴落を引き起こすことはありません。真実としては、何百万もの人々が最終的に暴落を引き起こす行動をとるように影響を与えた何百万もの原因があるのです。

解釈可能な機械学習に対する意味： 説明は出来事をできるだけ正確に説明する必要があります。これは、機械学習において忠実性 (fidelity)と呼ばれることがあります。したがって、2つのバルコニーが家の価格を上げると主張する場合、それは他の家（あるいは少なくとも同じような家）にも当てはまるべきです。 人間にとって、説明の忠実性は、その選択性、対照性、社会的側面ほど重要ではありません。

よい説明は、説明対象者の事前の信念と一貫している。 人間は、自分が信じていることと矛盾する情報を無視する傾向があります。 この効果は確証バイアスと呼ばれます (Nickerson 199812)。 説明はこの種の偏見から免れることができません。 人間は自分の信念と矛盾する説明を軽んじたり無視したりする傾向があります。 信念は人によって異なりますが、政治的世界観など集団に基づくものもあります。

解釈可能な機械学習に対する意味： よい説明は人間が信じていることと一貫しています。 これを機械学習に統合するのは難しく、統合できたとしても、おそらく予測性能を大幅に損なうことになります。 家の大きさが予測価格に与える影響について、我々は家が大きいほど価格が高くなると信じています。 いくつかの家の予測価格に対して、家のサイズがマイナスの影響を与えていたとモデルが示していたとします。 モデルは予測性能を向上させるために、（いくつかの複雑な相互作用の影響によって）このように学習しましたが、この振る舞いは我々が信じていることと強く矛盾しています。 （特徴量が一方向の予測にのみ影響を与えるような）単調性制約を適用するか、この性質を持つ線形モデルなどを使用できます。

適切な説明は一般的でもっともらしいものである 多くの出来事を説明できる原因は非常に一般的であり、よい説明と見なされます。 ただし、これは普通でない原因がよい説明であるという主張と矛盾していることに注意してください。 著者の考えでは、異常な原因による説明は一般的な原因による説明を上回っています。 異常な原因は定義上、特定の文脈や状況において稀なものです。 異常な出来事がない場合、一般的な説明はよい説明であると見なされます。 人間は同時に起こる出来事の確率を誤解する傾向があることを忘れないでください。 （Joeは司書です。彼は恥ずかしがり屋である可能性が高いですか、それとも本を読むのが好きな恥ずかしがり屋である可能性が高いですか？） 「家が大きいのでその価格は高い」というのは分かりやすい例です。これは非常に一般的で、家が高いあるいは安い理由をよく説明しています。

解釈可能な機械学習に対する意味： 一般性は、特徴量のサポートによって簡単に測定できます。これは、説明が適用されるインスタンスの数をインスタンスの総数で割ったものです。

  1. Lipton, Peter. "Contrastive explanation." Royal Institute of Philosophy Supplements 27 (1990): 247-266.↩

  2. Kahneman, Daniel, and Amos Tversky. "The Simulation Heuristic." Stanford Univ CA Dept of Psychology. (1981).↩

  3. Štrumbelj, Erik, and Igor Kononenko. "A general method for visualizing and explaining black-box regression models." In International Conference on Adaptive and Natural Computing Algorithms, 21–30. Springer. (2011).↩

  4. Nickerson, Raymond S. "Confirmation Bias: A ubiquitous phenomenon in many guises." Review of General Psychology 2 (2). Educational Publishing Foundation: 175. (1998).↩