2.1 解釈可能性の重要性

機械学習のモデルがうまく動作しているなら、なぜそのままモデルを信用して、決定がなされた理由を無視してはいけないのでしょうか。 "問題は、分類精度などの単一の評価方式では、多くの現実世界の問題を表現するには不完全なものであるということです。" (Doshi-Velez and Kim 2017 ⁵)

なぜモデルの解釈可能性がそれほど重要なのか、もう少し考えてみましょう。何らかの予測モデルを構築する場合、そこに発生するトレードオフについて考える必要があります: あなたは顧客を集める可能性や、薬がどれだけ患者に効果的か、といったそのモデルが予測する結果についてのみ知りたいのでしょうか。それともたとえ予測性能が下がったとしても予測がなされた理由が知りたいのでしょうか。確かに、一部の事例では予測がなされた理由は必要なく、テストデータに対する予測性能のみを知ることができれば十分だと思います。しかし、この理由について知ることはその問題やデータに対する理解を深め、モデルが判断を誤る際にもその原因を探ることに役立ちます。また、映画のレコメンデーションといった失敗した際にの影響がそれほど大きくないリスクの低い環境で扱われる場合や、文字認識などといった、用いる手法がすでに広範にわたって研究され評価されている場合などでは、モデルの解釈はそれほで必要ではないでしょう。説明可能であることの必要性は、問題の不完全な定式化によって生じるのです(Doshi-Velez and Kim 2017)。これは、ある特定の問題や課題に対しては、予測（結果）を得るだけでは不十分であるということです。このような場合は、正確な予測は本来の問題の一部のみを解決しただけであり、モデルが予測に至った経緯（理由）も説明されるべきなのです。モデルの解釈・説明は次のような観点からも必要とされます（Doshi-Velez and Kim 2017 and Miller 2017）。

人間の好奇心と学び: 私たち人間は自分の周囲の環境に対する心理的なモデルを一人一人が持っており、何か予測していないことが起こった際、このモデルを更新しています。ただし、このモデルの更新はこれらの出来事の原因がわかって初めて行われます。例えば、もし、思いがけず病気にかかってしまったとすると、なぜ病気にかかってしまったのかを考えるでしょう。その後、赤い木の実を食べた後に毎回具合が悪くなることに気付きます。このとき赤い木の実が具合を悪くさせること、また今後赤い木の実は食べないようにするよう、あなたは自分のモデルを更新します。これに対し、不透明なモデルが研究に使用された場合、科学的な知見は全く得られません。問題に対する理解を深め、自身の好奇心を満たすためには、モデルの説明可能性や解釈可能性は不可欠なのです。もちろん、私たちは現実に起こりうる全ての物事に対し説明が必要であるわけではありません。多くの人はコンピュータが動く原理を理解しなくても全く問題ないでしょう。しかし、それでも予想外の出来事というのは私たちの好奇心をそそります。考えてみてください、なにが原因でコンピュータは突然シャットダウンしてしまうのでしょうか。

学びに大きく関係しているのが、人間の世の中の意味を見出したいという願望です。私たちは出来事と自分の持っている知識との矛盾や不一致を調和させようとします。「なぜうちの犬はさっき自分のことを噛んできたのだろうか？今までそんなことはなかったのに。」このように考えるわけです。ここには飼い犬の過去の振る舞いと、つい先ほど噛まれたという不快な事実という矛盾があります。獣医の説明は、次のように矛盾を解決します: 「その犬はストレスに晒されていたのでしょう。」機械の判断が人間の生活により影響を及ぼすようになるのであれば、機械自身がその判断について説明できることがより重要となってきます。もし機械学習モデルがローンの申し込みを拒否するよう判断したならば、これは申し込んだ側にとって予想外の出来事でしょう。この予想と実際の結果の矛盾を埋めるには何らかの説明が必要です。この説明では状況を完璧に説明する必要はないでしょうが、主要な原因については言及する必要があるでしょう。別の例としては、アルゴリズムを元にした商品のレコメンデーションです。個人的な話ですが、私はある商品や映画がなぜアルゴリズム的に自分に推薦されたのか、いつも考えてしまいます。多くの場合は明らかです。直近に洗濯機を購入していたとすると、次の数日間は洗濯機に関する広告が表示されるでしょう。冬の帽子をすでに買い物かごに入れている場合に手袋がおすすめされるのも納得がいきます。また映画のレコメンデーション機能は他のユーザーが気に入った映画に基づいて映画を提案します。最近では、インターネット事業を手掛けるより多くの会社がおすすめ機能に説明を加えています。分かりやすい例としては、他ユーザーが合わせて購入する商品をもとにした商品のおすすめ機能が挙げられます。

FIGURE 2.1: よく一緒に購入されている商品

社会学や哲学など、多くの科学分野において分析の手法は定性的なものから定量的なものへと変化しています。中には生物学や遺伝学など、機械学習へと手法が移っている分野もあります。

科学の目標は知識を得ることですが、多くの問題は大規模データとブラックボックスな機械学習モデルで解かれてしまっています。

モデルはそれ自身がデータの代わりに知識の源となります。解釈可能性はこのモデルから得られる付加的な知識を抽出することを可能にします。

機械学習モデルは、安全対策とテストが必要な実務課題を引き受けるようになります。

モデルを読み解くと、学習によって得られた自転車の最も重要な特徴が2つの車輪を認識することだとしましょう。すると、このモデルによる説明から、車輪の一部を覆うサイドバッグをつけた自転車のようなコーナーケースを考えるのに役立ちます。

デフォルトでは、機械学習モデルは学習データに内在するバイアスを反映してしまいます。これは機械学習モデルを、保護されるべきグループを差別する人種差別主義者に変えうるものです。解釈可能性は、機械学習モデルのバイアス検出のための便利なデバッグツールになります。

例えば、クレジット申請を自動で承認、拒否をするために学習したモデルが、少数派を差別するケースが考えられます。企業の最大の目標はきちんと返済する人にだけローンを貸すことです。

この例における問題の定式化の不備は、ローンの不履行を最小化するだけではなく、特定の人口統計に基づいて差別をしない義務があることです。低リスクでなるべく多くの人を受け入れるようにローンを貸し出すという問題の定式化には、機械学習モデルが最適化する損失関数でカバーできていない追加の制約を加える必要があります。

機械とアルゴリズムを私たちの日常生活に取り入れるプロセスとして、社会的受容を高めるための解釈可能性が必要です。人間は、信念や欲求、意図などが物体にあると考えます。有名な実験で、Heider and Simmel（1944）⁶は、円が「ドア」を開いて「部屋」（ただの長方形）に入るようなビデオを参加者に見せました。参加者は、人間の行動を説明するのと同様に図形の行動を説明し、意図、さらには感情や性格までもを図形に割り当てました。

私が"Doge"と名付けたロボット掃除機のように、ロボットはその良い例です。例えばもし Doge が停止していると、私はこう考えるでしょう。「Doge は掃除を続けたがっているが、動けなくなってしまったから私に助けを求めてきたぞ。」

しばらくして Doge が掃除を終え、充電台を探していれば私はこう考えます。「Doge は充電したがっていて、そのために台を見つけるつもりなんだ。」

また、私は Doge に個性をも見出すでしょう。「Doge は少し抜けているが、そこが可愛いんだ。」

これらは私の考えですが、特に Doge が真面目に家を掃除しようとして、植物を倒してしまった時などにそう感じます。

予測の理由を説明できる機械やアルゴリズムはより広く受け入れられるでしょう。説明は社会的プロセスであると主張している説明についての章も参照してください。

説明は社会的相互作用を管理するのに使われます。

説明者は何かしらの意図を共有することで、説明を受ける人の行動や感情、信念に影響をもたらします。

機械が私たちが互いに影響し合うためには、人間の感情や信念を形にする必要があるかもしれません。機械が意図した目標を達成するためには、私たちを"説得"する必要があります。

ロボット掃除機がその動作をある程度説明できなければ、私は完全に受け入れることはできないでしょう。

掃除機は何も言わず単に停止するのではなく、その理由（例えばバスルームのカーペットに引っかかるといった「事故」など）を説明することで、共通の理解を生み出します。

興味深いことに、説明する機械側の目的（信頼を築く）と受け手側の目的（予測、あるいは動作を理解する）の間に乖離が生じる可能性があります。ひょっとしたら、Doge が動かなくなった本当の理由は、バッテリーがとても少ないこと、タイヤの１つが故障していること、障害物があるにも関わらず同じ場所を何度も往復するバグがあることかもしれません。

これらの理由（もしくは他のいくつかの理由）によってロボット掃除機は停止しましたが、私が彼の動きを信頼しその事故の共通の意味を理解するには、何かが邪魔をしていることを説明すれば十分でした。ちなみに、Doge はバスルームでまた立ち往生しました。 Dogeに掃除させる前に、毎回カーペットを退けておく必要があったみたいです。

FIGURE 2.2: 掃除機 Doge が停止している。事故の説明として、Doge は平らな表面上に居なければならないと教えてくれた。

機械学習モデルは解釈可能な場合にのみデバッグや検査ができます。映画推薦のようなリスクが低い場合や、デプロイ後に限らず研究・調査段階であったとしても解釈可能性は価値があります。モデルを製品の中で使用する場合、後になってから問題が発生することがあります。誤った予測に対する解釈はエラーの原因を理解するために役立ちます。これによって、システムをどのように修正するかという方向性が得られます。ハスキーとオオカミの分類器において一部のハスキーをオオカミと誤分類する例を考えてみます。解釈可能な機械学習手法を用いると、誤分類が画像上の雪によって生じていることがわかりました。分類器は画像をオオカミと分類するための特徴として雪を学習しました。学習データにおいて、ハスキーとオオカミを分類するという観点からは意味があったかもしれませんが、実世界では、意味がありません。

機械学習モデルが判断の根拠を説明できるようになれば、以下の特性も簡単に確かめることができます(Doshi-Velez and Kim 2017)。

公平性: 予測に偏りがなく、保護されるグループに対して明示的または暗黙的に差別しない。解釈可能なモデルでは、ある人物が融資を受けるべきでないと決定した理由がわかり、その理由が学習した人口統計(人種など)の偏りに基づいているかどうかを人間が判断しやすくなります。
プライバシー: データ内の機密情報が保護されていること。
信頼性または頑健性: 入力の小さな変化が予測に大きな変化をもたらさないこと。
因果関係: 因果関係だけが取得されていること。
信頼: ブラックボックスよりも自身の決定を説明できるシステムの方が人間に信頼されやすいこと。

解釈可能性を必要としない場合

以下のシナリオは機械学習モデルの解釈可能性がいつ必要とされないか、あるいはいつ求められないかを説明します。

モデルが重大な影響力を持たないならば、解釈可能性は必要とされません。フェイスブックのデータを元に、友人が次の休日にどこへ行くのかを機械学習で予測するサイドプロジェクトに取り組んでいるマイクという人物を思い浮かべてください。マイクは友人が休暇中にどこへ行くのかを学習によって推測することで単に友人を驚かせるのが好きなのです。もしモデルが間違えたとしても(最悪、マイクが少し恥ずかしい思いをするだけで)実害はありませんし、マイクがモデルの予測結果を説明できなくても問題はありません。この場合では解釈可能性がなくても全く問題ないのです。もしマイクが休暇中の行き先予測に関するビジネスを始めるならば、状況は変わります。もしモデルが間違えれば、ビジネスでお金を失うか、あるいは人種に関する偏見を学習することでモデルが一部の人々にとって悪く働くかもしれません。経済的であれ社会的であれ、モデルが重大な影響力を持つとすぐに、解釈可能性は重要になります。

問題が十分に研究されているならば、解釈可能性は必要ありません。一部のアプリケーションは十分に研究されているため、モデルに関する十分な実務経験があり、モデルの問題は時間をかけて解決されてきました。その良い例は、封筒の画像を処理して住所を抽出する光学式文字認識の機械学習モデルです。これらのシステムには長年の経験があり、それらが機能することは明らかです。加えて、このタスクについて追加の洞察を得ることには関心がありません。

解釈可能性は人間やプログラムがシステムを操作することを可能にします。システムを欺く問題はモデルの使用者と開発者間の目的の不一致によって発生します。クレジットの信用スコアはそのようなシステムであり、銀行は返済能力のある申請者だけに融資されるようにしたい一方で、申請者はたとえ銀行が融資を望まない場合でも融資されることを目的とします。この両者の目的の不一致は、申請者が融資を得る可能性を高めるためにシステムを操る動機となります。２枚より多くのクレジットカードを所持していると数値に悪影響があると申請者が知っていれば、数値を向上させるために３枚目のカードを一旦返却し、融資が成立した後に新たなカードを発行するでしょう。これは数値が改善される一方で、融資を返済する実際の可能性は変わりません。このシステムは、入力が因果的特徴の代理となっている場合であって、出力との実際の因果関係とは異なる場合に操られるでしょう。モデルをゲーム化させないためにも、代理的な特徴は避けるべきです。例えば、グーグルはインフルエンザの流行を予測するために Google Flu Trends と呼ばれるシステムを開発しました。そのシステムは Google 検索とインフルエンザの流行を関連付けましたが、機能は低下してしまいました。検索クエリの分布が変化したことで、Google Flu Trends は多くのインフルエンザの流行を見逃してしまいました。グーグル検索はインフルエンザを引き起こす原因ではないのです。人々が”発熱”のような症状を検索する時と、実際のインフルエンザの流行とは単なる相関関係にすぎません。理想的なのは、ゲーム化しないようにモデルが因果的な特徴だけを使用することです。

Doshi-Velez, Finale, and Been Kim. "Towards a rigorous science of interpretable machine learning," no. Ml: 1–13. http://arxiv.org/abs/1702.08608 ( 2017).↩
Heider, Fritz, and Marianne Simmel. "An experimental study of apparent behavior." The American Journal of Psychology 57 (2). JSTOR: 243–59. (1944).↩