Chapter 7 ニューラルネットワークの解釈

This chapter is currently only available in this web version. ebook and print will follow.

この章は、ニューラルネットワークの解釈方法に重点を当てていきます。 この方法によって、ニューラルネットワークによって学習された特徴や概念が可視化され、個々の予測が説明され、ニューラルネットワークが単純化されます。

深層学習は様々な領域、特に、画像分類や言語翻訳といった画像やテキストに関連する領域で成功してきました。 この深層学習のサクセスストーリーは2012年、the ImageNet image classification challenge 65において深層学習によるアプローチが勝利を収めた時から始まっています。 それから、深層学習の構造のカンブリアン爆発が起こり、トレンドはより深い構造、より多くのハイパーパラメーターを持つものへと向かって行っています。

ニューラルネットワークで予測をするために、入力データは学習された重みによる何層もの乗算と非線形変換を通ります。 ニューラルネットワークの構造によっては、1つの予測に何百万もの数学的演算を必要とすることがあります。 われわれ人間が入力データから予測への正確なマッピングをたどることは不可能です。 ニューラルネットワークによる予測を理解するためには、複雑な方法で相互作用する何百万もの重みについて考慮する必要があるでしょう。 ニューラルネットワークの挙動や予測を理解するためには、それ相応の解釈方法が必要です。 この章は、読者が convolutional neural network 含む深層学習についての知識を有していることを前提としています。

確かに local models や partial dependence plots といったモデル非依存の手法を用いることは可能ですが、ニューラルネットワークに対して特別な解釈方法を考えるのが合理的である理由が2つあります。 1つ目は、ニューラルネットワークは隠れ層で特徴や概念を学習するので、それらを明らかにするツールが必要になるためです。 2つ目は、モデルを"外側から"見るモデル非依存の手法 よりも効率的な解釈方法を実装するために、勾配が利用できるためです。 また、この本のほとんどの方法が表形式のデータに対するモデルの解釈を意図しています。 画像やテキストデータには違った方法が必要となるでしょう。

次の章では、以下のトピックについて取り上げます。

  1. Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause, Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, Alexander C. Berg and Li Fei-Fei. (* = equal contribution) ImageNet Large Scale Visual Recognition Challenge. IJCV, 2015↩