Xavier Initialization | Abstract 第3文
Our objective here is to understand better why standard gradient descent from random initialization is doing so poorly with deep neural networks, to better understand these recent relative successes and help design better algorithms in the future.
Xavier Glorot and Yoshua Bengio, "Understanding the difficulty of training deep feedforward neural networks"
ディープラーニングの初期値の設定において、sigmoidやtanhのような左右対称で中央付近で線形関数として見なせる活性化関数に適しているとされているXavierの初期値に関する論文の"Understanding the difficulty of training deep feedforward neural networks"のAbstractの第3文について、英語リーディング教本
「我々のここでの目的は、なぜ無作為な初期化からの標準的な勾配降下が深いニューラルネットワークに対してうまくいっていないのかをよりよく理解すること、これらの最近の相対的な成功のより良い理解をすること、そして将来においてアルゴリズムをより良く設計するのに役立てることである。」
hereは副詞です。「[名詞の後に用いて] ここにいる[ある], この.」の用法で使われています。
ジーニアス英和大辞典によると、「名詞の後に置いて形容詞的に使うことができる」と解説があります。この解説に従うと、hereは直後の動詞のisを修飾しているのではなく、形容詞的に直前の名詞のobjectiveを修飾していることになります。
つまり、Frame of Referenceでは、「副詞の働きは、動詞修飾・形容詞修飾・他の副詞修飾・文修飾」というルールがありますので、この文のhereは例外的な用法です。そのため、<F.o.R.だけではうまく解釈できない可能性のある英文>のタグを付けました。
ただし、細かく品詞分解するとこのような問題に直面するものの、普通に文の内容を理解するにはあまり支障がないところではあると思います。
主節の述語動詞であるisの補語は、
- to understand
- to (better) understand
- (省略されているto) help
です。helpの直前のandは等位接続詞で、それらを繋いでいます。それぞれ、不定詞名詞用法で、前の働きは名詞でisの補語です。
whyからnetworksまでは名詞節です。whyは関係副詞です。これは、先行詞が省略された関係副詞は名詞節を作ると言われる現象に該当します。whyの場合は、the reasonという先行詞が省略されています。名詞節の内側でのwhyの働きは副詞で、is doingを修飾しています。
is doingは進行形です。doは自動詞で「うまくいく」の意味で用いられています。
英語「do」の意味・使い方・読み方 | Weblio英和辞書
helpは他動詞で、「〔+to do / +原形〕〈ものが〉〈…するのに〉役に立つ，助けとなる 」の用法で使用されています。helpの直後のdesignは動詞の原形です。designは準動詞であり、前の働きはhelpの目的語で、後ろの働きは他動詞です。
英語「help」の意味・使い方・読み方 | Weblio英和辞書
Xavierの初期値については、下記の書籍にて詳しく解説されています。
薬袋善郎先生の公式ウェブサイト
