Xavier Initialization | Abstract 第4文
We first observe the influence of the non-linear activations functions.
Xavier Glorot and Yoshua Bengio, "Understanding the difficulty of training deep feedforward neural networks"
ディープラーニングの初期値の設定において、sigmoidやtanhのような左右対称で中央付近で線形関数として見なせる活性化関数に適しているとされているXavierの初期値に関する論文の"Understanding the difficulty of training deep feedforward neural networks"のAbstractの第4文について、英語リーディング教本
「我々はまず、非線形の活性化関数の影響を観察する。」
firstは形容詞と副詞の可能性がありますが、ここでは副詞で「まず」の意味です。動詞のobserveを修飾しています。
first とは 意味・読み方・表現 | Weblio英和辞書
non-linearは形容詞です。名詞ではありません。「非線形の」という意味です。名詞の"activations functions"を修飾しています。
non-linear とは 意味・読み方・表現 | Weblio英和辞書
"activations functions"は「名詞+名詞」で一つの名詞として捉えます。活性化関数という意味です。前置詞ofの目的語になっていて、形容詞句として名詞のinfluenceを修飾しています。
なお、複数形+複数形とするのは珍しい表現のようです。wordの文法チェックにも引っかかります。
Google検索で、"activations functions"では約10,300件しかヒットしません。
その一方で、"activation functions"では約995,000件もヒットします。97倍もの差があります。
Xavierの初期値については、下記の書籍にて詳しく解説されています。
薬袋善郎先生の公式ウェブサイト
