Xavier Initialization | Abstract 第1文
Whereas before 2006 it appears that deep multilayer neural networks were not successfully trained, since then several algorithms have been shown to successfully train them, with experimental results showing the superiority of deeper vs less deep architectures.
Xavier Glorot and Yoshua Bengio, "Understanding the difficulty of training deep feedforward neural networks"
ディープラーニングの初期値の設定において、sigmoidやtanhのような左右対称で中央付近で線形関数として見なせる活性化関数に適しているとされているXavierの初期値に関する論文の"Understanding the difficulty of training deep feedforward neural networks"のAbstractの第1文について、英語リーディング教本
「2006年以前は深い多層ニューラルネットワークはうまく訓練されていなかったようだが、それ以来、いくつかのアルゴリズムがそれらをうまく訓練することが示されてきており、実験結果はより深い構造のより深くない構造に対する優位性を示している。」
whereasは従属接続詞です。ここでは、Whereasからtrainedまでが副詞節となっています。
whereasの意味・使い方・読み方 | Weblio英和辞書
itは仮主語です。真主語はthatからtrainedまでの名詞節です。thatは従属接続詞です。
appearsは自動詞で、ここでは「[it を主語として]:〔(+to+(代)名詞)+that〕〔…には〕〈…と〉思える.」という意味です。
appearは自動詞のみで、他動詞ではありません。したがって、thatから始まる名詞節はappearsの目的語ではありません。
英語「appear」の意味・使い方・読み方 | Weblio英和辞書
since thenは一つの副詞としました。文修飾として、前後の文をつないでいます。
https://www.wordreference.com/enja/since%20then
since thenで「それ以来」という意味です。
since thenの意味・使い方・読み方 | Weblio英和辞書
長い文なので少しわかりづらいですが、この文の主語は、algorithmsです。主節の述語動詞は、been shownです。
Xavierの初期値については、下記の書籍にて詳しく解説されています。
薬袋善郎先生の公式ウェブサイト
