AMSGrad | Abstract 第1文
Several recently proposed stochastic optimization methods that have been successfully used in training deep networks such as RMSPROP, ADAM, ADADELTA, NADAM are based on using gradient updates scaled by square roots of exponential moving averages of squared past gradients.
Sashank J. Reddi, et al., "On the Convergence of Adam and Beyond"
有用な勾配を忘却しないようにするlong-term memory項を追加することによってAdamを改良した最適化手法であるAMSGradの論文の
「RMSPROP、ADAM、ADADELTA、NADAMのような深いネットワークを学習するときにうまく使用されてきたいくつかの最近提案された確率的最適化手法は、過去の勾配の二乗の指数移動平均の平方根によって調整された勾配更新を使うことに基づいている。」
一見して主節の述語動詞を見つけにくい文です。主語にかかる関係代名詞や準動詞が多いため、前から読み進めると述語動詞がなかなか登場しないからです。主節について、下記のようになっています。
- 主語 = optimization methods
- 述語動詞 = are based
proposedは③の過去分詞でoptimization methodsを修飾します。③の過去分詞を裸で使った場合、「③される(された)」という「受身」の意味を表します。その場合、"proposed optimization methods"は「提案された最適化手法」となります。
"such as"は熟語で一つの前置詞として扱いました。
such asの意味・使い方 - 英和辞典 WEBLIO辞書
such as (phrase) definition and synonyms | Macmillan Dictionary
薬袋善郎先生の公式ウェブサイト
