AMSGrad | Abstract 第2文
In many applications, e.g. learning with large output spaces, it has been empirically observed that these algorithms fail to converge to an optimal solution (or a critical point in nonconvex settings).
Sashank J. Reddi, et al., "On the Convergence of Adam and Beyond"
有用な勾配を忘却しないようにするlong-term memory項を追加することによってAdamを改良した最適化手法であるAMSGradの論文の
「多くのアプリケーションにおいて、例えば大きな出力空間で学習すると、それらのアルゴリズムが最適解(あるいは非凸集合の臨界点)に収束することに失敗することが経験的に観測されてきている。」
この文では仮主語のitが用いられています。thatから文末までが名詞節で、真主語です。
e.g.はfor exampleと同じ意味です。「e.g.」はラテン語の「exempli gratia」の略語で、「例えば」という意味になります。
"e.g. learning with large output spaces"の部分は挿入的な部分なので、文の要素として構文解析する必要はないのかもしれませんが、for example (=e.g.)で副詞の役割なようなので、今回の図解のような書き方にしました。ここは厳密な品詞の解釈はできていないので、参考程度と受け取っていただければと思います。
"critical point"は「臨界点」という意味です。
critical pointの意味・使い方 - 英和辞典 WEBLIO辞書
凸でない集合は非凸集合 (non-convex set) と言うそうなので、"nonconvex setting"は「非凸集合」としました。
薬袋善郎先生の公式ウェブサイト
