非凸或許區(qū)間:當步長η ∈ (1.75/L, 2/L)時,意味著優(yōu)化速率(即相鄰兩次迭代的函數(shù)值下降量)是單調(diào)遞減的 。研討了這樣的一個問題 :
當運用梯度下降算法優(yōu)化潤滑凸函數(shù)時,GPT-5 Pro的發(fā)現(xiàn)還未來得及宣布,作者別離證明了步長不大于1/L和大于1.75/L時的狀況,假如這條曲線是凸的,用17分半的時刻把1/L這個鴻溝移動到了1.5/L 。使用凸函數(shù)的性質(zhì)證明輔佐函數(shù)的單調(diào)性 ,
AI現(xiàn)已能夠自主考慮并證明新的數(shù)學規(guī)則了?
OpenAI研討人員表明,研討的是凸優(yōu)化(convex optimization)問題,
作者挑選特定的初始點x_0 = -1.8 ,即便梯度下降仍單調(diào)收斂,要害是證明了1.75/L便是一個準確鴻溝