請(qǐng)問(wèn)你知道梯度下降法和牛頓法嗎?我想知道為什么牛頓法下降的速度比梯度下降的快

數(shù)學(xué)人氣：452 ℃時(shí)間：2019-12-05 21:26:22

優(yōu)質(zhì)解答

梯度法是從初值開(kāi)始按照負(fù)梯度方向一步一步走,確定方向、確定步長(zhǎng)、再確定方向、再確定步長(zhǎng).只顧眼前情況,大局觀念差~
牛頓法是令目標(biāo)函數(shù)梯度等于零,直接解方程,求方向,目的就是一步就跨到最優(yōu)解,只不過(guò)由于求解是近似的,導(dǎo)致這一步走得不太準(zhǔn),還需要在迭代,但是已經(jīng)能說(shuō)明目標(biāo)觀念很強(qiáng)了~