无码av一区二区三区无码,在线观看老湿视频福利,日韩经典三级片,成 人色 网 站 欧美大片在线观看

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

機器學習——凸優(yōu)化與KKT條件(2)

2023-07-01 16:10 作者:Vector永遠的神  | 我要投稿

????接著上一期的內容講,關于對偶函數(shù)的單向箭頭,這里就涉及到凸優(yōu)化的問題了。

????首先是凸集的概念,如下所示,在區(qū)域內任意選擇兩點相連接,當這條線段上的任意點都位于區(qū)域內時,這個集合就被稱作為凸集。仿射集是凸集,兩個凸集相交也一定是凸集。一般約束條件所定義的半空間也是凸集。

凸集的定義

凸函數(shù)和凹函數(shù)所圍成的空間區(qū)域都是凸集。

凸函數(shù)和凹函數(shù)

??

拉格朗日對偶問題

??

????對于拉格朗日乘數(shù)法的對偶函數(shù)g,通過求L對x的偏導數(shù),令其等于零,找到x=x*為極值點,帶入對偶函數(shù)g中去,得到的式子λ和v的系數(shù)均是常數(shù),是一個關于λ和v的線性函數(shù)式,一條直線可以被認為是凸函數(shù)或者凹函數(shù)均可。

拉格朗日乘數(shù)法的對偶問題

? ? 目標函數(shù)滿足凸函數(shù)或者凹函數(shù)的定義,然后對偶函數(shù)g的條件區(qū)域式λ大于0,v沒有范圍要求,這是一個標準的半空間,也就是一個凸集,滿足了這兩個要求的最值問題就是凸優(yōu)化問題。

????這也就說明,無論原問題函數(shù)是不是構成凸優(yōu)化問題,對偶問題是一定滿足凸優(yōu)化條件的。

大小關系

????注意這里的max和min都是在滿足某一個條件下,拉格朗日函數(shù)L的最值,比如說在x固定的前提下,通過變化λ和v來確定一個最大值式子,只有最后帶入了某一個x的值才能得到一個確切的值。

????當這兩個極值P*與D*不相等時,則稱這個問題是一個弱對偶關系,也就是只能單向箭頭。

????當極值P*和D*相等時,則稱這是一個強對偶問題,互相等價。

????當一個凸優(yōu)化問題滿足了slater條件時,就構成強對偶問題。slater條件就是存在一個可行域內部的點使得fi(x)小于0就行了。一般情況下都滿足,正常使用就可以了。

slater條件

????這個是構成強對偶問題的五個必要條件,一般就認為滿足了這五個條件就可以構成強對偶關系。原函數(shù)的約束條件,對偶函數(shù)的約束條件,互補松弛條件,其中λ的取值問題在上一篇文章中有提到,在這里就不做多的解釋了。

KKT條件


機器學習——凸優(yōu)化與KKT條件(2)的評論 (共 條)

分享到微博請遵守國家法律
玉屏| 东兰县| 息烽县| 浦县| 白玉县| 土默特左旗| 延长县| 德惠市| 武宣县| 延津县| 定西市| 昔阳县| 宿松县| 永顺县| 进贤县| 五寨县| 宣恩县| 仪征市| 青阳县| 东平县| 垣曲县| 苍梧县| 四平市| 葫芦岛市| 涞水县| 尼勒克县| 西华县| 阿瓦提县| 郓城县| 武清区| 崇左市| 高陵县| 萍乡市| 驻马店市| 西城区| 福鼎市| 邛崃市| 房山区| 资溪县| 蕉岭县| 定西市|