向量、矩陣偏導(dǎo)數(shù)(機(jī)器學(xué)習(xí)、深度學(xué)習(xí)基礎(chǔ))

1、矩陣的導(dǎo)數(shù)運(yùn)算1.矩陣Y=F（x）對(duì)標(biāo)量x求導(dǎo)相當(dāng)于每個(gè)元素求導(dǎo)數(shù)LmJLmJdfn（x）d YdXdXdf21(x) dX9dfm1(X)dXdf12(X)dfm(X)dXdf22(x)dX9+dxdf2n(x) dxadfm2(X)dfmn(x)dxdxLmJLmJ2.標(biāo)量y對(duì)列向量x求導(dǎo)注意與上面不同，這次括號(hào)內(nèi)是求偏導(dǎo)，對(duì)站1mX1向量求導(dǎo)后還是 mX 1向量LmJX：x2| 打1(x)2（X）CX-Iff1(x)ff2（X）cx2icx29打1（x）f2（X）-&mOXmd yTdxdyy = f (x)-dx-：Xm3.行向量yT對(duì)列向量x求導(dǎo)注意1 Xn向量對(duì)mX 1向量求導(dǎo)后是

2、 mXn矩陣。將y的每一列對(duì)x求偏導(dǎo)，將各列構(gòu)成一個(gè)矩陣。fn(X) I織fn(X)CX2a瞬n(X)%重要結(jié)論:dxd( Ax)T *dx4.列向量y對(duì)行向量xT求導(dǎo)轉(zhuǎn)化為行向量 yT對(duì)列向量x的導(dǎo)數(shù)，然后轉(zhuǎn)置。注意mX 1向量對(duì)1 Xn向量求導(dǎo)結(jié)果為fm(X)Tdyd xTfi(x)糾橫2（X）&2-CX2-吋1（X）拼2（X）欣n條nmKn矩陣。:fi(x)f2(X).T:x1fm(X)jx2fm(X)：Xn重要結(jié)論:dx廿Jd xd( Ax) A dxT A5.向量積對(duì)列向量x求導(dǎo)運(yùn)算法則注意與標(biāo)量求導(dǎo)有點(diǎn)不同。d(uTv) d(uT) vd x也udx重要結(jié)論:d( x T x)dx

3、d(xTAx) d(x)dxd( xT)d(xT)xx= 2 xdxdxAx 血口 x 二(A AT)x d xdxLmJLmJ6.矩陣Y對(duì)列向量x求導(dǎo)將Y對(duì)x的每一個(gè)分量求偏導(dǎo)，構(gòu)成一個(gè)超向量。 注意該向量的每一個(gè)元素都是一個(gè)矩陣。飛F 1Y 二 F (x) dYd xcXi 空 cX2-FLmJ7.標(biāo)量y對(duì)矩陣X的導(dǎo)數(shù)y對(duì)列向量x的導(dǎo)數(shù)，把y對(duì)每個(gè)-吋 & 1次11CX12Gxincf冴dy$21GX22X2nd X3a+3拼cf拼_FXmiXm2EXmn類似標(biāo)量X的元素求偏導(dǎo)，不用轉(zhuǎn)置。重要結(jié)論:d (u T Xv)udXd(UTXTXU ) =2Xu dXvTd(Xu -v)T(Xu

4、-v)dX2(Xu -v) uT8矩陣Y對(duì)矩陣X的導(dǎo)數(shù)將Y的每個(gè)元素對(duì)X求導(dǎo)，然后排在一起形成超級(jí)矩陣。，扌艮據(jù)矩陣對(duì)列向量求導(dǎo)法則，有Q3)00dXdXdX2x1日屮-比違日3)d x2x1_ dXdXdx_ 02x0_，根據(jù)（15）矩陣對(duì)矩陣求導(dǎo)法則，有a h c def1C0axai気az聊&龕聖加萸一気諏喬更喬矩陣、向量求導(dǎo)法則（1）dx設(shè)y二仏 兒是維行向量，X是元素，則 河（2）列向飯f元素求導(dǎo)1是從維列向量，X是元素，則dy -創(chuàng)1 dx兒dx亂2 4dx 設(shè)y二（3）矩陣對(duì)元素求導(dǎo)x是兀素,（4）元蓋對(duì)行向量求導(dǎo)設(shè)y是元素，xr =心（5）元素對(duì)列向臺(tái)求導(dǎo)設(shè)y是兀素，x =（6）元素對(duì)矩陣求導(dǎo)設(shè)y杲元素，X =111/ 1dxdx嘰 .dxdx .q是g維行向量，則維列向壘，則空二 ax-是pxq矩陣， 如 odx呈則dYdx（12）矩陣對(duì)列向重求導(dǎo)九兒設(shè)Y =是m.n矩陣，x =丁曲1y祕(mì).X*是P維列向量，則dY嘰dx嘰7T（15）行向重對(duì)矩陣求導(dǎo)xn設(shè)yrLyi兒是n維行向氫x =:是pxq矩陣，則何 %11 嘰dxfi 嘰（14）列向量對(duì)矩陣求導(dǎo)i和設(shè)y =-是m