Bilgisayar Mühendisli§inde Matematik Uygulamalar Ders Notlar Prof

Bilgisayar Mühendisli§inde Matematik Uygulamalar Ders Notlar
Prof.Dr. Adnan Kavak
çindekiler
1
Bölüm1
1.1
1.2
1.3
1.4
1.5
1.6
2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
17
LU Ayr³trmas . . . . . . . . . . . . . . . . . . . . . . . . . 17
Pivot Seçme le LU Ayr³trmas . . . . . . . . . . . . . . . . . 18
Bölüm3
3.1
3.2
3.3
3.4
5
6
6
7
8
9
10
11
12
12
12
12
13
13
13
. 14
. 15
Bölüm2
2.1
2.2
3
5
Ortagonal Alt Uzaylar . . . . . . . . . . . . . . . . . . . . .
1.1.1 zdü³üm Matrisi(Projection Matrix) . . . . . . . . . .
1.1.2 Vektör zdü³ümü . . . . . . . . . . . . . . . . . . . .
1.1.3 Ev Ödevi Sorusu . . . . . . . . . . . . . . . . . . . .
Gram-Schmidt Dikle³tirme Prosedürü . . . . . . . . . . . . .
1.2.1 Ev Ödevi Sorusu . . . . . . . . . . . . . . . . . . . .
1.2.2 Örnek . . . . . . . . . . . . . . . . . . . . . . . . . .
Range Space Of A Matrix(Bir Matrisin De§er Uzay ) . . . .
1.3.1 Bo³ Uzay(NULL Space) . . . . . . . . . . . . . . . .
Baz Önemli Matris Ayr³trmalar . . . . . . . . . . . . . . .
1.4.1 A=mxm ise . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 A->mxn matris ise m>n . . . . . . . . . . . . . . .
1.4.3 LU Matris ayr³trmas . . . . . . . . . . . . . . . .
1.4.4 Cholesky Matris ayr³trmas . . . . . . . . . . . . .
1.4.5 QR ayr³trmas . . . . . . . . . . . . . . . . . . . .
EigenValue Decomposition (EVD) Veya Singular Value Decomposition (SVD) . . . . . . . . . . . . . . . . . . . . . . .
LU Ayr³trmas Ve Denklem Sistemi Çözümü . . . . . . . .
23
EigenValue Decomposition(Özde§er Ayr³trmas) . . .
3.1.1 Özde§er Ve ÖzVektör Nasl Bulunur? . . . . . .
3.1.2 ÖzVektörlerin(EigenVectors)Lineer Ba§mszl§?
Matrisin Ayr³trlmas . . . . . . . . . . . . . . . . . .
Özde§er Ve Özvektörlerden Matris Olu³turma . . . . .
Self-Adjoint Matrislerin Kö³egenle³tirilmesi . . . . . . .
3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
24
26
26
27
29
3.5
3.6
4
Bölüm4
4.1
4.2
4.3
4.4
5
EVD Uygulamalar . . . . . . . . . . . . . . . . . . . . . . . . 30
Korelasyon Matrisi Özellikleri . . . . . . . . . . . . . . . . . . 31
QR Ayr³trmas . . . . . . . . . . . . . . . . . . .
Niçin QR ? . . . . . . . . . . . . . . . . . . . . .
HouseHolder Dönü³ümü: . . . . . . . . . . . . . .
QR Yöntemi le Denklem Sistemi Çözümü Matlab
Bölüm5
5.1
5.2
5.3
33
. . . . .
. . . . .
. . . . .
Örne§i .
.
.
.
.
.
.
.
.
33
34
35
40
47
Optimizasyon(En yileme) . . . . . . . . . . . . . . . . . . . . 47
Ko³ullu (Constraint) Optimizasyon . . . . . . . . . . . . . . . 52
Ara Snav Çözümleri . . . . . . . . . . . . . . . . . . . . . . . 55
Bölüm 1
Bölüm1
1.1
Ortagonal Alt Uzaylar
“ekil 1.1: Ortagonal Alt Uzay


X1
X = X2  ∈
X3
•
S
S
= R3
• V ⊂S
• V1 =W
• W1 = V
5
XX ve W ortagonal altuzaylardr.
XX vektoru S'de bir vektordur.
0
XX v V altuzayinda X in izdü³üm vektörüdür.
0
XX w W altuzayinda X in izdü³üm vektörüdür.
1.1.1
zdü³üm Matrisi(Projection Matrix)
P 1 , P 2 , P 3 · · · P n V altuzayn tarayan ( span ) vektörleri olsun
X v = C1P 1 + C2 P 2 + C3P 3 + · · · + Cn P n
Am∗n = P 1 P 2 P 3 · · · P n
−1 H
P v = Am∗n (AH
m∗n Am∗n ) Am∗n > izdü³üm matrisi
1.1.2
Vektör zdü³ümü
3
1
0
a=
x=
y=
2
0
1
ax = ?
0
T
< a, x >= a ∗ x = 3 2 ∗
=3
1
3
ax = 3 ∗ x =
0
ay = ?
0
< a, y >= a ∗ y = 3 2 ∗
=2
1
0
ay = 2 ∗ y =
2
< a, x >= kak ∗ kxk ∗ cos(Θ) = kak ∗ cos(Θ) yandaki ifadede kxk = 1 dir.
T
1.1.3
Ev Ödevi Sorusu
Ev ödevi sorusu a³a§daki gibidir :
“ekil 1.2: Ev Ödevi Sorusu
−→ Av = P 1 P 2 −→ P Av = · · ·
W −→ Aw = P 2 P 3 −→ P Aw = · · ·
X v = P Av · X · · ·
X w = P Aw · X · · ·
V
1.2
Gram-Schmidt Dikle³tirme Prosedürü
a ve b'yi kullanarak birbirine dik vektörler nasl olu³turulur?
k q1 k=1 , k q2 k=1
0
1- 41 −→ b nin
q1
üzerindeki bile³eni
0
2-
e1
−→ b nin 41 'den fark vektörü
3-
q2
−→ e1 'in normalize edilmi³ hali
Algoritma:
= P 1 , P 2 , · · · , P n vektörleri için birbirine dik olan
T = q1 , q2 , · · · , qk
k≤n
T
0
< qi , qj >= qTi · qj = δij
δij =
1)
q1
=
p1
kp1 k
1
kp1 k = (p1 T · p1 ) 2
1 i=j ise
0 i 6= j
2) ∆2 =< p2 , q1 > q1
nin q1 üzerindeki izdü³ümü
e2 = p2 − ∆2
e2
q2 =
ke2 k
..
.
k.admda P
k−1
ek = pk −
i=1 < pk , qi > qi
ek
qk =
kek k
∆2
0
p2
1.2.1
Ev Ödevi Sorusu
 
 
 
 
3
3
4
−1







P 1 = 2 , P 2 = −4 , P 3 = 3 , P 4 = −2
1
2
−2
−3
P 1 ,P 2 ,P 3 ve P 4 'ü kullanarak Gram-Schmidt yöntemiyle birbirine dik olan
vektörleri bulunuz ?
1.2.2
Örnek
R 2T
< x(t), y(t) >= 0 x(t)y(t)dt
1
kx(t)k = (< x(t), x(t) >) 2
1.3
Range Space Of A Matrix(Bir Matrisin De§er Uzay )

A = P1 P2 ···
Pm
A·x=y

x1
 x2 
 
x =  ..  ∈ Rm
 . 
xm
y = x1 P 1 + x2P 2 + · · ·+ xm P m  
1 0 0
x1
Örnek: A = 0 0 0
x = x2 
  1 0 1 
  x3 

1
0
0
x1
A · x = x1 0 + x2 0 + x3 0 =  0  = y
1
x 1 + x3
 1   0
1
0
y vektörü 0 , 0 vektörlerinin lineer birle³imidir.
1  1  
1
0
R(A)= span{ 0 , 0} ,R(A)99K de§er uzaydr .
1
1
1.3.1
Bo³ Uzay(NULL Space)
 
0
0 = 0
0
Ax = 0 i³lemini sa§layan x vektörüne A'nn bo³ uzay(null space) denir.N(A)
ile gösterilir.
Örnek:
Yukardaki

   A matrisi için :
1 0 0 x1
0
0 0 0 x2  = 0
1 0 1 x3
0
x1 = 0, x1 + x3= 
0 → x3 = 0 x2 herhangi bir α de§eridir
0
N (A) = span{α}
0
1.4
Baz Önemli Matris Ayr³trmalar
Ax = b denklem sistemi için
1.4.1
A=mxm ise
Klasik yöntem:x = A−1 · b
Baz durumlarda A−1 almak oldukça zor ve karma³k bir i³lem.
O(m3 ) 99K polinom derecesi en fazla m3 olan sayda (+)ve (*) i³lemi gerekir.
1.4.2
A->mxn matris ise m>n
Ax = b
H
(AH
n∗m · Am∗n )xn∗1 = An∗m bm∗1
x = (AH A)−1 AH · b
(AH A)−1 AH → A] : A'nn pseduo-inxers
1.4.3
LU Matris ayr³trmas
A:m 
× m kare matris
 ,A = L · U
1 0 0 0
x 1 0 0


L=
=⇒ Lower-Triangular(alt üçgensel)

.
x .. . . . 0
x . . . x 1 m∗m


x x x x
 0 x x x


U=
=⇒ Upper-Triangular(üst üçgensel)

.. . .
0 .
. x
0 . . . 0 x m∗m
Uygulamas:Ax = b denklem sistemi çözümünde kullanlr.(E§er A:m*m ise)
1.4.4
Cholesky Matris ayr³trmas
A = simetrik , pozitif-denite bir matris ise A→ m × m
xT · Ax > 0
x ∈ Rn vektör ise A pozitif denite bir matris
y = Ax 
< x, Ax >= xT · Ax

x 0 0 0
0 x 0 0
H


A = LDL ,D⇒ kö³egen D = 

.. . .
0 .
. 0
0 ...
0
x
Cholesky ayr³trmas a³a§daki gibidir:
A = U DU H
H
A = LDL
Uygulamas:Kestirim ve Kalman ltresi problemlerinin çözümünde
1.4.5
QR ayr³trmas
A : m × n kare olmayan bir matris ise
Am×n xn×1 = bm×1
A = QR


1 0 0 0
0 1 0 0


Q unitary bir matris ⇒ QH · Q = I = 

.
0 .. . . . 0
0 ... 0 1
R = üst-üçgense bir matris ancak kö³egendeki de§erler ”1” de§il·
Ax = b
↓
Q·R·x=b
QH Q ·Rx = QH b
| {z }
|{z}
I
R·x=
c
1.5
−→ çözümü Ax = b ' ye göre daha kolay ·
EigenValue Decomposition (EVD) Veya Singular Value Decomposition (SVD)
A : m × m kare =⇒EVD
A : m × n kareP
de§il =⇒SVD
VH 
SVD:  A = U
Λ1 0 0 0

P 
 0 Λ2 0 0 
=

.. . .
0
. 0
.
0 . . . 0 Λn n×n
Λi : singular(tekil)de§erler
U = m × n=⇒ unitary U H · U = In×n
V H = m × n=⇒ unitary V · V H = In×n
Uygulama:Sinyal i³leme , haberle³me , kestirim vs· · ·
Kullanc yönü Qi
1.6
i = 1, 2, · · · , N
LU Ayr³trmas Ve Denklem Sistemi Çözümü
Am×m xm×1 = bm×1
A=L·U
↓
LU x = b
Ux = y
Ly
 = b =⇒ y =⇒ x     
l11 0 · · ·
0
y1
b1
 l21 l22 · · ·
  y2   b 2 
0

   
 ..
..
..   ..  =  .. 
 .
. ···
.  .   . 
ym
bm
lm1 lm2 · · · lmm
b1
y1 =
l11 = 1 99K y1 = b1
l11
b2 − l21 · y1
l21 · y1 + l22 · y2 = b2 99K y2 =
= b2 − l21 · y1 99K l22 = 1
l22
↓
Pj−1
lji · yi
yj = bj − i=1
j = 2, 3, 4, · · · , m forward substitution (ileri yerine koyma)
Ux = y
↓
u11 u12
 0 u22

 0
0

 ..
..
 .
.
0
0
1
xm =
umm
xm−1 =
..
.
u13 · · ·
u23 · · ·
u33 · · ·
..
.
0
0
···

u1m
u2m 

u3m 

.. 
. 
umm

  
x1
y1
 x2   y 2 
   
 x3   y 3 
 = 
 ..   .. 
 .   . 
xm
ym
· ym
1
um−1·m−1
(ym−1 − xm · um−1,m )
P
1 yj − m
(u
·
x
)
99K Backward substitution(geriye yerine
k
k=j+1 jk
ujj
koyma)
m2
−1
O( ) i³lem gerektirir ve x = A · b yöntemine göre daha az i³lem yükü
2
gerektirir.
Zorluk:
xj =
1-) uii 'lerin ”0” olmas
2-) uii 'ler pivot olarak adlandrlr .
Bölüm 2
Bölüm2
2.1
A
LU Ayr³trmas
U
L
−→
−→
Gauss Elimination
Satr i³lemlerini saklayarak
(Birim Satr ³lemleri )


 T
a1
satr1
 satr2 
 aT 


 
=  .. 
A =  .2 
 . 
 .. 
satrm m×m
aTm m×m
Birim Satr ³lemi(B.S.)= satr i ← α satr i +β satr j
α, β ∈ R
Örnek:


2 4 −5
1  −→ A = LU ?, L =?, U =?
A = 6 8
4 −8 −3
Amaç BS ile kö³egen altndaki de§erleri sfrlamak
a21
1)S2 ←− S2 − 3S1
3=

  a11  

2 4 −5
1 0 0
2 4 −5
1  ←− Orjinal A matrisi
A1 = 0 −4 16  = −3 1 0 6 8
4 −8 −3
0 0 1
4 −8 −3
a31
2)S3 ←− S3 − 2S1
2=

  a11


2 4 −5
1 0 0
2 4 −5
A2 = 0 −4 16  =  0 1 0 0 −4 16  ←− updated(Bir önceki
0 −16 7
−2 0 1
4 −8 −3
update edilmi³ A)
17
a32
3)S3 ←− S3 − 4S2
4=
a22




2 4 −5
1 0 0
2 4 −5
A3 = 0 −4 16  = U = 0 1 0 0 −4 16  ←− updated(Bir
0 0 −57
0 −4 1
0 −16 7
önceki update edilmi³ A)
U matrisi olu³turuldu .
L'yi bulmak için :
U = E3 E2 E1 A
=⇒ A = E1−1 E2−1 E3−1 U
−1 −1 −1
E1 A = 
A1 E2 E
1 A = A2  L = E1 E2 E3 

1 0 0
1 0 0
1 0 0
E1−1 = 3 1 0 , E2−1 = 0 1 0 , E3−1 = 0 1 0
0 0 1
0 4 1
 2 0 1
1 0 0
E1−1 E2−1 E3−1 = 3 1 0 = L

 2 4 1

1 0 0 2 4 −5
A = 3 1 0 0 −4 16 
2 4 1 0 0 −57
L
2.2
U
Pivot Seçme le LU Ayr³trmas
Amaç : Pivot(kö³egen) elemanlarnn o sütunda en büyük de§er alacak ³ekilde satr yerlerinin de§i³tirilmesi (pivoting)
Örnek:


2 4 −5
6 8
1
4 −8 −3
1−)a11 max olacak ³ekilde S1 ←→ S2
Bunun anlam orjinal A matrisini yer de§i³tirme matrisi (P12 ) ile soldan çarpmak demektir.


0 1 0
P12 = 1 0 0
0 0 1
Yukardaki P12 matrisi birim matristeki 2.satrn yer de§i³tirilmi³ halidir.



1 0 0
0
I3×3 = 0 1 0 −→ P12 = 1
0 0 1
0

0 1 0
2 4
A1 = P12 A = 1 0 0 6 8
4 −8
0 0 1
6 8
1
= 2 4 −5
4 −8 −3
↓
2−)
=
a21 'i sfrlamak için katsay −1
3
−2
a31 'i sfrlamak için katsay 3 =

1 0
0 0
0 1
−5
1
−3
−a21
a11
−a31
a11
→ E1
→ E2



0 0
1 0 0
1 0  −1
1 0 A1
3
−2
0 1
0 0 1
3
↑
↑
↓
E2
P12 · A
 E1

6 8
1
 −→ 1. sütundaki a011 in altndaki elemanlar sfrland .
A2 = 0 43 −16
3
−40
−11
0 3
3
3−)
2.sütun için en son admda güncellenmi³ olan A2 matrisinin a22 eleman için
pivot seçilir .
1
A2 =  0
| −40
| > | 43 | oldu§undan S2 ←→ S3 (A02 de) ya da S1 ←→ S2 (A021 de)
3
A02 yi göz
 önünealrsak :



1 0 0
1 0 0
6 8
1

P23 = 0 0 1
A3 = P23 · A2 = 0 0 1 0 43 −16
3
−40
−11
0 1 0
0 1 0
0 3
3


6 8
1
−11 
99K a32 'yi sfrlamak için katsay =
A3 = 0 −40
3
3
4
−16
0 3
3
4−)
A4 = E3 · A3 = E3 · P23 · E2 · E1 · P12 · A
A1 = P12 · A
A2 = E2 · E1 · P12 · A
A3 = P23 · E2 · E1 · P12 · A

1

A4 = 0
0
0
1
1
10

0
0
1

6
0
0
8
−40
3
4
3


6
−11 

= 0
3
−16
0
3
|
1
8
−40
3
0
{z
1
−4
3
−40
3
=
1
10

−11 
3
−57
10
↑
E3
U
U = E3 P23 E2 E1 P12 A
−1 −1 −1 −1 −1
=⇒ A = P12
E1 E2 P23 E3 U
|
{z
}

V



1 0 0
1 0 0
1 0 0
−1
0 0 1 0 0 1 =
P23 = 0 0 1 = P23
 0 1 0 0 1 0
 0 1 0
1 0 0
1 0 0
−1



E3 = 0 1 0 → E3 = 0 1 0
1
0 −1
1
0 10
10

 1
1 0 0
−1 −1
1
P23
E3 = 0 −1
10
0 1 0



1 0 0
1 0 0
E2 =  0 1 0 → E2−1 =  0 1 0
−2
2
0 1 
3
 3 0 1  
1 0 0
1 0 0
1 0
−1
 =  0 −1
1
E2−1 · P23
· E3−1 =  0 1 0 0 −1
10
10
2
2
0
1
0
1
0
1
3
 3



1 0 0
1 0 0
 → E1−1 =  1 1 0
1
0
E1 =  −1
3
3
0 0 1
0

 0 1
 
1 0 0
1 0 0
1
−1
 = 1
1
· E3−1 =  31 1 0  0 −1
E1−1 · E2−1 P23
10
3
2
2
0 0 1
1
0
3
3
}


1 0 0
0 1 0
0 0 1

0
1
0
0
−1
10
1

0
1
0
⇒ E3


0 1 0
−1
P12 = 1 0 0 = P12
0 0 1


0 1 0
1
−1
−1 −1
P12
· E1−1 E2−1 P23
E3 = 1 0 0  31
2
0 0 1
3
0
−1
10
1
 1
0
3
1 =  1
2
0
3
−1
−1 −1
A = P12
· E1−1 E2−1 P23
E3 ·U
|
{z
}
V
−1 1 −1 −1 −1 −1
L = P23 P12 · V = P23 P12 P12
E1 E2 P23 E3
−1 −1
−1 −1 −1
E
= P12 P12 E1 E2 P23 P23
| {z } 3
| {z }
I
I
−1 −1 −1
= E1 E2 E3

1 0 0
⇒ L =  32 1 0
1
−1
1
3
10
Pivot seçme yönteminde
A=V ·U
P · A = LU
1P
−1
12 P12
I birim matrisine e³ittir
−1
10
0
1

1
0 =
0
V
Bölüm 3
Bölüm3
3.1
EigenValue Decomposition(Özde§er Ayr³trmas)
Fark denklemi (*):
y1 (t + 1) = −y1 (t) − 1.5y2 (t)
y2 (t + 1) = 0.5y1 (t) +y2 (t)
y1 (t + 1)
y1 (t)
y2 (t + 1) =
y(t) =
=?
y2 (t
y2 (t)
+ 1)
−1 −1.5
=⇒ y(t + 1) =
y(t) =⇒ y(t + 1) = Ay(t)
0.5
1
|
{z
}
A
Çözüm: y1 (t) = λt x1
y2 (t) = λt x2
t+1
t
t
λ x1 = −λ x1 − 1.5λ x2
λt+1 x2 = 0.5λt x1 + λt x2
-
x1
x
=λ 1
=⇒ A
x2
x2
| {z }
| {z }
x
x
=⇒ Ax = λx (∗∗)
(**)denklem siteminin çözümü ayn zamanda (*) denklem sisteminin çözümüdür.
x : eigenvector(özvektör)
λ:eigenvalue(özde§er)
23
3.1.1
Özde§er Ve ÖzVektör Nasl Bulunur?
Ax = λx
Genel olarak :
A:n×n
x:n×1
λ:1×1
=⇒ Ax = λx
(A − λI)x = 0
χA (λ) = det(A − λI) = |A − λI| karakteristik polinom
χA (λ) = det(A − λI) = 0 −→ çözümü λ de§erlerini verir.
Örnek:
−1 −1.5
A=
0.5 1
−1 −1.5
λ 0
−1 − λ −1.5
A − λI =
−
=
0.5
1
0 λ
0.5
1−λ
χA (λ) = det(A − λI) = (−1 − λ)(1 − λ) − (0.5)(−1.5)
λ − 0.25 = 0
(λ − 0.5)(λ + 0.5) = 0
↓
λ1 = 0.5
λ2 = −0.5
2
buldu§umuz bu λ de§erlerini (A − λI)x = 0'da yerine koyarsak :
λ1
x1
x1
−1 − λ −1.5
= 0.5 −→
x =0
0.5
1−λ 1
|
{z
}
B
vektörü
B'nin
null
space'ini olu³turur
α
1
=
α = 1 −→ x1 =
−α
−1
 1 
√
√
√
x1
 2
2
2
kx1 k = α + α = 2α −→ x1 =
=  −1 
kx1 k
√
2
−0.5 −1.5
x2 = 0
λ2 = −0.5 −→ (A − λ2 I)x2 =
0.5
1.5
|
{z
}
C
x2 C'nin
null-space'idir.
√
√
−3α
x2 =
−→ kx2 k = 9α2 + α2 = 10α
α
 −3 
√
 10 
x2 =  1 
√
10
ÖzVektör
Özde§er
 1 
√
 2
λ1 = 0.5 −→ x1 =  −1 
√
 2−3 
√
 10 
λ2 = −0.5 −→ x2 =  1 
√
10
Denklem sistemi çözümü :
 1 
√
y (t)


y 1 (t) = 1
= λt1 x1 = (0.5)t  −12 
y 2 (t)
√
 2−3 
√
y 1 (t)
t
t  10 
y 2 (t) =
= λ2 x2 = (−0.5)  1 
y 2 (t)
√
10
Hem y 1 (t) hem de y 2 (t) orjinal denklem sist. çözümünü sa§lyor.
Sistem linear bir sistem oldu§undan toplam çözüm:
y t (t) = C1 λt1 x1 + C2 λt2 x2
Denklem sisteminde ba³langç ko³ullar verilirse C1 ve C2 bulunabilir.
3.1.2
ÖzVektörlerin(EigenVectors)Lineer Ba§mszl§?
 −3 
√


x2 =  110 
√
10
 −3 
√
1 −1  10 
√  1  = √−3 − √1
< x1 , x2 >= xT1 · x2 = √
20
20
2
2
√
10
−4
−2
√ = √
x1 ∗ x2 = √−4
=
20
2 5
5
Lema: n × n boyutlu A matrisinin tüm özde§erleri birbirinden farkl ise A
matrisinin özvektörleri brbirinden lineer ba§mszdr.
k1 x1 + k2 x2 = 0
k1 Ax1 + k2 Ax2 = k1 λ1 x1 + k2 λ2 x2 = 0(*)
k1 λ2 x1 + k2 λ2 x2 = 0(**)1
(∗) − (∗∗) −→ k1 (λ1 − λ2 )x1 = 0
λ1 6= λ2 , x1 6= 0 −→ k1 = 0 olmal ayn ³ekilde λ1 6= λ2 için −→ k1 = 0 olmal
.
 1 
√


x1 =  −12 
√
2
3.2
Matrisin Ayr³trlmas
A:n×n
Özvektörleri : x1 , x2 , x3 , · · · , xn
↓ ↓ ↓
↓
Özde§erleri : λ1 , λ2 , · · · , λn
A
xi = λi xn i = 1, 2 · · · , n Ax1 Ax2 Ax3 · · · Axn n×n = λ1 x1 λ2 x2 λ3 x3 · · · λn xn n×n
↓

λ1 0
 0 λ2
An×n x1 x2 x3 · · · xn n×n = x1 x2 x3 · · · xn n×n 
|
{z
} |
{z
} · · · · · ·
0
0
|
-
S
S
−→ AS = Sλ
1k
1 x1
+ k2 x2 = 0
denklemi
λ2
ile çarplrak elde edildi
0
0
···
0
{z
λ
···
···
···
···

0
0

· · ·
λn n×n
}
E§er eigenvector'ler lineer ba§msz iseler, S matrisi full rank ve tersi alnabilirler.
−1
−1
−→ A |SS
{z } = S ∧ S
I
−→ ASS −1 = S∧S −1 veya S −1 AS = ∧ Eigenvalue Decomposition(EVD)
An nasl bulunur?
ASS −1 = S ∧ S −1
−1
−1
2 −1
A2 = S ∧ S
| {zS} ∧S = S ∧ S
I
−1
3 −1
3
2 −1
A =S∧ S
| {zS} ∧S = S ∧ S
I
..
.
Ak =S ∧k S −1
e§er eigenvector'ler
lineer ba§msz ise

λ1 0
0 ··· 0
 0 λ2 0 · · · 0 

∧=
· · · · · · · · · · · · · · ·
0
0
0 · · · λn

 k
0 ··· 0
λ1 0
 0 λk2 0 · · · 0 

∧k = 
· · · · · · · · · · · · · · ·
0
0
0 · · · λkn
·····································································
eAt nasl bulunur?
P xi
ex = ∞
i=0
i!
P
Ai ti
∞
eAt = i=0
i!
3.3
Özde§er Ve Özvektörlerden Matris Olu³turma
λi , xi i = 1, 2, · · · , n
xH
i xj = 0 olsun (i 6= j )
n = 2 ele alalm.
kxi k = 1 V
x 0
S = x1 x2
= 1
0 x2
S −1 S = I
− xH
− 1 0
kx1 k2 xH
1
1 x2
x1 x2 = H
=
− xH
−
x2 x1 kx2 k2
0 1
2
−1
H
⇒S =S
A = S ∧ S −1 = S ∧SH
λ1 0
− xH
− xH
−
−
1
1
= x1 x2
= λ1 x1 λ2 x2 2×2
−
−
− xH
0 λ2 − xH
2
2
H
A = λ 1 x1 xH
1 + λ 2 x2 x2
Genel olarak ,özde§erleri(λi ) ve özvektörleri(xi ) verilen bir matris için , e§er
xH
i · xj = 0 ise bu matris ³u ³ekilde olu³turulabilir:
H
H
A = λ 1 x1 xH
1 + λ 2 x2 x2 + · · · + λ n xn xn
=⇒ A =
Pn
i=1
λ i xi xH
i
Pi = x i x H
i
Örnek:
λ1 = 
λ2 
= 1 λ3 = −1
 
0
0
1
1
1
√
√






x1 = 0 , x2 =
2 , x3 =
2
1
−1
√
√
0
2
2
A matrisini olu³turunuz?
Cevap:


1 0 0
A = 0 0 1 olmal .
0 1 0
Örnek:
λ1 = 5, λ1 = 10 3
−4
x1 =
x2 =
4
3
A =?
3 −4
=
=0
x1 ⊥ x2
4
3 x1
1 3
1 −4
u1 =
=5
u2 = 5
kx1 k
4 3
9 12
1 3
1
H
3 4 = 25
P1 = u1 u1 = 25
4
12 16
xH
1 x2
−4 16 −12
1
−4 3 = 25
P2 =
=
3
−12 9
9 12
16 −12
1
1
+10 · 25
A = λ1 P1 + λ2 P2 = 5 · 25
−12 9
12 16
9 + 32 12 − 24
= 15
12
 − 24 16
 + 18
u2 uH
2
A=
1
25
41
5
−12
5
−12
5
34
5

Not:A simetrik bir matris.
3.4
Self-Adjoint Matrislerin Kö³egenle³tirilmesi
Self−adjoint matris −→ < Ax, x >=< x, AH x >
↓
↓
H
H
x Ax = x Ax
* A matrisinin elemanlar reel de§erler ise Self−adjoint matrise simetrik
matris denir ve AT = A
* A matrisinin elemanlar kompleks de§erler ise Self−adjoint matrise hermitian matris denir ve AT = A
Özellikleri:
1- Self−adjoint matrisin (AH = A ise) eigenvalue'lar reel de§erliklidir.
ispat:< Ax, x >=< λx, x >= λ < x, x >= λxH x
< x, AH x >= λ∗ < x, x >= λ∗ xH x
→ λxH x = λ∗ xH x → λ = λ∗ için λ reel de§erlikli olmal.
2- Self−adjoint(simetrik veya hermitian)matrisler için birbirinden farkl
eigenvalue'lara kar³lk gelen eigenvektörler birbirine diktir.
ispat:< Ax1 , x2 >=< x1 , AH x2 >=< x1 , λ2 x2 >= λ2 < x1 , x2 >=
λ2 xH
1 x2
ayn zamanda
< Ax, x >=< λ1 x1 , x2 >= λ1 xH
1 x2
H
H
⇒ (λ1 x1 x2 − λ2 x1 x2 ) = 0
⇒ (λ1 − λ2 )(xH
1 x2 ) = 0
λ1 6= λ2 ise x1 ⊥ x2 olmal.
Teorem: n × n boyutu A matrisi hermitian bir matris ise (AH = A ise) A
matrisinin EVD açlm :
V
P
H
³eklinde yazlr
.
A = U U H = ni=1 λi U i U i
Bu arada U matrisi U = U 1 U 2 U 3 · · · U n unitary bir matristir.
3.5

EVD Uygulamalar

X1
 X2 


x =  .. 
 . 


a1 (Θi )
 a2 (Θi ) 


a(Θ) =  ..  =⇒ steering vector at θi
 . 
XM
aM (Θi )
x = a(θ1 )α1 S1 + a(θ2 )α2 S2 + · · · + a(θk )αk Sk
Korelasyon matrisi:R
R = E{xxH }
M>K
R −→ EV D −→ λi , U i

λ1 0
0 ··· ··· ··· 0
 0 λ2 0 · · · · · · · · · 0 


 0
0 λ3 · · · · · · · · · 0 


V 
..
. ··· ··· 0 
= · · · · · · · · ·



·
·
·
·
·
·
·
·
·
·
·
·
λ
·
·
·
0


r


· · · · · · · · · · · · · · · . . . · · ·
0
0
0 ··· ··· ··· 0
Dominant eigenvalue says −→ r , ortamda r adet kullanc vardr .
EVD −→ MUSIC,ESPRIT,· · · vs high resolution algoritmalarla Qi 'ler bulunabilir .

3.6
Korelasyon Matrisi Özellikleri
1) R −→ hermitian bir matris
örnek: x(t) = ejwt −→kompleks sinusoid
t = 0,
1, · · · , M− 1
1
 ejw 


 j2w 
x= e



..


.
j(M −1)w
e
1 PN
H
R = E{xxH } ∼
=
i= x(i)x (i)
N

1
ejw
ej2w
..
.







R = E{
 1 ejw ej2w · · ·




j(M −1)w
e
ej(M −1)w }

e−jw
1
ejw
···
1
ejw
ej2w
···


= E{ 


ej(M −1)w ej(M −1)w
R hermitian bir matris
e−j2w · · ·
e−jw e−j2w
1
···
···
···
···
···

· · · e−j(M −1)w
· · · e−j(M −1)w 

}
· · · e−j(M −3)w 


···
···
···
1
m×m
2) R'nin eigenvalue'lar reel ve pozitif de§erlerden olu³ur .
λ1 6= λ2 6= · · · =
6 λm > 0
3) R'nin eigenvektörleri biribirine diktir.(q i ⊥ q j )
q1, q2, · · · , qm → qH
i · qj
4) Rk matrisinin eigenvalue'lar
ispat ? (ödev)
λk1 , λk2 , · · · , λkm

λ1
 0

 0
H
V 

5) Q = q 1 q 2 · · · q m
Q RQ = = · · ·

· · ·

· · ·
0
Unitary− similarity transformation
6) tr[R] =
PM
i=1
λi
spat ?
···
···
···
···
···
..
.
···
··· ···
···
0
··· ··· ···
0 ··· ···
0
λ2
0
0
0
λ3
··· ···
··· ···
··· ···
···
λr
···
···
..
.
0
0
0






0 

0 

···
· · · λm
Bölüm 4
Bölüm4
4.1
QR Ayr³trmas
A = QR
Q:unitary matris
R:üst üçgensel matris
Unitary matris: QH · Q = I
E§er Q'nun sadece gerçek de§erlikli elemanlar varsa Q'ya ortogonal matris
denir.
Lema1: y = Qx kyk = kxk y ∈ Rm×1 , x ∈ Rm×1
Lema2: Y = QX , Y ve X birer matris
kY kF = kXkF
Not: kkF → matris Frobenius norm
P Pn
1
2 12
H
2
kXkF = ( m
i=1
j=1 |Xij |) = (tr(X X))
Örnek:
a b
a
c
X=
, XH =
c d
b d 2
a b a c
a + c2 ab + cd
H
X X=
=
c d b d
ab + cd b2 + d2
P P
tr(X H X) = a2 + b2 + c2 + d2 = ( 2i=1 2j=1 |Xij2 |)
33
4.2
Niçin QR ?
Am×n xn×1 = bm×1 −→çözümx̂ = (AH A)−1 AH ·b
|
{z
}
]
A :pseduo-inverse
-bu çözüm kAx − bk22 minimize eden bir çözümdür.
-ayn zamanda least−squares(en küçük kareler) çözümü olarakda adlandrlr.
H
kAx − bk2 = (Ax − b)H (Ax − b) = (xH AH − b )(Ax − b)
H
H
J(x) = xH AH Ax − xH AH b − b Ax + b b
↑
maliyet fonksiyonu
∂J(x)
vektörel türev →
= AH Ax + AH Ax − AH b − AH b = 0
∂x
⇒ 2AH Ax − 2AH b = 0
LS çözüm
⇒ x = (AH A)−1 AH b
pucu:
∂ H
(x A) = A,
∂x
∂
(Ax) = AH
∂x
Örnek:
 
 
x1
c1



x
x=
c = c2 
2 ,
x3
c3
H
x c = x 1 c1 + x 2 c2 + x 3 c3
∂ H
∂ H
x c = c1 ,
x c = c2
∂x1 
 ∂x2
∂
 ∂x1   
c1
 ∂ 
∂

  
=
 = c2 = c
∂x  ∂x2 
c3
 ∂ 
,
∂ H
x c = c3
∂x3
∂x3
R1
Am×n = Qm×m Rm×n
=Q
0
m>n
R1 : n × n, 0 : (m − n) × n
Am×n xn×1 = bm×1 (∗)
⇒ QRx = b
QH Q Rx = QH b
| {z }
I
Rx = QH · b
QH
m×m
· bm×1
c
=
→c:n×1
d
d : (m − n) × 1
Rx= QH b R1
c
⇒
x=
0
d
R1n×n xn×1 = cn×1
(∗∗)
(*) ve (**) denklemlerinin çözümü ayn x vektörüdür.
(**) kolaylkla çözülebilir çünkü R1 üst üçgensel bir matrisdir.
not: m < n ise QR kullanlamaz !
QR Ayr³trmas:
Gram−Scmidt algoritmas, Householder dönü³ümü veya Givens rotation yöntemlerinden birisi kullanlarak yaplabilir.
4.3
HouseHolder Dönü³ümü:
xv : x vektörünün v vektörü üzerine izdü³ümü
x⊥
v : (x − xv ) yani x'in xv 'ye dik olan bile³eni
H v x : x vektörünün x⊥
v 'ye göre yanstlm³(döndürülmü³ü)
x v = Pv · x
Pv =
VV
x⊥
v
=
H
H
(V V )
⇒ xv =
x⊥
v
 
v1
 v2 
 
, V =  .. 
.
vn
VV
H
·x
H
(V V )
⊥
Pv x
= (I −
⊥
,Pv
VV
= I = Pv = I −
VV
H
H
(V V )
H
)x = x − xv
H
(V V )
H
VV
Hv = I − 2 H
(V V )
Householder dönü³üm matrisi x'in yalnzca V vektörü üzerindeki bile³enin
yönünü de§i³tirir.
H
H
VV
VV
Hv = I − H
− H
(V V ) (V V )
|
{z
}
= Pv⊥ − Pv
⊥
Hv x = Pv⊥ x − Pv x = x⊥
v − xv = xv + (−xv )
H
2
Hv = I Hv = Hv
Ödev:
Hv .Hv = I oldu§unu gösteriniz.
V Nasl
 seçilir?
X1
 X2 
 
X =  .. 
 . 
Xn n×1
Amaç ,bu X vektörünü öyle bir Hv ile çarpmak ve sonuçta
x2 = x3 = · · · = xn = 0 yapmak.
Amaç:  
 
α
1
0
0
 
 
0
 
Hv x =  
= α 0
= αe1
 .. 
 .. 
.
.
0 n×1
0 n×1
"
⇒ I −2
VV
H
#
x = αe1
H
(V V )
H
(V x)V
x−2
= αe1
H
(V V )
H
H
(V x)
(V x)
⇒ x − αe1 = 2 H
(2 H
·V
= 1kabul edersek)
(V V )
(V V )
kHv xk = kαe1 k
Hv :ünitary.
⇒ kxk = α)
(Not:Hv x = αe1
x − αe1 = V
x ± kxke1 = V
⇒ V = x + sign(x1 )kxke1

x
x
A = 
x
x
Step1

α1
0
H1 A = 
0
0
H1 : 4 × 4
x
x
x
x

x
x

x
x
x
x
x
x

x
x

x
x
genel olarak Am×n , m > n
v1 v H
1
kv 1 k2
v 1 = x + sign(x1 )kxke1 4 × 1
e1 = [1000]T
V1 : 4 × 1
Step2
H2 : 3 × 3
v2vH
2
H2 = I − 2
kv 2 k2
v 2 = y + sign(y1 )kyke1 3 × 1
 
"
#
0
T
1 0

Q2 = T
0 = 0
0 H2
0
H1 = Q = I − 2
2×2
Step3:
H3 : 2 × 2
V2 : 3 × 1

α1 x
 0 α2
Q2 Q1 A = 
0 0
0 0

x
x

x
x
v3vH
3
kv 3 k2
v 3 = z + sign(z1 )kzke1 2 × 1
V3 : 2 × 1




α1 x x
T
1 0 0
 0 α2 x 
0



0=
Q3 Q2 Q1 A = 
Q3 = 0 1 0T 
 0 0 α3  = R
0
0 0 H3
0 0 0
3×3
H3 = I − 2
Sonuçta :
Q3 Q2 Q1 A = R
QH
Q Q Q A = QH
3 R
| 3{z }3 2 1
I
H
QH
Q Q A = QH
2 Q3 R
| 2{z }2 1
I
H H
QH
Q A = QH
1 Q2 Q3 R
| 1{z }1
I
H H
⇒ A = QH
1 Q2 Q3 R
| {z }
Q
⇒ A = QR
H H
Q = QH
, QH = Q3 Q2 Q1
1 Q2 Q3
Denklem sistemi
Ax = b
QRx = b
c
Rx = QH b =
d
Problem R1 X = C sistemi çözümüne indirgenmi³tir.
R1 üst üçgensel bir matris oldu§undan çözüm geri yerine koyma yöntemiyle
kolaylkla bulunabilir.
Not:
2. ve 3. admdaki Q2 ve Q3 'ler
Q2 4×4
Ṽ2 Ṽ2H
=I −2
kṼ2 k2
Q3 4×4 = I − 2
Ṽ3 Ṽ3H
kṼ3 k2
0
Ṽ2 =
Ṽ2 4×1
 
0

Ṽ3 = 0 
Ṽ3 4×1
4.4
QR Yöntemi le Denklem Sistemi Çözümü
Matlab Örne§i
A = [788;
 862; 173; 073; 695]
788
862
 

A=
173
073
695
0
b = [4726242339]

47
26
 

b=
24
23
39
[m, n] = size(A)
m=
5
n=
3
− − − − − − − − − − − − − − − − − − − − − − − − − − − − − − −−
function v = makehouse(x)
%
% Make the Householder vector v such that
Hx has zeros in
% all but the rst component
%
% function v = makehouse(x)
%
% x = vector to be transformed
%
% v = Householder vector
c 1999 by Todd K. Moon
%
v = x(:);
nv = norm(v);
if (abs(x(1)) == nv)
v = 0 ∗ v;
else
if (v(1))
v(1) = v(1) + sign(v(1)) ∗ nv;
else
v(1) = v(1) + nv;
end
end
. >> v = makehouse(A(:, 1));
−−−
 − − − −− − − − − − − − − − − − − − − − − − − − − − − − − − − − − −
19.2474
 8.0000 

v=
 0 
6.0000
a = 
A(:, 1)
7
8
 

a=
1
0
6
na = (a0 ∗ a)0 .5
na =
12.2474
e1 = [10000]
e1 =
[10000]
e1 = na ∗ e1
e1 =
[12.2474 0000]
e1 = 
e01

12.2474
 0 



e1 = 
 0 
 0 
0
v = a + e1 
19.2474
 8.0000 



1.0000
v=


 0 
6.0000
eye(5, 5)


1 0 0 0 0
0 1 0 0 0



0
0
1
0
0
ans = 


0 0 0 1 0
0 0 0 0 1
H1 = eye(5, 5) − 2 ∗ v ∗ v 0 /(v 0 ∗ v)

−0.5715 −0.6532 −0.0816
0
−0.4899
−0.6532 0.7285 −0.0339
0
−0.2036



−0.0816
−0.0339
0.9958
0
−0.0225
H1 = 




0
0
0
1.0000
0
−0.4899 −0.2036 −0.0255
0
0.8473
Q1 = H1

−0.5715 −0.6532 −0.0816
0
−0.4899
−0.6532 0.7285 −0.0339
0
−0.2036



−0.0816
−0.0339
0.9958
0
−0.0225
Q1 = 




0
0
0
1.0000
0
−0.4899 −0.2036 −0.0255
0
0.8473
A1 = Q1 ∗ A

−12.2474 −13.4722 −8.5732
 −0.0000 −2.9247 −4.8885



−0.0000
5.8844
2.1389
A1 = 



0
7.0000
3.0000 
−0.0000
2.3065 −0.1664
a1 = A
 1 (2 : 5, 2)
−2.9247
 5.8844 

a1 = 
 7.0000 
2.3065
0
0
v2 = a1 − (sqrt(a
 1 ∗ a1 )) ∗ [1000]
−12.7989
 5.8844 

v2 = 
 7.0000 
2.3065
H2 = eye(4, 4) − 2 ∗ v2 ∗ v20 /(v20 ∗ v2 )

−0.2962 0.5959
0.7089
0.2336
 0.5959
0.7260 −0.3259 −0.1074

H2 = 
 0.7089 −0.3259 0.6123 −0.1278
0.2336 −0.1074 −0.1278 0.9579
Q2 = zeros(5, 5)

0
0

Q2 = 
0
0
0

0 0 0 0
0 0 0 0

0 0 0 0

0 0 0 0
0 0 0 0


1 0 0 0 0
0 0 0 0 0



Q2 = 
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
Q2 (2
 : 5, 2 : 5) = H2

1.0000
0
0
0
0
 0
−0.2962 0.5959
0.7089
0.2336 



0
0.5959
0.7260
−0.3259
−0.1074
Q2 = 


 0
0.7089 −0.3259 0.6123 −0.1278
0
0.2336 −0.1074 −0.1278 0.9579
A2 = Q2 ∗ A1

−12.2474 −13.4722 −8.5732
 0.0000
9.8742
4.8105 



A2 =  −0.0000 −0.0000 −2.3203

 −0.0000 −0.0000 −2.3046
0
−1.9142
 −0.0000
−2.3203

a3 = −2.3046
−1.9142
0
0
v3 = a3 − (sqrt(a
3 ∗ a3 )) ∗ [1 0 0]

−6.1096

v3 = −2.3046
−1.9142
H3 = eye(3, 3) − 2 ∗ v3 ∗ v30 /(v30 ∗ 
v3 )
−0.6123 −0.6082 −0.5052
H3 = −0.6082 0.7706 −0.1906
−0.5052 −0.1906 0.8417
Q3 = zeros(5, 5) 
0 0 0 0 0
0 0 0 0 0



Q3 = 
0 0 0 0 0
0 0 0 0 0
0 0 0 0 0
Q3(1 : 2, 1 : 2) = eye(2, 2)


1 0 0 0 0
0 1 0 0 0



0
0
0
0
0
Q3 = 


0 0 0 0 0
0 0 0 0 0
Q3(3
 : 5, 3 : 5) = H3

1.0000
0
0
0
0
 0

1.0000
0
0
0



0
0
−0.6123
−0.6082
−0.5052
Q3 = 


 0
0
−0.6082 0.7706 −0.1906
0
0
−0.5052 −0.1906 0.8417
A3 = Q3 ∗ A2

−12.2474 −13.4722 −8.5732
 0.0000
9.8742
4.8105 



0.0000
0.0000
3.7893
A3 = 


 0.0000
−0.0000 −0.0000
−0.0000
0.0000
0
U = A3 (1 : 3, :)

−12.2474 −13.4722 −8.5732
9.8742
4.8105 
U =  0.0000
0.0000
0.0000
3.7893
Qh = Q3 ∗ Q2 ∗ Q1

−0.5715 −0.6532 −0.0816
0
−0.4899
 0.0304 −0.2836 0.5975
0.7089
0.2431 



Qh =  0.7795 −0.5901 −0.1516 −0.1083 −0.0974

 0.0695
0.1682 −0.6686 0.6944 −0.1940
−0.2448 −0.3413 −0.4078 −0.0596 0.8086
b 
47
26
 

b=
24
23
39
Qh 

−0.5715 −0.6532 −0.0816
0
−0.4899
 0.0304 −0.2836 0.5975
0.7089
0.2431 



Qh =  0.7795 −0.5901 −0.1516 −0.1083 −0.0974

 0.0695
0.1682 −0.6686 0.6944 −0.1940
−0.2448 −0.3413 −0.4078 −0.0596 0.8086
z = Qh ∗ b


−64.9115
 34.1800 



11.3680
z=


 0.0000 
0


−64.9115
c =  34.1800 
11.3680
m = 3;
x(3) = c(3)/U (3, 3)
x = [0 0 3.0000]
.........................................................
Geri yerine koyma Matlab kodu:
m=3;
x(m)=c(m)/U(m,m);
for j=m-1:-1:1;
tmp=0;
for k=j+1:m;
tmp=tmp+U(j,k)*x(k);
end
x(j)=(1/U(j,j))*(c(j)-tmp);
end
.........................................................
yukardaki kod kullanlabilir veya manual olarak tek tek ³u ³ekilde hesaplanabilir:
>> x(2) = (1/U (2, 2)) ∗ (c(2) − U (2, 3) ∗ x(3))
x=
0 2.0000 3.0000
>> x(1) = (1/U (1, 1)) ∗ (c(1) − [U (1, 2) ∗ x(2) + U (1, 3) ∗ x(3)])
x=
1.0000 2.0000 3.0000
Bölüm 5
Bölüm5
5.1
Optimizasyon(En yileme)
Tanm kümesi Ω : {x : x ≥ 0}
x1 :kesin lokal minimum
x2 : maksimum
x3 : lokal minimum
∂f (x)
∂f (x)
∂f (x)
|x=x1 = 0
,
|x=x2 = 0 ,
|x=x3 = 0
∂x
∂x
∂x
↓
↓
↓
∂ 2 f (x)
∂ 2 f (x)
∂ 2 f (x)
|x=x1 > 0
,
|x=x2 < 0
,
|x=x3 > 0
2
2
∂x2
∂x
∂x
Tanm: f : Rn → R
ε > 0 ve x ∈ R
|x − x∗ | < ε için f (x) ≥ f (x∗ ) sa§layan x∗ ∈ R noktasna lokal minimum
noktas denir.
E§er f (x) > f (x∗ ) ∀x için x∗ noktasna kesin lokal minimum denir.
47
Tüm x ∈ R kümesi içinde f (x) ≥ f (x∗ ) sa§layan x ∈ R noktasna global minimum
denir.
Gradyan Operatörü: (∇x )
 
x1
 x2 
 
x =  .. 
.
xn


∂f (x)
1
 ∂f∂x(x)

 ∂x2 


∇x f (x) =  . 
 .. 
∂f (x)
∂xn
f (x) : Rn → R
n×1
Hessian Matrisi(H)
∂ 2f
 ∂x1 ∂x1
 2
 ∂ f

H = ∇x f (x) = 
 ∂x2.∂x1

..

 ∂ 2f
∂xn ∂x1

∂ 2f
···
∂x1 ∂x2
∂ 2f
···
∂x2 ∂x2
..
..
.
.
∂ 2f
···
∂xn ∂x2

∂ 2f
∂x1 ∂xn 

∂ 2f 

∂x2 ∂xn 

..

.

2
∂ f 
∂xn ∂xn n×n
Minumum çin Gerekli Ko³ul:
1. E§er x∗ f fonksiyonun Ω tanm kümesinde lokal minimum noktas ise ,
[∇f (x∗ )]T d ≥ 0
d, x∗ noktasndaki uygulanabilir yön vektörü.
2. ∇f (x∗ ) = o
3. Verilen x∗ noktas için Hessian matrisi pozitif semidenite bir matris
olmal
T
< ∇2 f (x∗ ) d, d >= d · ∇2 f (x∗ )d ≥ 0
| {z }
H
Örnek:
x = [x1 x2 ]T
f (x) = 3x21 + 2x1 x2 + 3x21 − 20x1 + 4x2
x1 ≥ 0 x2 ≥ 0 için minimum noktas?
∂f
∂f
= 6x1 + 2x2 − 20
= 2x1 + 6x2 + 4
∂x1
∂x2


∂f
6x1 + 2x2 − 20
0
 ∂x1 
∇f (x) =  ∂f  =
=
2x1 + 6x2 + 4
0
∂x∗ 2 x
4
Çözüm: x∗ = 1∗ =
x2
−2
f (x∗ ) = f (4, −2) = −44 x∗ ≥ 0 ko³ulunu sa§lamyor.
x∗1 ≥ 0 x∗2 ≥ 0 → snrlandrmalar(constraint)
gözönüne alrsak :
∗ 10 x1
minimum nokta → ∗ = 3
0
x2
10
fonksiyonun
10 lokal minimumu→10f ( 3 , 0) = −33,
33
+
2.0
−
20
6.
0
∗
∗
3
3
için → ∇f (x ) =
x =
= 32
10
0
2. 3 + 6.0 + 4
3
o:global minimum
x:snrlandrlm³(constraint)minimum
d
(f (g(x))) = f 0 (g(x))g 0 (x)
dx
Örnek:
f (x, y) = x2 y
g(x, y) = 3y 2 x
h(x, y) = x − 2y
F (x, y) = f (g(x, y), h(x, y)) = (3y 2 x)2 (x − 2y)
∂F
∂x
∂F
∂y
=?
=?
v = g(x, y) ,w = h(x, y) −→ u = f (v, w) = v 2 w
∂F
∂x
=
∂u
∂x
= 2vw = 2g(x, y).h(x, y) = 2(3y 2 x)(x − 2y) = 6x2 y 2 − 12xy 3
∂v
∂x
= 3y 2
∂u
∂w
= v 2 = (3y 2 x)2 = 9x2 y 4
∂w
∂x
=1
∂u
∂x
∂u
∂v
=
·
∂v
∂x
+
∂u
∂w
·
∂w
∂x
=
∂F
∂x
5
= (6x2 y 2 − 12xy 3 )3y 2 + 9x2 y 4 = 18x2 y 4 − 36xy 5 + 9x2 y 4 = 27x2 y 4 −
36xy Genel olarak x1 , x2 , · · · , xn ba§msz de§i³kenler
g1 (x1 , x2 , · · · , xn ), g2 (x1 , x2 , · · · , xn ), · · · , gm (x1 , x2 , · · · , xn )
F (x1 , x2 , · · · , xn ) = f (g1 , g2 , · · · , gn )
∂F
∂xj
=
=
∂f
∂g1
Pm
i=1
·
∂g1
∂xj
Di : i. argümann türevi
Di f gi
+
∂f
∂g2
·
∂g2
∂xj
+ ··· +
∂f
∂gm
·
∂gm
∂xj
Örnek:
f (x1 , x2 ) = 3x31 x32 − 2x21 x2 + 5
∇ f :?
H =? x1 = 1, x2 = 1
 ∂f  
 x
 
3
6x1 x2 − 4x1 x2
2
∂x1
 |x1 =1,x2 =1 =  
∇x f =   = 
∂f
9x21 x22 − 2x1
7
∂x2
Hessian


 

 ∂ ∂matrisi
f ∂x∂ 1 ∂x∂ 2 f
2 14
6x32 − 4x2
18x1 x22 − 4x1
∂x1 ∂x1

=

=
H=
∂ ∂
∂ ∂
2
2
18x1 x2
14 18
18x1 x2 − 4x1
f ∂x2 ∂x2 f
∂x2 ∂x1
x1 =1,x2 =1
Örnek:
Ölçüm de§erleri : (x1 , y1 ), (x2 , y2 ), · · · , (xn , yn )
least− squares çözümü a ve b'yi verir?
y = ax + b a =?, b =?
model:y = ax + b
ölçüm xi , yi
1.ölçüm:e1 = y − y1 = (ax1 + b) − y1
2.ölçüm:e2 = y − y2 = (ax2 + b) − y2
..
.
n.ölçüm:en = y − yn = (axn + b) − yn
Amaç: hatalarn karelerinin ortalamasn minimize eden a ve b de§erlerini
bulmak . P
J(a, b) = n1 ni=1 e2i −→ hatalarn karelerinin ortalamas(mean squared errorMSE)  
∂J
∂a
0
→ MSE'yi minimum yapan de§er Minimum Mean Squ5J =   =
0
∂J
∂b
ared Error(MMSE) -Least Squares(LS)
Ödev:
y = ax + b −→ J(a, b)
y = ax2 + bx + c −→ J(a, b, c)
5.2
Ko³ullu (Constraint) Optimizasyon
Problem tanm:minf (x)
Ko³ul

h1 (x) = 0 


h2 (x) = 0 
e³itlik ko³ullar
..

.


h (x) = 0 
m
g1 (x) ≤ 0
g2 (x) ≤ 0
..
.








gp (x) ≤ 0 
h̄ = (h1 , h2 , · · · , hm )
ḡ = (g1 , g2 , · · · , gp )
x∈ Ω , Ω ∈ Rn
Yukardaki problem tekrar yazlrsa
minf (x̄)
h̄(x̄) = 0̄
ḡ(x̄) ≤ 0 x̄ ∈ Rn
e³itsizlik ko³ullar
E³itlik ko³ulu:
Teorem: (E³itlik snrlamas için gerekli ko³ul)
x̄∗ noktas f fonksiyonunun h̄(x̄) = 0 ko³ulu altnda lokal ekstremum noktas
için a³a§daki ko³ulu sa§lamas gerekir.
∇f (x̄∗ ) + ∇h̄(x̄∗ ).Λ = 0
Λ ∈ Rm says
Pm lagrange∗ çarpan olarak adlandrlr.
∗
∇f (x̄ ) + i=1 ∇hi (x̄ ).Λi = 0
Lagrange fonksiyonu:
L(x̄, Λ̄) = f (x̄) + h̄(x̄)T .Λ̄
∇x L(x̄, Λ̄) = 0
∇Λ L(x̄, Λ̄)
min veya max oldu§unu bulmak için 2.derece ko³ullar:
P
∂ 2 h̄k (x̄)
Fn×n (x̄, Λ̄) = m
xk ← H matrisinin (i,j). eleman
k=1
∂xi ∂xj
∂ 2 f (x̄)
← F matrisinin (i,j). eleman
Hn×n (x̄) =
∂xi ∂xj
L(x̄∗ ) = H(x̄∗ ) + F (x̄∗ , Λ)
L(x̄∗ ) pozitif semidenite bir matris ise bulunan x̄∗ noktas minimum noktasdr.
Örnek:
f (x1 , x2 ) = 3x21 + 4x22 + 6x1 x2 − 8x2 − 6x1
Snrlama:h1 (x1 , x2 ) = x1 + x2 − 9 = 0
verilen ko³ulda f'yi minimize eden de§eri(x∗1 =?, x∗2 =?)
çözüm: x̄ = [x1
x2 ]T , Lagrange çarpan Λ1
L(x̄1 Λ1 )= f(x̄) + Λ1 h1 (x̄)
∇x L =
∂L
∂x1
∂L
∂x2
L(x̄, Λ1 ) = (3x21 + 4x22 + 6x1 x2 − 8x2 − 6x1 ) + Λ1 (x1 + x2 − 9)
∂L
∂x1
∂L
∂x2
∂L
∂Λ1

= 6x1 + 6x2 − 6 + Λ1 (∗) 
= 8x2 + 6x1 − 8 + Λ1 (∗∗)
3 bilinmeyenli 3 denklem .

= x1 + x2 − 9(∗ ∗ ∗)
(∗∗) − (∗) → 2x2 − 2 = 0 ⇒ x∗2 = 1
(∗ ∗ ∗) → x∗1 = 8
(*)'de x∗1 ve x∗2 yerine yazlrsa → Λ1 = −48
∗ x
8
∗
x̄ = 1∗ =
x2
1
Örnek:
Bir önceki örnekte h1 (x̄) = x21 + x22 − 9 = 0 verilirse
Örnek:
üstteki örnekte
h1 (x1 , x2 ) = x21 + x22 − 9 = 0
x∗1 =? x∗2 =?
h1 (x1 , x2 ) = 2x1 − x2 − 4 = 0
L(x̄, Λ̄) = f (x̄) + Λ1 h1 (x̄) + Λ2 h2 (x̄)
x∗1 , x∗2 =?
5.3
Ara Snav Çözümleri
b)MATLAB
9 15
A(2 : 3, 1 : 2 : 4) =
20 30
c)B(1,:)*A(:,1)
d)B(2,:)*A(:,3)


α
2) x̄1 = −1
2


1
x̄2 = −1
1

a) < x̄1 , x̄2 >= x̄T1 .x̄2 = [α

1
− 1 2] −1 = α + 1 + 2 = 0 ⇒
1
α = −3
b) x̄1 ⊥x̄2 oldu§undan ē1 ve ē2 'yi bulurken normlarna bölmemiz
yeterli

  12
−3
p
√
T


[−3 − 1 2] −1 = 14
kx̄1 k = x̄1 .x̄1 =
2
 
−3
x̄1
1

ē1 = kx̄1 k = √14 −1
2

  12
1
p
√
T


[1 − 1 1] −1 = 3
kx̄2 k = x̄2 .x̄2 =
1
 
1
ē2 = kx̄x̄22 k = √13 −1
1
 
3

c) ȳ = −2
1
ȳ1
ȳ2 =?


−3
√
 14 
 −1 


< ȳ, ē1 >= [3 − 2 1]  √  = √−5
14
 14 
 2 
√
14

1
√
 3
 −1 


− 2 1]  √  =
 3
 1 
√
3

< ȳ, ē2 >= [3
√6
3
√
=2 3
ȳ =
−5
√
ē
14 1
√
+ 2 3ē2


2 5 9
3) A = 1 4 7
3 2 1
a) without pivoting −→ L =?
a31
a21
= 12 ,
= 32
a11 
a11


1 0 0
2 5
9
−11
a32
−1
3
5 



1
0
0
A1 = 2
A=
←−
= 23
2
2
a22
−3
−11
−25
2
2

 2 0 1
0 2
1 0 0
2 5 9
1 0
3
5 




A2 = 0 1 0 A1 = 0 2 2
L = 12 1
3
−11
0 11
1
0 0 −10
3
3
2
3
b) pivoting −→ E2 =?
| a31 |>|
 a11 |−→
 S3
0 0 1
P13 = 0 1 0
1 0 
0
3 2

A1 = P13 A = 1 4
2 5
=

0
0 X
1
←→ S1

1
7 aa31
=
11
9

2
3
1

E2 = 0
−2
3
−11
3

0 0
1 0 X
0 1