Hesse-Matrix

Die nach Otto Hesse benannte Hesse-Matrix ist eine quadratische Matrix, die in der mehrdimensionalen reellen Analysis ein Analogon zur zweiten Ableitung einer Funktion ist.

Die Hesse-Matrix taucht bei der Approximation einer mehrdimensionalen Funktion in der Taylor-Entwicklung auf. Sie ist unter anderem in Zusammenhang mit der Optimierung von Systemen von Bedeutung, die durch mehrere Parameter beschrieben werden, wie sie beispielsweise in den Wirtschaftswissenschaften, in der Physik, theoretischen Chemie oder in den Ingenieurwissenschaften häufig auftreten.

Sei f : D ⊂ R n → R {\displaystyle f\colon D\subset \mathbb {R} ^{n}\to \mathbb {R} } eine zweimal stetig differenzierbare Funktion. Dann ist die Hesse-Matrix von f {\displaystyle f} am Punkt x = ( x 1 , … , x n ) ∈ D {\displaystyle x=(x_{1},\ldots ,x_{n})\in D} definiert durch

H f ⁡ ( x ) := ( ∂ 2 f ∂ x i ∂ x j ( x ) ) i , j = 1 , … , n = ( ∂ 2 f ∂ x 1 ∂ x 1 ( x ) ∂ 2 f ∂ x 1 ∂ x 2 ( x ) ⋯ ∂ 2 f ∂ x 1 ∂ x n ( x ) ∂ 2 f ∂ x 2 ∂ x 1 ( x ) ∂ 2 f ∂ x 2 ∂ x 2 ( x ) ⋯ ∂ 2 f ∂ x 2 ∂ x n ( x ) ⋮ ⋮ ⋱ ⋮ ∂ 2 f ∂ x n ∂ x 1 ( x ) ∂ 2 f ∂ x n ∂ x 2 ( x ) ⋯ ∂ 2 f ∂ x n ∂ x n ( x ) ) . {\displaystyle \operatorname {H} _{f}(x):=\left({\frac {\partial ^{2}f}{\partial x_{i}\partial x_{j}}}(x)\right)_{i,j=1,\dots ,n}={\begin{pmatrix}{\frac {\partial ^{2}f}{\partial x_{1}\partial x_{1}}}(x)&{\frac {\partial ^{2}f}{\partial x_{1}\partial x_{2}}}(x)&\cdots &{\frac {\partial ^{2}f}{\partial x_{1}\partial x_{n}}}(x)\\[0.5em]{\frac {\partial ^{2}f}{\partial x_{2}\partial x_{1}}}(x)&{\frac {\partial ^{2}f}{\partial x_{2}\partial x_{2}}}(x)&\cdots &{\frac {\partial ^{2}f}{\partial x_{2}\partial x_{n}}}(x)\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial ^{2}f}{\partial x_{n}\partial x_{1}}}(x)&{\frac {\partial ^{2}f}{\partial x_{n}\partial x_{2}}}(x)&\cdots &{\frac {\partial ^{2}f}{\partial x_{n}\partial x_{n}}}(x)\end{pmatrix}}.}

Mit ∂ 2 f ∂ x i ∂ x j {\displaystyle {\tfrac {\partial ^{2}f}{\partial x_{i}\partial x_{j}}}} werden die zweiten partiellen Ableitungen bezeichnet. Die Hesse-Matrix entspricht der Transponierten der Jacobi-Matrix des Gradienten, ist aber bei stetigen zweiten Ableitungen wegen der Vertauschbarkeit der Differentiationsreihenfolge symmetrisch,^[1] so dass das Transponieren der Matrix keine Änderung bewirkt.

• Für f : R 2 → R {\displaystyle f\colon \mathbb {R} ^{2}\to \mathbb {R} } , f ( x , y ) = x 3 + y 3 − 3 x y {\displaystyle f(x,y)=x^{3}+y^{3}-3xy} gilt

∂ f ∂ x ( x , y ) = 3 x 2 − 3 y {\displaystyle {\tfrac {\partial f}{\partial x}}(x,y)=3x^{2}-3y} und ∂ f ∂ y ( x , y ) = 3 y 2 − 3 x {\displaystyle {\tfrac {\partial f}{\partial y}}(x,y)=3y^{2}-3x} ,

und für die zweiten Ableitungen dementsprechend:

∂ 2 f ∂ x ∂ x ( x , y ) = 6 x {\displaystyle {\tfrac {\partial ^{2}f}{\partial x\partial x}}(x,y)=6x} und

∂ 2 f ∂ x ∂ y ( x , y ) = − 3 {\displaystyle {\tfrac {\partial ^{2}f}{\partial x\partial y}}(x,y)=-3} , beziehungsweise

∂ 2 f ∂ y ∂ x ( x , y ) = − 3 {\displaystyle {\tfrac {\partial ^{2}f}{\partial y\partial x}}(x,y)=-3} , sowie

∂ 2 f ∂ y ∂ y ( x , y ) = 6 y {\displaystyle {\tfrac {\partial ^{2}f}{\partial y\partial y}}(x,y)=6y} .

Somit ergibt sich die Hessematrix zu:

H f ⁡ ( x , y ) = ( 6 x − 3 − 3 6 y ) {\displaystyle \operatorname {H} _{f}(x,y)={\begin{pmatrix}6x&-3\\-3&6y\end{pmatrix}}} .

• Die Funktion r : R n → R {\displaystyle r\colon \mathbb {R} ^{n}\to \mathbb {R} } , r ( x ) = ‖ x ‖ = ∑ j = 1 n x j 2 {\displaystyle \textstyle r(x)=\|x\|={\sqrt {\sum _{j=1}^{n}x_{j}^{2}}}} , die jedem Vektor im R n {\displaystyle \mathbb {R} ^{n}} seine euklidische Norm zuordnet, ist für alle x ≠ 0 {\displaystyle x\neq 0} zweimal stetig differenzierbar und es gilt nach der Kettenregel

∂ r ∂ x j ( x ) = x j ‖ x ‖ {\displaystyle {\frac {\partial r}{\partial x_{j}}}(x)={\frac {x_{j}}{\|x\|}}}

sowie weiter nach der Quotientenregel

∂ 2 r ∂ x i ∂ x j ( x ) = δ i j ‖ x ‖ − x j x i ‖ x ‖ ‖ x ‖ 2 = 1 ‖ x ‖ δ i j − x i x j ‖ x ‖ 3 {\displaystyle {\frac {\partial ^{2}r}{\partial x_{i}\partial x_{j}}}(x)={\frac {\delta _{ij}\|x\|-x_{j}{\frac {x_{i}}{\|x\|}}}{\|x\|^{2}}}={\frac {1}{\|x\|}}\delta _{ij}-{\frac {x_{i}x_{j}}{\|x\|^{3}}}} ,

wobei δ i j = ∂ x j ∂ x i {\displaystyle \delta _{ij}={\frac {\partial x_{j}}{\partial x_{i}}}} das Kronecker-Delta bezeichnet. In Matrixschreibweise folgt also

H r ⁡ ( x ) = 1 ‖ x ‖ E n − 1 ‖ x ‖ 3 x x T {\displaystyle \operatorname {H} _{r}(x)={\frac {1}{\|x\|}}E_{n}-{\frac {1}{\|x\|^{3}}}xx^{T}}

mit der n × n {\displaystyle n\times n} -Einheitsmatrix E n {\displaystyle E_{n}} .

Die Taylor-Entwicklung einer zweimal stetig differenzierbaren Funktion f : D → R {\displaystyle f\colon D\to \mathbb {R} } mit D ⊆ R n {\displaystyle D\subseteq \mathbb {R} ^{n}} um eine Entwicklungsstelle a ∈ D {\displaystyle a\in D} beginnt mit

T ( x ) = f ( a ) + ( x − a ) T grad ⁡ f ( a ) + 1 2 ( x − a ) T H f ⁡ ( a ) ( x − a ) + … {\displaystyle T(x)=f(a)+(x-a)^{T}\operatorname {grad} f(a)+{\frac {1}{2}}(x-a)^{T}\operatorname {H} _{f}(a)(x-a)+\ldots }

Die Terme zweiter Ordnung dieser Entwicklung sind also durch die quadratische Form gegeben, deren Matrix die an der Entwicklungsstelle ausgewertete Hesse-Matrix ist.

Mit Hilfe der Hesse-Matrix lässt sich der Charakter der kritischen Punkte einer reellen Funktion auf R n {\displaystyle \mathbb {R} ^{n}} bestimmen. Dazu bestimmt man für die zuvor ermittelten kritischen Punkte die Definitheit der Hesse-Matrix.

• Ist die Matrix an einer Stelle positiv definit, so befindet sich an diesem Punkt ein lokales Minimum der Funktion.
• Ist die Hesse-Matrix dort negativ definit, so handelt es sich um ein lokales Maximum.
• Ist sie indefinit, dann handelt es sich um einen Sattelpunkt der Funktion.

Falls die Hesse-Matrix an der untersuchten Stelle nur semidefinit ist, so versagt dieses Kriterium und der Charakter des kritischen Punktes muss auf anderem Wege ermittelt werden. Welcher dieser Fälle vorliegt, kann – wie unter Definitheit beschrieben – zum Beispiel mit Hilfe der Vorzeichen der Eigenwerte der Matrix oder ihrer Hauptminoren entschieden werden.

Beispiel: Die Funktion f ( x , y ) = x 2 − y 2 {\displaystyle f(x,y)=x^{2}-y^{2}} hat in ( 0 , 0 ) {\displaystyle (0,0)} einen kritischen Punkt, aber H ( f ) ( 0 , 0 ) = ( 2 0 0 − 2 ) {\displaystyle H(f)(0,0)={\begin{pmatrix}2&0\\0&-2\end{pmatrix}}} ist weder positiv noch negativ definit und auch nicht semidefinit, sondern indefinit. Die Funktion hat in diesem Punkt kein Extremum, sondern einen Sattelpunkt, in dem sich zwei Höhenlinien schneiden.

Es besteht zudem ein Zusammenhang zwischen der positiven Definitheit der Hesse-Matrix und der Konvexität einer zweimal stetig differenzierbaren Funktion f {\displaystyle f} , die auf einer offenen, konvexen Menge D {\displaystyle D} definiert ist: Eine solche Funktion ist genau dann konvex, wenn ihre Hesse-Matrix überall in D {\displaystyle D} positiv semidefinit ist. Ist die Hesse-Matrix sogar positiv definit in D {\displaystyle D} , dann ist die Funktion auf D {\displaystyle D} strikt konvex.

Entsprechend gilt: Eine zweimal stetig differenzierbare Funktion f {\displaystyle f} ist auf ihrer konvexen Definitionsmenge D {\displaystyle D} genau dann konkav, wenn ihre Hesse-Matrix negativ semidefinit ist. Ist die Hessematrix sogar negativ definit auf D {\displaystyle D} , so ist f {\displaystyle f} auf D {\displaystyle D} strikt konkav.

Ist f {\displaystyle f} auf ihrer Definitionsmenge D {\displaystyle D} strikt konvex, so besitzt f {\displaystyle f} höchstens ein globales Minimum auf D {\displaystyle D} . Jedes lokale Minimum ist zugleich das (einzige) globale Minimum. Ist f {\displaystyle f} strikt konkav, so besitzt f {\displaystyle f} höchstens ein globales Maximum. Jedes lokale Maximum ist zugleich ihr (einziges) globales Maximum.^[2]

Der Laplace-Operator einer zweimal stetig differenzierbaren Funktion f : D → R {\displaystyle f\colon D\to \mathbb {R} } mit D ⊆ R n {\displaystyle D\subseteq \mathbb {R} ^{n}} ist gleich der Spur ihrer Hesse-Matrix und daher unabhängig von der Wahl der Koordinaten:

Δ f = S p u r ( H f ) {\displaystyle \Delta f=\mathrm {Spur} ({H}_{f})}

• Geränderte Hesse-Matrix

1. ↑ Otto Forster: Analysis 2. Differentialrechnung im Rⁿ, gewöhnliche Differentialgleichungen. 8. Auflage. Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0575-1, S. 78. 
2. ↑ Konvexe Funktionen. S. 16, archiviert vom Original (nicht mehr online verfügbar) am 2. November 2013; abgerufen am 16. September 2012. 

• Weiteres zum Zusammenhang Konvexität – Hesse-Matrix

• Konrad Königsberger: Analysis. Band 2. 3. überarbeitete Auflage. Springer-Verlag, Berlin u. a. 2000, ISBN 3-540-66902-7.