Lineare Regression

Die lineare Regression (kurz: LR) ist ein Spezialfall der Regressionsanalyse, also ein statistisches Verfahren, mit dem versucht wird, eine beobachtete abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären. Bei der linearen Regression wird dabei ein lineares Modell (kurz: LM) angenommen. Es werden also nur solche Zusammenhänge herangezogen, bei denen die abhängige Variable eine Linearkombination der Regressionskoeffizienten (aber nicht notwendigerweise der unabhängigen Variablen) ist. Der Begriff Regression bzw. Regression zur Mitte wurde vor allem durch den Statistiker Francis Galton geprägt.

Das einfache lineare Regressionsmodell (kurz: ELR) geht von lediglich zwei metrischen Größen aus: einer Einflussgröße X {\displaystyle X} und einer Zielgröße Y {\displaystyle Y} . Durch die einfache lineare Regression wird mithilfe zweier Parameter eine Gerade (Regressionsgerade) so durch eine Punktwolke gelegt, dass der lineare Zusammenhang zwischen X {\displaystyle X} und Y {\displaystyle Y} möglichst gut beschrieben wird. Die Gleichung der linearen Einfachregression ist gegeben durch

Y i = β 0 + β 1 x i + ε i , i = 1 , … , n {\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n} .

Die multiple lineare Regression (kurz: MLR) stellt eine Verallgemeinerung der einfachen linearen Regression dar, wobei nun K Regressoren angenommen werden, welche die abhängige Variable erklären sollen. Zusätzlich zu der Variation über die Beobachtungen wird also auch eine Variation über die Regressoren angenommen, wodurch sich ein lineares Gleichungssystem ergibt, das sich in Matrixnotation wie folgt zusammenfassen lässt:

y = X β + ε {\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;} mit ε ∼ N ( 0 , σ 2 I T ) {\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})} .

Das verallgemeinerte lineare Regressionsmodell (kurz: VLR) ist eine Erweiterung des multiplen linearen Regressionsmodells, bei dem zusätzlich Heteroskedastizität und Autokorrelation erlaubt ist. Die Varianz-Kovarianzmatrix der Fehlerterme ist dann nicht mehr σ 2 I T {\displaystyle \sigma ^{2}\mathbf {I} _{T}} , sondern eine nicht konstante Matrix Φ = σ 2 Ψ {\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}\mathbf {\Psi } } . In Matrixnotation lautet das Modell:

y = X β + ε {\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;} mit ε ∼ N ( 0 , σ 2 Ψ ) {\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}{\boldsymbol {\Psi }})} .

Wird zu dem bisherigen (klassischen) multiplen linearen Modell (kurz: KLM) auch die Annahme der Normalverteiltheit der Fehlerterme getroffen, dann spricht man auch von einem klassischen linearen Modell der Normalregression. Die Annahme der Normalverteilung der Fehlerterme wird benötigt, um statistische Inferenz durchzuführen, d. h., sie wird benötigt, um Konfidenzintervalle und Signifikanztests berechnen zu können.

y = X β + ε {\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}\;} mit ε ∼ N ( 0 , σ 2 I T ) {\displaystyle \;{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})} .

Das allgemeine lineare Paneldatenmodell lässt zu, dass der Achsenabschnitt und die Steigungsparameter zum einen über die Individuen i {\displaystyle i} (in Querschnittsdimension) und zum anderen über die Zeit t {\displaystyle t} variieren (nicht-zeitinvariant). Das allgemeine lineare Paneldatenmodell lautet:

y i t = α i t + x i t ⊤ β i t + ε i t , i = 1 , … , N ; t = 1 , … , T {\displaystyle y_{it}=\alpha _{it}+\mathbf {x} _{it}^{\top }{\boldsymbol {\beta }}_{it}+\varepsilon _{it},\;\;i=1,\dotsc ,N;\;\;t=1,\dotsc ,T}

mit der Varianz-Kovarianzmatrix:

Cov ⁡ ( ε ) = E ⁡ ( ε ε ⊤ ) = Σ ⊗ I T = Φ {\displaystyle \operatorname {Cov} ({\boldsymbol {\varepsilon }})=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } }

Hierbei ist y i t {\displaystyle y_{it}} eine skalar vorliegende abhängige Variable, x i t ⊤ {\displaystyle \mathbf {x} _{it}^{\top }} ist ein ( K × 1 ) {\displaystyle (K\times 1)} -Vektor von unabhängigen Variablen, ε i t {\displaystyle \varepsilon _{it}} ist ein skalar vorliegender Fehlerterm. Da dieses Modell zu allgemein ist und nicht schätzbar ist, wenn es mehr Parameter als Beobachtungen gibt, müssen bezüglich der Variation von α i t {\displaystyle \alpha _{it}} und β i t {\displaystyle \beta _{it}} mit i {\displaystyle i} und t {\displaystyle t} und bezüglich des Verhaltens des Fehlerterms einschränkende Annahmen getroffen werden. Diese zusätzlichen Restriktionen und die darauf aufbauenden Modelle sind Themen der linearen Paneldatenmodelle und der Paneldatenanalyse.

Lineare Modelle lassen sich dahingehend erweitern, dass keine feste Datenmatrix untersucht wird, sondern auch diese zufallsbehaftet ist. Dieses Modell nennt man generalisiertes lineares Modell (kurz: GLM). Die Untersuchungsmethoden ändern sich in diesem Fall nicht substantiell, werden aber deutlich komplizierter und damit rechenaufwendiger.

Das allgemeine lineare Modell (kurz: ALM) betrachtet die Situation, bei der die abhängige Variable Y {\displaystyle Y} kein Skalar, sondern ein Vektor ist. In diesem Fall wird ebenfalls konditionierte Linearität E ⁡ ( y ∣ X ) = X B {\displaystyle \operatorname {E} (\mathbf {y} \mid \mathbf {X} )=\mathbf {X} \mathbf {B} } wie beim klassischen linearen Modell angenommen, aber mit einer Matrix B {\displaystyle \mathbf {B} } , die den Vektor β {\displaystyle {\boldsymbol {\beta }}} des klassischen linearen Modells ersetzt. Multivariate Pendants zu der gewöhnlichen Methode der kleinsten Quadrate und zu der verallgemeinerten Methode der kleinsten Quadrate wurden entwickelt. Allgemeine lineare Modelle werden auch „multivariate lineare Modelle“ genannt. Diese sind aber nicht mit multiplen linearen Modellen zu verwechseln. Das allgemeine lineare Modell ist gegeben durch

Y = X B + U {\displaystyle \mathbf {Y} =\mathbf {X} \mathbf {B} +\mathbf {U} } .

Die orthogonale Regression (genauer: orthogonale lineare Regression) dient zur Berechnung einer Ausgleichsgeraden für eine endliche Menge metrisch skalierter Datenpaare ( x i , y i ) {\displaystyle (x_{i},y_{i})} nach der Methode der kleinsten Quadrate, wobei allerdings Fehler in x und y angenommen werden.

Um ein gewünschtes Verhalten der Regression zu gewährleisten und somit eine Überanpassung an den Trainingsdatensatz zu vermeiden, gibt es die Möglichkeit, den Regressionsterm mit Straftermen zu versehen, die als Nebenbedingungen auftreten.

Zu den bekanntesten Regularisierungen gehören hierbei:^[1]

• Die L 1 {\displaystyle L_{1}} -Regularisierung (auch LASSO-Regularisierung genannt): Durch β ^ = arg ⁡ min β ( ‖ y − X β ‖ 2 + λ ‖ β ‖ 1 ) {\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|_{1})} werden bevorzugt einzelne Elemente des Vektors β ^ {\displaystyle {\boldsymbol {\hat {\beta }}}} minimiert. Die übrigen Elemente des Vektors können jedoch (betragsmäßig) große Werte annehmen. Dies begünstigt die Bildung dünnbesetzter Matrizen, was effizientere Algorithmen ermöglicht.
• Die L 2 {\displaystyle L_{2}} -Regularisierung (auch Ridge-Regularisierung genannt): Durch β ^ = arg ⁡ min β ( ‖ y − X β ‖ 2 + λ ‖ β ‖ 2 ) {\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda \|{\boldsymbol {\beta }}\|^{2})} wird der gesamte Vektor β ^ {\displaystyle {\boldsymbol {\hat {\beta }}}} gleichmäßig minimiert, die Matrizen sind jedoch voller.
• Das elastische Netz: Hierbei wird durch den Ausdruck β ^ = arg ⁡ min β ( ‖ y − X β ‖ 2 + λ 2 ‖ β ‖ 2 + λ 1 ‖ β ‖ 1 ) {\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\boldsymbol {\beta }}{\arg \min }}(\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|^{2}+\lambda _{2}\|{\boldsymbol {\beta }}\|^{2}+\lambda _{1}\|{\boldsymbol {\beta }}\|_{1})} sowohl die L 1 {\displaystyle L_{1}} - als auch die L 2 {\displaystyle L_{2}} -Regularisierung durchgeführt.

Spezielle Anwendungen der Regressionsanalyse beziehen sich auch auf die Analyse von diskreten und im Wertebereich eingeschränkten abhängigen Variablen. Hierbei kann unterschieden werden nach Art der abhängigen Variablen und Art der Einschränkung des Wertebereichs. Im Folgenden werden die Regressionsmodelle, die an dieser Stelle angewandt werden können, aufgeführt. Nähere Angaben hierzu finden sich bei Frone (1997)^[2] und bei Long (1997).^[3]

Modelle für unterschiedliche Arten abhängiger Variablen (Generalisierte Lineare Modelle):

• Binär: Logistische Regression und Probit-Regression
• Ordinal: Ordinale logistische Regression und ordinale Probit-Regression
• Absolut: Poisson-Regression, negative binomiale Regression
• Nominal: Multinomiale logistische Regression

Modelle für unterschiedliche Arten eingeschränkter Wertebereiche:

• Zensiert: Tobit-Modell
• Gestutzt: gestutzte Regression
• Stichproben-selegiert (sample-selected): Stichproben-selegierte Regression

Für quantitative Wirtschaftsanalysen im Rahmen der Regressionsanalyse, beispielsweise der Ökonometrie, sind besonders geeignet:

• Wachstumsfunktionen, wie zum Beispiel das Gesetz des organischen Wachstums oder die Zinseszinsrechnung,
• Abschwingfunktionen, wie zum Beispiel die hyperbolische Verteilungsfunktion oder die Korachsche Preisfunktion,
• Schwanenhalsfunktionen, wie zum Beispiel die im Rahmen der logistischen Regression verwendete logistische Funktion, die Johnson-Funktion oder die Potenzexponentialfunktion,
• degressive Saturationsfunktionen, wie zum Beispiel die Gompertz-Funktion oder die Törnquist-Funktion.

• Norman R. Draper, Harry Smith: Applied Regression Analysis. 3. Auflage. Wiley, New York 1998, ISBN 0-471-17082-8.
• Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. Springer Verlag, Berlin / Heidelberg / New York 2007, ISBN 978-3-540-33932-8.
• Peter Schönfeld: Methoden der Ökonometrie. Berlin / Frankfurt 1969.
• Dieter Urban, Jochen Mayerl: Regressionsanalyse: Theorie, Technik und Anwendung. 2., überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.
• G. Judge, R. Carter Hill: Introduction to the Theory and Practice of Econometrics. Wiley, New York 1988, ISBN 0-471-62414-4.

1. ↑ Hui Zou, Trevor Hastie: Regularization and Variable Selection via the Elastic Net. (PDF; 185 kB).
2. ↑ M. R. Frone: Regression models for discrete and limited dependent variables. Research Methods Forum No. 2, 1997, online. (Memento vom 7. Januar 2007 im Internet Archive).
3. ↑ J. S. Long: Regression models for categorical and limited dependent variables. Sage, Thousand Oaks, CA 1997.