OLS Schätzer bestimmen < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 17:45 Do 03.12.2015 | | Autor: | xilef |
| Aufgabe | | Zeigen Sie, dass die OLS-Schätzer von den Steigungen in einem multiplen linearen Regressionsmodel, das einen Schnittpunkt (Konstante) enthält, durch die Transformation der Werte zu den Abweichungen von ihren Mitteln ermittelt werden kann und regressieren Sie die abhängige Variable y in Abweichungsform von den erklärenden Variablen (auch in Abweichungsform). Erklären Sie, wie man den OLS Schätzer von dem Schnittpunkt (Konstante) über die Steigungsschätzer erhalten kann. |
Hallo liebe Mathegemeinde,
folgende Aufgabe habe ich gestellt bekommen. Leider verstehe ich schon die Aufgabenstellung nicht:
Welche Daten soll ich transformieren? Und wie transformiere ich Daten von ihren Mitteln? Und was heißt Abweichungsform hier, einfach ein Term der die Beziehung schreibt?
Ich finde die Aufgabenstellung insgesamt sehr unglücklich formuliert.
Vielen Dank für jede Hilfe!
Xilef
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 06:48 Fr 04.12.2015 | | Autor: | luis52 |
Moin ,
Betrachte das Regressionsmodell [mm] $Y_i=\beta_0+\beta_1x_i+\beta_2z_i+U_i$. [/mm] Mit "Steigungen" sind die Paramter [mm] $\beta_1,\beta_2$ [/mm] gemeint, die "Konstante" ist [mm] $\beta_0$. [/mm] Zur Schaetzung liegen Daten vor: [mm] $(y_1,x_1,z_1),\dots,(y_n,x_n,z_n)$. [/mm] Die OLS-Schaetzer [mm] $\hat\beta_0,\hat\beta_1,\hat\beta_2$ [/mm] minimieren den Ausdruck
[mm] $\sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2$.
[/mm]
Die Transformation der Werte zu den Abweichungen von ihren Mitteln sind gegeben [mm] $\dot y_i=y_i-\bar [/mm] y$, wobei [mm] $\bar y=\sum_{i=1}^ny_i/n$ [/mm] das arithmetische Mittel der y-Werte ist. Das ist die Abweichungsform der y-Werte. Analog ist [mm] $\dot x_i$ [/mm] und [mm] $\dot z_i$ [/mm] definiert.
Deine Aufgabe besteht darin zu zeigen, wie zunaechst [mm] $\hat\beta_1,\hat\beta_2$ [/mm] berechnet werden kann mit [mm] $(\dot y_1,\dot x_1,\dot z_1),\dots,(\dot y_n,\dot x_n,\dot z_n)$. [/mm] Anschliessend ist eine Formel fuer [mm] $\hat\beta_0$ [/mm] anzugeben.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:21 Fr 04.12.2015 | | Autor: | xilef |
Moin,
ok, das habe ich alles soweit verstanden und nachvollziehen können.
Nach meinem Verständnis errechne ich [mm] \hat\beta [/mm] indem ich [mm] \sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2 [/mm] gleich null setze und entweder nach [mm] \hat\beta_1 [/mm] oder [mm] \hat\beta_2 [/mm] ableite?
Den Ausdruck in Matrixschreibweise ist ja nichts anderes als das Skalarprodukt des transponierten Residuenvektors mit dem Residuenvektor. Oder liege ich damit falsch?
Mir ist leider nicht klar wie ich von den Abweichungen zu den OLS-Schätzern kommen.
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:06 Fr 04.12.2015 | | Autor: | luis52 |
> Moin,
>
> ok, das habe ich alles soweit verstanden und nachvollziehen
> können.
>
> Nach meinem Verständnis errechne ich [mm]\hat\beta[/mm] indem ich
> [mm]\sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2[/mm] gleich null setze
> und entweder nach [mm]\hat\beta_1[/mm] oder [mm]\hat\beta_2[/mm] ableite?
>
Ohoh. Erst partiell ableiten, dann Null setzen!
> Mir ist leider nicht klar wie ich von den Abweichungen zu den OLS-Schätzern kommen.
Angenommen, [mm] $\hat\beta_1$ [/mm] und [mm] $\hat\beta_2$ [/mm] minimieren obige Summe. Welcher Wert [mm] $\hat\beta_0$ [/mm] minimiert dann
[mm]\sum_{i=1}^n((y_i-\hat\beta_1x_i-\hat\beta_2z_i)-b_0$)^2\,?[/mm]
Wie sieht dann
[mm]\sum_{i=1}^n(y_i-(\hat\beta_0+b_1x_i+b_2z_i))^2[/mm]
aus?
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 13:30 So 06.12.2015 | | Autor: | xilef |
> > Moin,
> >
> > ok, das habe ich alles soweit verstanden und nachvollziehen
> > können.
> >
> > Nach meinem Verständnis errechne ich [mm]\hat\beta[/mm] indem ich
> > [mm]\sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2[/mm] gleich null setze
> > und entweder nach [mm]\hat\beta_1[/mm] oder [mm]\hat\beta_2[/mm] ableite?
> >
>
>
> Ohoh. Erst partiell ableiten, dann Null setzen!
[mm] \sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2 [/mm] nach [mm] b_1 [/mm] abgeleitet ergibt doch [mm] \sum_{i=1}^n2(y_i-(b_0+b_1x_i+b_2z_i)) [/mm] oder nicht? Danach würde ich es nach [mm] b_1 [/mm] umstellen. Ist das richtig? Und was mache ich mit dem Summenzeichen?
>
> > Mir ist leider nicht klar wie ich von den Abweichungen zu
> den OLS-Schätzern kommen.
>
> Angenommen, [mm]\hat\beta_1[/mm] und [mm]\hat\beta_2[/mm] minimieren obige
> Summe. Welcher Wert [mm]\hat\beta_0[/mm] minimiert dann
>
> [mm]\sum_{i=1}^n((y_i-\hat\beta_1x_i-\hat\beta_2z_i)-b_0$)^2\,?[/mm]
[mm] b_0$ [/mm] = [mm] y_i-\hat\beta_1x_i-\hat\beta_2z_i [/mm] = 0 (1)
minimiert die Gleichung?
>
> Wie sieht dann
>
> [mm]\sum_{i=1}^n(y_i-(\hat\beta_0+b_1x_i+b_2z_i))^2[/mm]
>
> aus?
>
>
>
Könnte ich hier dann (1) einsetzen?
Woher weiß ich, dass [mm] \hat\beta_1 [/mm] und [mm] \hat\beta_2 [/mm] die Summe minimieren?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 15:51 So 06.12.2015 | | Autor: | luis52 |
> [mm]\sum_{i=1}^n(y_i-(b_0+b_1x_i+b_2z_i))^2[/mm] nach [mm]b_1[/mm]
> abgeleitet ergibt doch
> [mm]\sum_{i=1}^n2(y_i-(b_0+b_1x_i+b_2z_i))[/mm] oder nicht?
Nein, [mm]\red{-}\sum_{i=1}^n2\red{x_i}(y_i-(b_0+b_1x_i+b_2z_i))[/mm]
> Danach
> würde ich es nach [mm]b_1[/mm] umstellen. Ist das richtig? Und was
> mache ich mit dem Summenzeichen?
Leite noch nach [mm] $b_2$ [/mm] ab und vereinfache. Du sollst aber nicht diese Zielfunktion minimieren sondern die mit den Werten in Abweichungsform.
>
> >
> > > Mir ist leider nicht klar wie ich von den Abweichungen zu
> > den OLS-Schätzern kommen.
> >
> > Angenommen, [mm]\hat\beta_1[/mm] und [mm]\hat\beta_2[/mm] minimieren obige
> > Summe. Welcher Wert [mm]\hat\beta_0[/mm] minimiert dann
> >
> > [mm]\sum_{i=1}^n((y_i-\hat\beta_1x_i-\hat\beta_2z_i)-b_0$)^2\,?[/mm]
>
> [mm]b_0$[/mm] = [mm]y_i-\hat\beta_1x_i-\hat\beta_2z_i[/mm] = 0 (1)
Nein, das ist doch nicht eindeutig! Die Loesung lautet [mm]\hat\beta_0 = \bar y-\hat\beta_1\bar x-\hat\beta_2\bar z[/mm]. Das bedeutet, dass nur $ [mm] \sum_{i=1}^n(y_i-((\bar y-b_1\bar x-b_2\bar z)+b_1x_i+b_2z_i))^2$ [/mm] bzgl. [mm] $b_1,b_2$ [/mm] zu minimieren ist. Vereinfache!
>
> minimiert die Gleichung?
>
> >
> > Wie sieht dann
> >
> > [mm]\sum_{i=1}^n(y_i-(\hat\beta_0+b_1x_i+b_2z_i))^2[/mm]
> >
> > aus?
> >
> >
> >
> Könnte ich hier dann (1) einsetzen?
>
> Woher weiß ich, dass [mm]\hat\beta_1[/mm] und [mm]\hat\beta_2[/mm] die Summe
> minimieren?
Diese Werte bestimmst du spaeter. Wenn aber [mm]\hat\beta_1[/mm] und [mm]\hat\beta_2[/mm] die Summe minimieren, dann ist zwangslaeufig [mm]\hat\beta_0 = \bar y-\hat\beta_1\bar x-\hat\beta_2\bar z[/mm].
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 14:31 Mo 07.12.2015 | | Autor: | xilef |
$ [mm] \sum_{i=1}^n(y_i-((\bar y-b_1\bar x-b_2\bar z)+b_1x_i+b_2z_i))^2 [/mm] $
Ich habe nun die Summe vereinfacht, in dem ich [mm] b_1 [/mm] und [mm] b_2 [/mm] ausgeklammert habe:
$ [mm] \sum_{i=1}^n(y_i-\bar y+b_1(\bar x-x_i)+b_2(\bar z-z_i))^2 [/mm] $
Wenn ich diese minimiere, dann würde ich partiell nach [mm] \beta_1 [/mm] und [mm] \beta_2 [/mm] ableiten:
$ [mm] \sum_{i=1}^n2*(\bar x-x_i)*(y_i-\bar y+b_1(\bar x-x_i)+b_2(\bar z-z_i))$
[/mm]
Scheint mir etwas zu lang als Lösung für [mm] \hat \beta_1?
[/mm]
Ich hoffe, du hattest ebenso einen schönen 2. Advent!
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 16:03 Mo 07.12.2015 | | Autor: | luis52 |
> [mm]\sum_{i=1}^n(y_i-((\bar y-b_1\bar x-b_2\bar z)+b_1x_i+b_2z_i))^2[/mm]
>
> Ich habe nun die Summe vereinfacht, in dem ich [mm]b_1[/mm] und [mm]b_2[/mm]
> ausgeklammert habe:
>
> [mm]\sum_{i=1}^n(y_i-\bar y+b_1(\bar x-x_i)+b_2(\bar z-z_i))^2[/mm]
Oder [mm]\sum_{i=1}^n(y_i-\bar y-b_1(x_i-\bar x)-b_2(z_i-\bar z))^2[/mm] Variablen sind dann in Abweichungsform.
>
> Wenn ich diese minimiere, dann würde ich partiell nach
> [mm]\beta_1[/mm] und [mm]\beta_2[/mm] ableiten:
>
> [mm]\sum_{i=1}^n2*(\bar x-x_i)*(y_i-\bar y+b_1(\bar x-x_i)+b_2(\bar z-z_i))[/mm]
Du musst nach [mm] $b_1,b_2$ [/mm] partiell ableiten. (Die optimierenden Werte werden als [mm] $\hat\beta_1,\hat\beta_2$ [/mm] bezeichnet.) Tipp: Rechne mit z.B. [mm] $\tilde y_i=y_i-\bar [/mm] y-b$, [mm] $\tilde x_i=x_i-\bar [/mm] x$ und [mm] $\tilde z_i=z_i-\bar [/mm] z$ ...
>
> Scheint mir etwas zu lang als Lösung für [mm]\hat \beta_1?[/mm]
Das war's ja auch noch nicht. Du musst zwei partielle Ableitungen gleich Null setzen. So erhaeltst du zwei lineare Gleichungen in [mm] $b_1,b_2$.
[/mm]
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 01:11 Di 08.12.2015 | | Autor: | xilef |
Ok.
Ich schreibe morgen meine Lösungen. Eine andere Frage vorab. Könnte man die Lösung auch in Matrix-Schreibweise geben? Ich frage nur, weil häufig Beides möglich ist und wir häufig die Matrix-Schreibweise benutzen.
Eine gute Nacht wünscht,
Felix
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 07:19 Di 08.12.2015 | | Autor: | luis52 |
> Könnte man die Lösung auch in Matrix-Schreibweise
> geben? Ich frage nur, weil häufig Beides möglich ist und
> wir häufig die Matrix-Schreibweise benutzen.
>
Durchaus ...
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 11:24 Di 08.12.2015 | | Autor: | xilef |
Ok, ich habe dann die Gleichung (1):
$ [mm] \sum_{i=1}^n(\tilde y_i-b_1 \tilde x_i-b2 \tilde z_i)^2 [/mm] $
abgeleitet nach [mm] \hat \beta_2:
[/mm]
$ [mm] \sum_{i=1}^n-2 \tilde z_i(\tilde y_i-b_1\tilde x_i-\beta_2\tilde z_i)
[/mm]
wenn ich das nach [mm] \hat\beta_2 [/mm] auflöse bekomme ich:
[mm] \beta_2=\bruch{\tilde y_i-b_1\tilde x_i}{\tilde z_i}
[/mm]
entsprechend wäre: [mm] \hat\beta_1=\bruch{\tilde y_i-b_2\tilde x_i}{\tilde x_i}
[/mm]
und daraus ergibt sich: $ [mm] \hat\beta_0 [/mm] = [mm] \bar y-\hat\beta_1\bar x-\hat\beta_2\bar [/mm] z $
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 13:41 Di 08.12.2015 | | Autor: | luis52 |
> Ok, ich habe dann die Gleichung (1):
>
> [mm]\sum_{i=1}^n(\tilde y_i-b_1 \tilde x_i-b2 \tilde z_i)^2[/mm]
>
> abgeleitet nach [mm]\hat \beta_2:[/mm]
>
> $ [mm]\sum_{i=1}^n-2 \tilde z_i(\tilde y_i-b_1\tilde x_i-\beta_2\tilde z_i)[/mm]
Du leitest nicht nach [mm] $\beta_2$ [/mm] ab sondern nach [mm] $b_2$! [/mm] Also:
[mm]\sum_{i=1}^n-2 \tilde z_i(\tilde y_i-b_1\tilde x_i-b_2\tilde z_i)[/mm]
Du musst auch noch nach [mm] $b_1$ [/mm] ableiten. Du erhaeltst
[mm]\sum_{i=1}^n-2 \tilde x_i(\tilde y_i-b_1\tilde x_i-b_2\tilde z_i)[/mm]
Nullsetzen der beiden Ausdruecke ergibt die Normalgleichungen:
[mm] $\sum_{i=1}^n \tilde z_i\tilde y_i=b_1\sum_{i=1}^n\tilde x_i\tilde z_i+b_2\sum_{i=1}^n\tilde z_i^2$
[/mm]
und
[mm] $\sum_{i=1}^n \tilde x_i\tilde y_i=b_1\sum_{i=1}^n\tilde x_i^2+b_2\sum_{i=1}^n\tilde x_i\tilde z_i$
[/mm]
Loest du sie, so erhaeltst du die optimierenden Werte [mm] $\hat\beta_1,\hat\beta_2$. [/mm]
Aber Achtung: Dass [mm] $\hat\beta_1,\hat\beta_2$ [/mm] die Zielfunktion *minimieren*, ist nicht offensichtlich.
|
|
|
|
