Erwartungswert Schätzer < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 12:02 Mo 27.04.2020 | | Autor: | TS85 |
| Aufgabe | Betrachten sie gewöhnliche lineare Regressionsmodell
[mm] Y_i =ax_i+b+ \epsilon_i, [/mm] i=1,...,n
Betrachten sie nun allgemeine lineare Schätzer:
[mm] \vec{a} =\summe_{i=1}^{n}w_iY_i
[/mm]
[mm] \vec{b} =\overline{Y}-\vec{a} \overline{x}
[/mm]
mit Mittelwerten [mm] \overline{x}=1/n*\summe_{i=1}^{n}x_i
[/mm]
und [mm] \overline{Y}=1/n*\summe_{i=1}^{n}Y_i
[/mm]
(a) Welche Bedingung an die Gewichte ergibt die Voraussetzung, dass der Schätzer erwartungstreu sein soll?
(b)Berechnen sie [mm] Var(\vec{b}), Var(\vec{a}), [/mm] sowie [mm] Cov(\vec{a},\vec{b}).
[/mm]
(c) Leiten sie optimale Gewichte her welche für erwartungstreue Schätzer die mittleren quadratischen Fehler (MSE, mean squared error) der Modellvorhersagen,
[mm] E[(\vec{b}-\vec{a}x_i-Y_i)^2]
[/mm]
minimieren. Dazu können sie ein Minimierungsproblem mit Nebenbedingung (Lagrange Multiplikatoren) lösen. |
Hallo,
für die Schätzer habe ich mal ein Vektorzeichen verwendet, da mir die Verwendung von hat hierzu unklar ist.
Meine Probleme bei (a) und (b) bestehen vermutlich erstmal hauptsächlich daraus, zu unterscheiden was Zufallsvariable ist und was nicht:
[mm] (a)E(\vec{b})=E(\overline{Y}-\vec{a}\overline{x})=E(\overline{Y})-E(\vec{a})\overline{x}=a\overline{x}+b-a\overline{x}=b
[/mm]
[mm] E(\vec{a})=E(\summe_{i=1}^{n}w_iY_i)=E(x_1Y_1+...+w_nY_n)=w_1E(Y_1)+...+w_nE(Y_n)=w_1y_1+...+w_nY_n=a
[/mm]
also erwartungstreue Schätzer. Die Bedingung an die Gewichte, damit dies erfüllt ist:
i=1,...,n: [mm] 0\le w_i \le [/mm] 1 [mm] \wedge \summe_{i=1}^{n}w_i=1
[/mm]
Ansonsten müsste gelten:
[mm] E(\vec{a})=\frac{a}{\summe_{i=1}^{n}w_i} [/mm] (?)
Dieser Lösungsansatz kommt mehr aus der Anwendung von allgemeinen arithmetisch gewichteten Mittelwerten.
(b)Hier gehen die größeren Probleme los, was eigentlich Zufallsvariable ist und was nicht:
[mm] Var(\vec{b})=Var(\overline{Y}-\vec{a}\overline{x})=E((\overline{Y}-\vec{a}\overline{x})^2)-E(\overline{Y}-\vec{a}\overline{x})^2
[/mm]
[mm] =E(\overline{Y}^2-2\overline{Y}\vec{a}\overline{x}+\vec{a}^2\overline{x}^2)-b^2
[/mm]
[mm] E(\overline{Y}^2)-E(2\overline{Y}\vec{a}\overline{x})+E(\vec{a}^2\overline{x}^2)-b^2
[/mm]
Ist dies bis hierhin überhaupt richtig und wenn ja, wie geht es weiter?
Mir ist unklar, was eigentlich genau für folgendes gilt:
[mm] E(\overline{Y})=E(\frac{1}{n}\summe_{i=1}^{n}Y_i)
[/mm]
[mm] =\frac{1}{n}\summe_{i=1}^{n}E(Y_i).
[/mm]
Im Falle einer Wahrscheinlichkeitsverteilung könnte man nun schreiben
[mm] \frac{1}{n}\summe_{i=1}^{n}p_i, [/mm] aber was gilt hier?
[mm] Var(\vec{a})=Var(\summe_{i=1}^{n}w_iY_i)
[/mm]
[mm] =E(\summe_{i=1}^{n}w_i^2Y_i^2)-E(\summe_{i=1}^{n}w_iY_i)^2
[/mm]
[mm] =\summe_{i=1}^{n}w_i^2E(Y_i^2)-(\summe_{i=1}^{n}w_iE(Y_i))^2
[/mm]
[mm] Cov(\vec{a},\vec{b})=E(\vec{a}\vec{b})-E(\vec{a})E(\vec{b})
[/mm]
[mm] =E((\summe_{i=1}^{n}w_iY_i)*(\overline{Y}-\vec{a}\overline{x}))-ab
[/mm]
Bevor ich hier nun weitermache, wäre eine Korrektur hilfreich.
Zu (c) habe ich noch nichts gemacht, ich wollte die Frage nur schonmal dazu gestellt haben anstelle ein neues Thema aufzumachen.
|
|
| |
|
Hiho,
> Meine Probleme bei (a) und (b) bestehen vermutlich erstmal
> hauptsächlich daraus, zu unterscheiden was Zufallsvariable
> ist und was nicht:
na dann solltest du in die Definitionen schauen.
Es ist doch gegeben:
> [mm]Y_i =ax_i+b+ \epsilon_i[/mm]
Was ist [mm] $a,x_i,b,\epsilon_i$?
[/mm]
Welche zusätzliche Bedingungen gelten?
Bevor du das nicht nachgeschlagen hast, nützt jede Rechnung nix…
Gruß,
Gono
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 14:41 Mo 27.04.2020 | | Autor: | TS85 |
Im Allgemeinen gilt [mm] E(\epsilon_i)=0, [/mm] d.h.
[mm] E(Y_i)=a*E(x_i)+b,
[/mm]
da es sich bei a,b um fixe Konstanten handelt.
[mm] Y_i [/mm] ~ [mm] \mathcal{N}(ax_i+b,\sigma^2)
[/mm]
Satz von Gauss Markov:
Minimale Varianz: [mm] Var(\vec{\beta})=(X^T_\Sigma X_\Sigma)^{-1}
[/mm]
Mehr Information sind mir via Skript/Buch nicht vorhanden.
Führen die Varianzen hier auch auf [mm] Var(\vec{a})=\sigma^2*a [/mm] (und b ebenso)?
Etwas mehr Hilfe wäre hilfreich
|
|
|
| |
|
Hiho,
> Im Allgemeinen gilt [mm]E(\epsilon_i)=0,[/mm] d.h.
aha, warum? Was ist denn [mm] $\epsilon_i$?
[/mm]
> [mm]E(Y_i)=a*E(x_i)+b,[/mm]
Aha, und was ist nun [mm] $E(x_i)$?
[/mm]
> da es sich bei a,b um fixe Konstanten handelt.
Na das ist doch mal eine konkrete Aussage.
Eine analoge Aussage bitte noch über [mm] $x_i$ [/mm] und [mm] $\epsilon_i$
[/mm]
Was ist [mm] $x_i$ [/mm] und was ist [mm] $\epsilon_i$?
[/mm]
> [mm]Y_i[/mm] ~ [mm]\mathcal{N}(ax_i+b,\sigma^2)[/mm]
Das stimmt erst mal, aber warum?
Das ergibt sich, wenn du obige Frage bezüglich [mm] x_i [/mm] und [mm] \epsilon_i [/mm] beantwortest.
> Mehr Information sind mir via Skript/Buch nicht vorhanden.
Na mindestens meine Frage oben lässt sich bestimmt noch beantworten.
Zusätzlich solltest du auch noch nachschlagen, wie die [mm] $\epsilon_i$ [/mm] zusammenhängen (oder gerade nicht).
> Etwas mehr Hilfe wäre hilfreich
Hilfe wird hier gern gegeben. Eine gewisse Grundlage - und dazu zählt das einfache Nachschlagen der Definitionen - solltest du aber selbst mitbringen.
Wenn du obige Fragen beantwortet hast, ergeben sich die Lösungen aus den Rechenregeln für Erwartungswert und Varianz…
Gruß,
Gono
|
|
|
| |
|
| Status: |
(Frage) überfällig  | | Datum: | 10:52 Mi 29.04.2020 | | Autor: | TS85 |
Ich habe noch eine Frage in Bezug auf (b) in Verbindung mit (d):
Wenn [mm] \summe_{i=1}^{n}w_i [/mm] =0 gilt
mit [mm] w_i=\frac{(x_i-\overline{x})}{\summe_{j=1}^{n}(x_j-\overline{x})^2}
[/mm]
dann lässt sich die Darstellung anhand von [mm] \beta_1 [/mm] herleiten
durch den Verschiebungssatz von Steiner und der nichtzentrierten Darstellung.
Ist es richtig, wenn ich sage, dass sich [mm] \summe_{i=1}^{n}w_i=0 [/mm] daran ergibt, dass die KQ-Regressionsgerade so bestimmt wird, sodass die Residuuenquadratsumme eine Minimum wird und damit die Summe [mm] \frac{Abweichung_ x_i zu_ \overline{x}}{Quadratsumme} [/mm] =0 sein muss? (bzw. hier aufgrund der Eigenschaft von [mm] \overline{x})
[/mm]
Auf [mm] \beta=(\beta_0,\beta_1) [/mm] gelangt man in herkömmlicherweise über Nullsetzen der partiellen Ableitungen (hier mit Lagrange-Fkt)
[mm] \mathcal{L}(\vec{a},\vec{b},\lambda)=\frac{1}{2}\summe_{i=1}^{n}(Y_i-\vec{b}+\vec{a}x_i)^2-\lambda(\summe_{i=1}^{n}w_i).
[/mm]
Meine Frage hierzu: Gibt es einen tieferen Sinn der Gewichte in Bezug auf die Lagrange Funktion, weil dies hier überhaupt nicht zum Lösen der Aufgabe notwendig ist? (In Gleichungssystem unrelevant bzw. lediglich Aussage [mm] \summe_{i=1}^{n}w_i=0).
[/mm]
Vielen Dank schonmal im Voraus, ich hoffe meine Frage kommt herüber (dass [mm] \beta [/mm] und a,b durcheinander sei hier jetzt mal unrelevant)
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 11:20 Fr 01.05.2020 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
