3.2. Problema estimării parametrilor modelului. Multivariatã metoda celor mai mici pătrate
La evaluarea parametrilor modelului prin metoda minimei măsură pătrate de calitate (criteriu de calitate) se potrivesc funcția de regresie empirică a eșantionului observată este suma erorilor pătratice () reziduri. Așa cum este aplicat metoda de regresie liniară multivariată clasică se numește obișnuit într-o etapă sau multi-dimensional metoda (clasica) a celor mai mici pătrate. Semnificația celor mai mici pătrate criteriu pentru cazul perechii de regresie liniară discutată în detaliu în capitolul 2 în cazul în care acesta a fost dat o interpretare grafică. Din păcate, în cazul multidimensional (pentru k> 3), de asemenea, reprezintă în mod clar grafic o funcție de regresie, și este imposibil să se dea o interpretare a criteriului.
Criteriul celor mai mici pătrate
Conform (3.7) eroarea ecuației de regresie liniară în i - th observație poate fi reprezentat după cum urmează:
și, în consecință, eroarea este pătrată
Folosind expresia (3.9), vom scrie criteriul (funcția obiectiv) a celor mai mici pătrate în cazul multidimensional
sau folosind o notație vector-matrice, putem scrie
unde vectorul, vectorul.
Concluzie de ecuații normale
Pentru a afișa sistemul de ecuații normale, transformăm expresia (3.10) de încercare, utilizând regulile operațiunilor cu vectori și matrici (vezi. Anexa). obținem
În derivarea (3.11) am utilizat egalitatea în care este cazul, deoarece valorile din dreapta și din stânga parte a lui - scalar (S (b) - funcția scalară).
Funcția S (b) (3.11) este o formă pătratică în rating vector b. valoarea minimă parametrii b există și este unic determinată egalează cu zero, derivate parțiale ale S (b) bi variabile. i = 1,2, ..., k.
Afirmația că există minimul funcției S (b) și este în mod unic adevărat, în cazul în care condițiile modelelor de regresie identificabil liniară, adică, ipotezele 7-9.
Folosind regulile de diferențiere a unei funcții scalare a unui argument vectorial, obținem o expresie pentru derivata criteriului celor mai mici pătrate
aici - vectorul - coloana de derivate parțiale dimensiune k ale funcției obiectiv.
Minimul funcției obiectiv este atins la punctul b. satisface următorul sistem de ecuații liniare scrise în formă vectorială matrice
care sunt omise din motive de simplitate a limitelor însumare peste indicele i = 1,2, ..., n.
Soluție de ecuații normale în formă vector-matrice
Soluția ecuațiilor normale într-o formă explicită (adică o formulă de calcul) este disponibil numai în formă vectorială matrice. Luați în considerare notația vectorială matrice ecuațiile normale (3.13). Când premisele 7-9 observări regresor matrice X are rang complet matrice pătrată și (X T X) dimensiune (k x k) și are rang complet. Prin urmare, există o matrice inversă (X T X) -1. Înmulțim stânga pe ambele părți ale (3.13) pe această matrice. obținem
Mai mult, având în vedere că (X T X) -1 (X T X) = Ik. în cazul în care Ik - matricea de identitate a dimensiunii k. obținem expresia pentru estimările coeficientului în formă de
Formula (3.15) determină o estimare a coeficienților puțin pătrate de regresie liniară multivariată.
Vector b. definit de (3.15) asigură minimul funcției S (b) din forma (3.10). Într-adevăr, prin calcularea al doilea derivatele funcției vectorului b S (b). Obținem. Matricea X T X este simetrică nesingular (când fundalul 8) și, prin urmare, un bine definit pozitiv, care este suficient pentru minimul funcției S (b).
Estimată prin metoda celor mai mici pătrate funcție empirică de regresie liniară poate fi scrisă ca
unde vectorul b - mici pătrate optime estimare a vectorului coeficienților de regresie este determinat prin expresia (3.15), xi = (xi1 Xi2 xik ..) T - vector - dimensiunea coloanei k.
Coeficienții de regresie rezultate pot fi date următoarea interpretare. Estimată (empiric) Coeficientul de regresie bj (j = 1,2, ..., k) este parțial derivat funcția de regresie empirică j - lea regresor (variabilă independentă). Aceasta arată cât de mult a modifica valoarea estimată a unei j schimbare - lea unitate regresor pentru valori fixe ale altor covariabilele.
erori (Proprietăți) din reziduri modelului
Expresia (3.16) pentru funcția de regresie empirică poate fi scrisă ca
Coeficienții acestei regresie pot fi interpretate după cum urmează: a) în cazul în care stocul returnează companiilor B și C sunt zero, un randament de acțiuni va fi o medie de 3.3310% pe an, adică egală cu b1 coeficient; b) schimbarea ceteris paribus în randamentul acțiunilor B la 1% pe an va (în medie) asupra A acțiunilor companiei randament 1,088% pe an; c) schimbarea ceteris paribus în rentabilitatea acțiunilor întreprinderii C cu 1% pe an, se va (în medie) la o modificare a acțiunilor C ale companiei randament 0.2146% pe an. Atunci când interpretarea trebuie amintit că estimările parametrilor - valori aproximative și bazându-se doar declarații aproximative pot fi făcute pe ele.
Societatea comercială are mai multe ramuri. Conducerea companiei are in vedere deschiderea unei alte ramuri. Pentru a lua o decizie în cunoștință de cauză trebuie să știți ca o ramură separată din cifra de afaceri anuală (yi mil. Frecați.) Depinde de zona de vânzare (Xi2 mii. Sq. Metri), iar rata medie zilnică a cumpărătorilor (xi3 mii. Pe zi). Tabelul 3.2. prezintă valori numerice ale acestor variabile pentru douăsprezece ramuri (datele din exemplul 2.2.).
Rețineți că, în contrast cu exemplul anterior, aceste date sunt spațiale. Ele corespund cifrei de afaceri, zona de vânzări și rata medie a fluxului zilnic de cumpărători douăsprezece sucursale într-un anumit an. Fig. 3.2a. 3.2b arată două diagrame de dispersie care descriu dependența rulajului de spatii comerciale (Fig. 3.2a) și viteza de curgere a clientului (Fig. 3.2b). Ambele grafice indică aproximative (deși nu la fel de clar ca și în exemplul anterior) relația liniară între variabilele. Anterior (a se vedea exemplul 2.2 din capitolul 2 ...), am construit două modele pentru studiul cifrei de afaceri, în funcție de: a) pătrat de piață; b) intensitatea traficului de clienți.
Fig. 3.2a. Diagrama „comerț - zonă de comerț“
Fig. 3.2b. Diagrama „comerț - intensitate“
În acest exemplu, vom investiga cifra de afaceri dependența simultan de doi factori - variabilele explicative: o zonă și intensitatea traficului de clienți de vânzare. Matematic această dependență în fiecare observație poate fi exprimată ca o regresie liniară multiplă cu două variabile explicative (regresorilor)