Markov procese cu stări discrete și timp discret lanț Markov se numește. Pentru un astfel de proces momentele t1. t2. ... în cazul în care sistemul S poate schimba starea, este considerată ca fiind etape consecutive în proces, și ca un argument pe care procesul nu apare timpul t. și pasul numărul 1, 2. k. proces aleatoriu în acest caz, se caracterizează prin succesiunea de stări S (0). S (1). S (2). S (k). unde S (0) - Starea inițială a sistemului (înainte de prima etapă); S (1) - starea sistemului după prima etapă; S (k) - starea sistemului după k-lea pas.
Eveniment S (k) = Si>, care constă în faptul că, imediat după k-lea pas sistem este in stare Si (i = 1, 2) este un eveniment aleator. Secvența S (0) stare. S (1). S (k). Acesta poate fi privit ca o succesiune de evenimente aleatoare. O secvență aleatorie de evenimente se numește un lanț Markov. în cazul în care, pentru fiecare pas probabilitatea de tranziție de la orice stat la orice Si Sj nu depinde de momentul și modul în care sistemul a intrat în stare Si. Inițial S starea (0) poate fi predeterminat în avans sau aleatorii.
Probabilitățile lanțului Markov se numesc Pi probabilitate (k) că, după k-lea pas (și înainte (k + 1) -lea), sistemul S va fi în stare Si (i = 1, 2 n). Evident, lyuboyu k.
Distribuția inițială a lanțului Markov se numește distribuția de probabilitate a probabilităților de stat la începutul procesului:
În cazul particular când starea inițială S este cunoscută exact S (0) = Si. Pi probabilitate inițială (0) = 1 și toți ceilalți sunt zero.
probabilitate de tranziție (probabilitate de tranziție) la k-lea pas de la starea Si la Sj de stat se numește probabilitatea condiționată ca sistemul de S după k pas va fi în Sj de stat, cu condiția ca imediat înainte (după k - 1 etapa) a fost Si în stare.
Având în vedere că sistemul poate locui într-unul dintre cele n state, pentru fiecare T timp necesară pentru a stabili probabilități de tranziție n 2 Pij. care sunt prezentate în mod convenabil sub forma de matrice următoare:
unde Rij - probabilitatea de tranziție într-un singur pas de la starea Si la Sj de stat;
RII - probabilitatea unui sistem de întârziere în stare Si.
O astfel de matrice se numește matrice probabilitate de tranziție sau tranziție.
Dacă probabilitățile de tranziție nu sunt dependente de numărul pasului (timp), și depinde numai de ordinul unui stat în care tranziția este realizată, lanțul Markov corespunzător se numește omogen.
Probabilitățile de tranziție ale lanț Markov formă omogenă Rij o matrice pătrată de dimensiune n m. Notă unele dintre caracteristicile sale.
1. Fiecare rând caracterizează starea selectată a sistemului și elementele sale sunt probabilitățile tuturor tranzițiilor posibile cu un pas selectat dintre (i) a -lea stat, inclusiv o tranziție în sine.
2. Elemente de coloane arată probabilitățile tuturor tranzițiilor posibile într-o singură etapă, la o (j e) starea specificată (cu alte cuvinte, linia se referă la probabilitatea tranziției de la stat, coloana - în stare).
3. Suma probabilităților fiecărui rând este egal cu unitatea, așa cum tranzițiile formează un grup complet de evenimente incompatibile:
4. Pe diagonala principală a matricei probabilităților de tranziție sunt probabilitatea Rii că sistemul va veni de la stat Si. și va rămâne în ea.
Dacă un lanț Markov omogen set de distribuție a probabilității inițiale și matricea de probabilitate de tranziție. Probabilitățile starea sistemului Pi (k) (i, j = 1, 2, ..., n) determinat prin formula recursivă:
Exemplul 1 Să considerăm funcționarea sistemului - masina. Lăsați vehiculul (sistem) pentru un schimb (zile) poate fi într-una din cele două stări: o stare de funcționare (S1) și defect (S2). starea sistemului Count este prezentat în Fig. 3.2.
Fig. Stare vehicul 3.2.Graf
Ca urmare a observațiilor în masă pentru vehicul de lucru compus din următoarele probabilități ale matricei de tranziție:
în cazul în care P11 = 0,8 - probabilitatea ca masina va fi în stare bună;
P12 = 0,2 - probabilitatea de tranziție a stării de vehicul „OK“ la starea „defect“;
P21 = 0,9 - probabilitatea de tranziție a stării vehiculului de „defect“ în starea „OK“;
P22 = 0,1 - probabilitatea ca vehiculul va rămâne în starea „defect“.
Vectorul probabilităților inițiale ale vehiculului în stare să ceară. și anume P1 (0) = 0 și P2 (0) = 1.
Este necesar să se determine probabilitatea statelor vehiculului în trei zile.
Utilizând probabilitățile matricei de tranziție și formula (3.1), definim Pi probabilitatea stărilor (k) după prima etapă (după prima zi):
Probabilitățile statelor după a doua etapă (după a doua zi) sunt:
probabilități de stat după etapa a treia (după a treia zi) sunt egale
Astfel, după a treia zi a mașinii va fi în stare bună, cu o probabilitate de 0.819 în starea „defect“, cu o probabilitate de 0.181.
Exemplul 2. În funcționarea computerului poate fi considerată ca sistem fizic S. că scanarea poate fi într-una din următoarele stări: S1 - computerul este complet în stare de funcționare; S2 - computerul are o defecțiune în memorie, în care se poate face față provocărilor; S3 - computerul are o problemă semnificativă și poate rezolva o clasă limitată de probleme; S4 - computerul este complet în afara de ordine.
La momentul inițial de timp în care computerul este complet în stare de funcționare (S1 de stat). Verificați computerul se face la puncte fixe în momentul t1. t2. t3. Procesul are loc în sistemul S. poate fi considerat ca fiind un lanț Markov omogen, cu trei trepte (primul, al doilea, al treilea calculator) verifică dacă există. matricea probabilitate de tranziție are forma
Se determină probabilitatea unui stat calculator după trei controale.
Decizie. Graficul stat are forma prezentată în Fig. 3.3. În fiecare săgeată care înconjoară probabilitatea de tranziție corespunzătoare. Inițiale probabilitățile de stat P1 (0) = 1, P2 (0) = P3 (0) = P4 (0) = 0.
Fig. 3.3. Count state de calculator
În conformitate cu formula (3.1), ținând seama de suma probabilităților numai acele state de la care este posibilă o tranziție directă în această stare, găsim:
Astfel, probabilitatea de stări de calculator după trei inspecții următoarele: P1 (3) = 0,027; P2 (3) = 0,076; P3 (3) = 0,217; P4 (3) = 0.680.
Sarcina 1. Pentru unele obiective prin ardere patru focuri de armă în timpul t1. t2. t3. t4.
Stările posibile ale sistemului: S1 - obiectivul nevătămat; S2 - țintă ușor deteriorate; S3 - gol primit daune semnificative; S4 - tinta complet uimit. La momentul inițial obiectivul este în starea S1. Se determină probabilitatea de stări țintă după patru focuri de armă atunci când matricea de probabilitate de tranziție are forma: