UNIVERZITET U SARAJEVU FAKULTET ZA SAOBRAĆAJ I KOMUNIKACIJE - SARAJEVO Odsjek: komunikacije Seminarski rad iz predmeta: Sigurnost u komunikacijama Tema: Teorija vjerovatnoće i stohastički procesi Profesor: Doc.Dr. Nasuf Hadžiahmetović Student: Čolaković Alem Sarajevo, mart 2009. Teorija vjerovatnoće i stohastički procesi 1 Sadržaj: Uvod ...................................................................................................................................... 2 1. Osnove teorije vjerojatnoće ............................................................................................ 3 1.1 Slučajni dogaĎaj i algebra dogaĎaja ........................................................................ 3 1.2 Pojam i aksiomi vjerovatnoće .................................................................................. 6 1.3 Uslovna i totalna vjerovatnoća ................................................................................. 8 1.4 Slučajne varijable ...................................................................................................10 1.5 Funkcije razdiobe, funkcija vjerovatnoće i funkcija gustoće razdiobe vjerovatnoće .11 1.6 Očekivanja, varijanca i momenti .............................................................................14 1.7 Važnije razdiobe .....................................................................................................16 1.7.1 Diskretne slučajne varijable .............................................................................16 1.7.2 Kontinualne slučajne varijable .........................................................................21 1.8 Centralni granični teorem (Central limit theorem) ...................................................23 2. Stohastički procesi ........................................................................................................25 2.1 Definicija i karakterizacija stohastičkih procesa ......................................................25 2.2 Klasifikcija stohastičkih procesa .............................................................................28 2.3 Poissonov proces ...................................................................................................30 Zaključak ..............................................................................................................................32 Popis slika ............................................................................................................................33 Literatura ..............................................................................................................................34 Teorija vjerovatnoće i stohastički procesi 2 Uvod Za svaku pojavu i fenomen vezan za ponašanje prometa u telekomunikacionoj mreži postoje manje ili više precizni modeli, koji opis ponašanja opterećenja mreže svode na neki matematski stohastički model. Jednom kada napravimo pouzdan matematski model, možemo izvlačiti generalne zaključke i projektovati nove sisteme. Originalni naziv „teletraffic theory“ je nešto preciznije odreĎen od naziva „teorija prometa“, jer se ogovarajući naziv u engleskom jeziku „traffic theory“ odnosi, pored prometa u telekomunikacionim mrežama, i na ostale oblasti na koje se primenjuje teorija vjerovatnoće: cestovni promet, probleme na automatizovanim trakama, probleme pri skladištenju, aerodromima, itd. Promet (traffic) možemo jednostavno definirati kao kretanje informacije odreĎenim komunikacijskim kanalima. Prometom se naziva i kvantitativna mjera kretanja informacije. Ta je mjera često izražena prosječnom količinom informacije koja se prostre odreĎenim prijenosnim kanalom u jedinici vremena ili prosječnim zauzećem komunikacijskog kanala. Teoriju prometa u literaturi se definiše kao primjena teorije vjerovatnoće na rješavaja problema planiranja, procjene performansi, i održavanja telekomunikacionih sistema. Parametri sistema - kvantifikatori koji su mjerljivi i figurišu u modelu su promjenjive veličine, i iz tog razloga u teoriji prometa su nezaobilazni pojmovi teorije vjerovatnoće i stohastičkih procesa. Upravo ovaj seminarski rad obraĎuje neke od osnova ovih disciplina. Teorija vjerovatnoće i stohastički procesi 3 1. Osnove teorije vjerojatnoće Teorija vjerovatnoće je matematička disciplina koja se bavi zakonitostima u slučajnim pojavama, odnosno to je disciplina zasnovana na modlima koji odražavaju pitanja i pojave iz stvarnog svijeta, na osnovu odreĎivanja zakonitosti i predviĎanja pojava. Teorija vjerovatnoće ima primjenu u širokom području savremenih djelatnosti meĎu kojima su i telekomunikacije. Procesi koji se dešavaju u telekomunikacionim sistemima (npr. procesi koji opisuju ponašanje prometa) su stohastičkog karaktera. Iz tog razloga se i modeli koji se koriste za opise tih procesa statistički modeli. Stohastički eksperimenti ili procesi su procesi čiji ishod nije unaprijed poznat. Iz tog razloga je poznavanje teorije vjerovatnoće i njena primjena u bilo kakvim modelima realnog svijeta neophodna. Model zapravo predstavlja opis fizikalnih i mjerljivih fenomena u telekomunikacionom sistemu matematskim alatima. Ova primjena teorije vjerovatnoće zasniva se prije svega na proučavanju problema konvergencije, a imajući u vidu da je osnovni cilj, odnosno zadatak teorije vjerovatnoće, kao uostalom i drugih nauka, da što je moguće tačnije predvidi rezultate neke pojave ili eksperimenta, za oblast telekomunikaija od izuzetnog značaja je statistička teorija telekomunikacija. Zbog svega gore navedenog možemo zaključiti da je zadatak teorije prometa pronalaženje matematičkih modela za opis prometa u mreži. Pomoću tih modela se mora moći vršiti analiza performansi mreže i vršiti njeno dimenzioniranje. Procesi koji se odvijaju u mreži su slučajnog karaktera. Teorija prometa (Teletraffic Theory) se stoga prvenstveno oslanja na teoriju stohastičkih procesa (Stochastic Processes). Osnova stohastičkih procesa je teorija vjerovatnoće (Probability theory). Da bi se shvatila tematika ovog rada neophodno je poznavati neke od osnovnih pojmova iz teorije vjerojatnoće kao što su slučajan dogaĎaj, njegove (ne)ovisnosti o ostalim dogaĎajima, vjerovatnoće dogaĎaja itd. U nastavku ćemo se upravo bazirati na objašnjenje nekih od ovih pojmova. 1.1 Slučajni događaj i algebra događaja U realnom svijetu svaki proces ima svoju fizikalnost i kod takvih procesa veličine koje srećemo se mijenjaju na slučajan način. Najjednostavniji primjer je bacanje kocke gdje se može pojaviti jedna od šest vrijednosti. Procese sa ovakvim svojstvom nazivamo stohastički (slučajni) procesi (eksperimenti). Jedno bacanje kocke je realizacija eksperimenta, a jedan ishod je slučajan dogaĎaj. Kako bi analizirali rezultate oni moraju poticati od eksperimenata koji ne mijenjaju svoje fizikalne uvjete izvoĎenja u vremenu ili nekoj drugoj dimenziji. Iz tog razloga utvrĎujemo skup fizikalnih preduslova (slog uslova σ stohastičkog eksperimenta). Teorija vjerovatnoće i stohastički procesi 4 Kod primjera bacanja kocke slog uslova može biti da je kocka jednake gustoće i da se baca na ravnu površinu. Svakoj realizaciji možemo pridružiti odreĎenu vrijednost (logičku varijablu) koja može biti istina ili laž (npr. palo je 6 ili nije palo 6). Mogućim ishodima pridružujemo logičke varijable (E1, E2, E3, E4, E5,E6), koje zbog jednostavnosti zovemo slučajnim dogaĎajima (misli se na logičke varijable koje su pridružene dogaĎajima). TakoĎer možemo primjeniti Booleovu algebru i tako definirati i neke druge dogaĎaja (npr.„ispao je paran broj“). Svaki dogaĎaj ima i svoj suprotan dogaĎaj (npr. suprotan dogaĎaj dogaĎaja E2 je 𝐸2 = E1+E3+E4+E5+E6). Za svaki eksperiment može se defnirati siguran i nemoguć dogaĎaj. Siguran dogaĎaj je „ispast će neki broj u intervalu od 1 do 6“ (U = E1+E2+E3+E4+E5+E6). Nemoguć dogaĎaj V odgovara tvrdnji „ispast će broj koji nije u intervalu od 1 do 6“. Pri svakoj realizaciji eksperimenta vrijednost sigurnog dogaĎaja je istina, a nemogućeg laž. Na osnovu logičkih odnosa meĎu slučajnim dogaĎajima, lahko dolazimo do defnicije Booleove algebre dogaĎaja: Definicija 1.1. Neka je zadan skup dogaĎaja S. Neka su A i B dogaĎaji iz tog skupa i neka je za svaki takav par defniran zbroj (logički ili) A+B i umnožak (logički i) A·B koji takoĎer pripadaju skupu S. Neka na istom skupu S vrijede sljedeći aksiomi: a) (Svojstvo komutativnosti): za svaki A i B iz S vrijedi: A + B = B + A, A · B = B · A (1.1) b) (Svojstvo asocijativnosti): za svaki A,B i C iz S vrijedi: (A + B) + C = A + (B + C), (A · B) · C = A · (B · C) (1.2) c) (Egzistencija U i V ): u skupu S postoji siguran dogaĎaj U i nemoguć dogaĎaj V tako da vrijedi: V + A = A, U · A = A, za svaki A iz S (1.3) d) (Svojstvo distributivnosti): za svaki A ,B i C iz S vrijedi: A · (B + C) = A · B + A · C, A + (B · C) = (A + B) · (A + C) (1.4) e) (Egzistencija suprotnog dogaĎaja iz S): za svaki A iz S postoji suprotan dogaĎaj A tako da A + A = U, A · A = V (1.5) Teorija vjerovatnoće i stohastički procesi 5 Jednostavne dogaĎaje koji nastupaju realizacijom eksperimenta nazivamo elementarnim dogaĎajima, a skup elementarnih dogaĎaja prostorom elementarnih dogaĎaja. Definicija 1.2. Svaki ishod stohastičkog eksperimenta sa strogim slogom uvjeta σ nazivamo elementarnim dogaĎajem. Skup svih mogućih ishoda stohastičkog eksperimenta nazivamo prostorom elementarnih dogaĎaja tog eksperimenta i označavamo ga s Ω. Elementarni dogaĎaji su u parovima disjunktni - realizacijom eksperimenta ne mogu se istovremeno realizirati dva različita elementarna dogaĎaja. Primjer 1. Ako tražimo prostor elementarnih dogaĎaja za eksperiment bacanja novčića dva puta gdje razlikujemo prvo i drugo bacanje. Moguća su četiri ishoda: Ω = {P1P2, P1G2,G1P2,G1G2} Indeksi 1 i 2 označavaju bacanje kocke. Ovisno o eksperimentu i zanimanju mogući su različiti prostori elementarnih dogaĎaja (može biti konačan; beskonačan i prebrojiv – npr. kod čekanja da se pri bacanju pojavi glava Ω = {E1,E2,E3, . . .}; beskonačan i neprebrojiv – npr. mjerenje duljine trajanja telefonskih poziva Ω = {t : 0 < t < 1}). Definicija 1.3. (Diskretan i kontinuiran prostor elementarnih dogaĎaja). Prostor elementarnih dogaĎaja je diskretan ako se sastoji od konačnog skupa elementarnih dogaĎaja ili prebrojivo beskonačnog skupa elementarnih dogaĎaja. Nekakav skup je prebrojiv ako se njegovi elementi mogu staviti u jedan-na-jedan odnos s pozitivnim cijelim brojevima. Prostor elementarnih dogaĎaja je kontinuiran ako se njegovi elementi čine kontinuum, tj. ako prostor elementarnih dogaĎaja nije prebrojiv. Treba još pomenuti i da je kardinalni broj nekog skupa elemenata broj elemenata u tom skupu. Na skupu elementarnih dogaĎaja se ne može definisati Booleova algebra jer su elementi prostora elementarnih dogaĎaj disjunktni, pa njihovim sabiranjem ili množenjem ne možemo dobiti novi elementarni dogaĎaj. To možemo učiniti uvodeći partitativni skup. Partitativni skup nekog skupa je skup svih podskupova tog skupa. Pa na primjer ako imamo jedno bacanje kocke tada je Ω={P,G}, a partitativni skup je P(Ω) = {P, G, U, V }. P i G su trivijalni podskupovi od Ω, U = P + G i V = P · G su takoĎer podskupovi jer su dobiveni kombiniranjem elemenata od Ω. Na skupu P(Ω) možemo defnirati Booleovu algebru dogaĎaja što se može provjeriti prolazeći kroz aksiome Booleove algebre. Teorija vjerovatnoće i stohastički procesi 6 Definicija 1.4. (Algebra A generirana na prostoru elementarnih dogaĎaja). Za algebru dogaĎaja koja je defnirana na partitativnom skupu P(Ω) prostora elementarnih dogaĎaja Ω kažemo da je Booleova algebra A generirana dogaĎajima iz prostora elementarnih dogaĎaja Ω. 1.2 Pojam i aksiomi vjerovatnoće Svakom dogaĎaju nekog eksperimenta pokušavamo odrediti numeričku vrijednost koja predstavlja vjerovatnoću njegovog ispunjenja. Klasičnu definiciju vjerovatnoće nazivamo još i Laplaceova definicija. Definicija 1.5. (Klasična definicija vjerojatnoće). Neka je zadan slog uvjeta σ stohastičkog eksperimenta i neka je pripadni prostor elementarnih dogaĎaja Ω = {E1,E2, . . . ,En}. Neka su svi dogaĎaji E1, . . . ,En jednako vjerovatni i neka je dogaĎaj A element partitativnog skupa P(Ω) takav da je: A = Ei1 + Ei2 + . . . + Eim (1.6) Vjerojatnoća dogaĎaja A s oznakom P(A) se defnira kao omjer broja elementarnih dogaĎaja na koje se raspada dogaĎaj A (m) i ukupnog broja elementarnih dogaĎaja #Ω: 𝑃 𝐴 = 𝑚 #𝛺 (1.7) Navedena definicija vrijedi samo u specijalnom slučaju: kada je broj elementarnih dogaĎaja konačan i kada su svi elementarni dogaĎaji jednako vjerovatni. Tipičan primjer je eksperiment bacanja kocke. Primjer 1.4. Ako imamo eksperiment bacanja kocke. Ω = {E1,E2, . . . ,E6}. Svi elementarni dogaĎaji su jednako vjerovatni. Izračunajmo vjerovatnost dogaĎaja da je ispao broj manji od 3. Tom dogaĎaju dodijelimo logičku varijablu A = E1 + E2. A pripada skupu P(Ω). Pošto se dogaĎaj A raspada na dva elementarna dogaĎaja, to je prema predhodnoj defniciji, m = 2. Vjerovatnoća dogaĎaja A je: 𝑃 𝐴 = 𝑚 #𝛺 = 2 6 = 1 3 Teorija vjerovatnoće i stohastički procesi 7 Definicija 1.6. (Relativna frekvencija). Neka je zadan slučajni eksperiment koji se realizira n puta. Ako se neki dogaĎaj A dogodi n(A) puta, onda je relativna frekvencija tog dogaĎaja: 𝑊 𝐴 = 𝑛(𝐴) 𝑛 (1.8) Za relativnu frekvenciju vrijede sljedeća pravila: a) 0 ≤ W(A) ≤ 1 za svaki dogaĎaj A, b) W(U) = 1, gdje je U siguran dogaĎaj, c) W(A + B) = W(A) +W(B) za svaka dva disjunktna dogaĎaja. Relativna frekvencija se može iskoristiti za provjeru ispravnosti proračuna vjerovatnoće realnim eksperimentom. Moderna matematika definira vjerovatnoću na sljedeći način: Definicija 1.7. (Aksiomatska definicija vjerovatnoće). Vjerojatnoća P na Booleovoj algebri A podskupova od Ω je preslikavanje Booleove algebre A u skup realnih brojeva, koje zadovoljava sljedeće aksiome: 1: ∀𝐴 ∈ A, P(A)≥0, 2: P(Ω) = 1, 3: Ako je Ω konačan onda ∀A, B ∈A, takve da je A · B = , vrijedi: P(A + B) = P(A) + P(B) 3': Ako je Ω beskonačan i ako je A1,A2, . . . beskonačan niz meĎusobno isključivih (disjunktnih) dogaĎaja u Ω: Ai · Aj = za i ≠ j, onda vrijedi: 𝑃 𝑈𝑖=1 ∞ 𝐴𝑖 = 𝑃(𝐴𝑖) ∞ 𝑖=1 (1.9) Definicija 1.8. (Prostor vjerojatnoće (Ω, A, P)). Neka Ω označava skup elementarnih dogaĎaja nekog stohastičkog eksperimenta. Neka je A bilo koja Booleova algebra generirana nad Ω, a P pripadna vjerojatnoća po defniciji 1.7.. Trojka (Ω, A, P) se naziva prostorom vjerojatnoće (Probability System). Teorija vjerovatnoće i stohastički procesi 8 Osnovna pravila za računanje vjerovatnoće najlakše možemo uočiti posmatrajući sljedeće slike: Slika 1. Osnovna pravila za računanje vjerovatnoće Na osnovu slike vidimo da vrijede sljedeće: 1. 𝑃 𝐴 = 1 − 𝑃(𝐴) 2. 𝑃 𝑉 = 0 3. 𝑃 𝐴 ≤ 𝑃 𝐵 , 𝑎𝑘𝑜 𝑗𝑒 𝐴 ⊂ 𝐵 4. 𝑃 𝐴 ≤ 1 5. 𝑃 𝐴 + 𝐵 = 𝑃 𝐴 + 𝑃 𝐵 − 𝑃(𝐴 ∙ 𝐵) 6. Ako su A1, A2, ... , An n proizvoljnih dogaĎaja iz Ω, onda: 𝑃 𝐴𝑖 𝑛 𝑖=1 = 𝑃(𝐴𝑖 𝑛 𝑖=1 ) − 𝑃(𝐴𝑖 ∙𝑖≠𝑗 𝐴𝑗 ) + 𝑃(𝐴𝑖 ∙𝑖≠𝑗≠𝑘 𝐴𝑗 ∙ 𝐴𝑘) − ∙∙∙ (−1) 𝑛−1 ∙ 𝑃( 𝐴1 ∙ 𝐴2 ∙ … ∙ 𝐴𝑛) (1.10) Pravougaonin Ω predstavlja univerzalan (siguran) dogaĎaj. Ako je površina tog pravougaonika, onda površuna bilo kojeg dogaĎaja ograničenog unutar Ω predstavlja njegovu vjerovatnoću. 1.3 Uslovna i totalna vjerovatnoća U slučaju računanja vjerovatnoće jednog dogaĎaja uz uslov da se dogodio neki drugi dogaĎaj onda je riječ o uslovnoj vjerovatnoći P(A/B). Ilustracija je data na slici: Teorija vjerovatnoće i stohastički procesi 9 Slika 2. Uslovna vjerovatnoća Dakle, kod uslovne vjerovatnoće već znamo da se dogodio neki dogaĎaj, a za proračun koristimo sljedeću definiciju. Definicija 1.9. (Uslovna vjerojatnoća (Conditional Probability)). Uslovna vjerojatnoća dogaĎaja A uz uslov da se dogodio dogaĎaj B, s oznakom P(A|B), defnira se na sljedeći način: 𝑃 𝐴 𝐵 = 𝑃(𝐴·𝐵) 𝑃(𝐵) ,𝑃(𝐵) > 0 (1.11) gdje je P(A · B) vjerojatnoća da su se dogodili i dogaĎaj A i dogaĎaj B. Iz ovoga slijedi da je P (A · B) = P (A|B) · P (B) = P (B|A) · P (A). Za izračunavanje uslovnih vjerojatnosti može se koristiti i Bayesova formula: 𝑃 𝐴/𝐵 = 𝑃(𝐵/𝐴)·𝑃(𝐴) 𝑃(𝐵) (1.12) Za izračunavanje uslovne vjerovatnoće može se koristiti i totalnom vjerovatnoćom slučajne varijable. Definicija 1.10 (Totalna vjerojatnoća (Total Probability)). DogaĎaji A1,A2, . . . ,An se zovu meĎusobno isključivi ako vrijedi: 𝐴𝑖 = 𝐴1 + 𝑛 𝑖=1 𝐴2 + ⋯+ 𝐴𝑛 = 𝑆 i Ai · Aj = , i ≠ j Neka je B dogaĎaj iz S, onda je 𝑃(𝐵) = 𝑃(𝐵 ∙ 𝐴𝑖 𝑛 𝑖=1 ) = 𝑃 𝐵/𝐴𝑖 𝑛 𝑖=1 ∙ 𝑃( 𝐴𝑖) Totalna vjerovatnoća dogaĎaja B. Nadalje slijedi da je: Teorija vjerovatnoće i stohastički procesi 10 𝑃 𝐴𝑖/𝐵 = 𝑃(𝐵/𝐴𝑖)∙𝑃(𝐴𝑖) 𝑃(𝐵/𝐴𝑖)∙𝑃(𝐴𝑖) 𝑛 𝑖=1 (113) Pojam disjunktnih dogaĎaja se razlikuje od pojma neovisnih dogaĎaja, a da bi objasnili tu razliku dat ćemo definicije ova dva pojma. Definicija 1.11 (Neovisni dogaĎaji (Independent Events)) 1. Događaj A neovisan o B DogaĎaj A je neovisan o B ako je: P(B)>0 i P(A/B) = P(A) 2. U cijelosti neovisni događaji (Statistically Independent Events) DogaĎaji A1,A2, . . . ,An su u cijelosti neovisni ako za svaki izbor Ai1,Ai2, . . . ,Aim, 1 ≤ m ≤n vrijedi: P(Ai1 · Ai2 · . . . · Aim) = P(Ai1) · P(Ai2) · . . . · P(Aim) Na primjer, kada bacamo jedan novčić i ako ispadne pismo, onda to isključuje mogućnost da ispadne glava tako da se ti dogaĎaji meĎusobno isključuju. MeĎutim ako bacamo više novčića, i ako u bacanju jednog novčića ispadne pismo to ne utiče na ishod bacanja drugog novčića, te su ti dogaĎaji neovisni. 1.4 Slučajne varijable Neka je (Ω, A, P) promatrani prostor vjerovatnoće. Funkcija X defnirana na skupu elementarnih dogaĎaja Ω sa vrijednostima u skupu realnih brojeva R naziva se slučajna varijabla nad prostorom vjerovatnoće (Ω ,A, P) ako za svaki proizvoljan broj x R, skup A(x) = {ω Ω : X(ω) ≤ x} pripada Booleovoj algebri dogaĎaja A: A(x) A2. Slučajnu varijablu nazivamo diskretnom ako je područje njenih vrijednosti prebrojivi skup realnih brojeva. Ako je područje njenih vrijednosti neprebrojiv skup, onda slučajnu varijablu nazivamo kontinuiranom. Slučajna varijabla je diskretna onda kada je Ω diskretan i obrnuto. Teorija vjerovatnoće i stohastički procesi 11 Primjećujemo da su definicije vjerovatnoće i slučajne varijable slične. Obje funkcije predstavljaju preslikavanje slučajnih dogaĎaja u skup realnih brojeva. MeĎutim, dok vjerovatnoća preslikava dogaĎaj u skup realnih brojeva koji predstavljaju vjerovatnost ostvarenja dogaĎaja, slučajna varijabla preslikava dogaĎaj u bilo kakav skup realnih brojeva kako bi se pojednostavio zapis tog dogaĎaja. 1.5 Funkcije razdiobe, funkcija vjerovatnoće i funkcija gustoće razdiobe vjerovatnoće Definicija 1.12 (Funkcija razdiobe (Cumulative Distribution Function - CDF)). Funkcija razdiobe (ili kumulativna funkcija razdiobe) slučajne varijable X je funkcija defnirana izrazom: FX(x) = P(X ≤ x) Funkcija razdiobe ima sljedeće osobine: 1. 0 ≤ Fx(x) ≤ 1 2. Fx(x1) ≤ Fx(x2), ako x1 < x2 (funkcija razdiobe je neopadajuća funkcija 3. lim𝑥→∞ 𝐹𝑥 𝑥 = 1 4. lim𝑥→−∞ 𝐹𝑥 𝑥 = 𝑜 5. lim𝑥→𝑎+ 𝐹𝑥 𝑥 = 𝐹𝑥 𝑎 , a + = lim0 Teorija vjerovatnoće i stohastički procesi 12 Realna funkcija p(x) takva da je: p(x) = P {B(x)} defnirana za svaki realni broj x, naziva se funkcijom vjerovatnoće. Funkcija vjerovatnoće defnira se isključivo za diskretne slučajne varijable. Funkcija vjerovatnoće poprima vrijednosti različite od 0 samo u odreĎenim diskretnim tačkama iz R. Ona pokazuje kolika je vjerovatnoća nekog dogaĎaja iz diskretnog skupa Ω. Skup Ω mora biti diskretan, ali može biti i konačan i beskonačan, jer se ne može odrediti vjerovatnoća za neki elementarni dogaĎaj koji je kontinuiran. Pa ako uzmemo eksperiment mjerenja napona u utičnici, onda nema načina da izračunamo kolika je vjerovatnoća dogaĎaja „napon je tačno 100V“. Možemo reći da vjerovatnoća ostvarenja takvog dogaĎaja teži ka nuli. Koliko god mjerenja izvršili, ne možemo čak ni zabilježiti sve elementarne dogaĎaje, a pogotovo reći kolika je njihova relativna frekvencija. Funkcija vjerovatnoće diskretne slučajne varijable X se obićno zapisuje na sljedeći način: 𝑋~ 𝑥1 𝑥2 𝑥3 … 𝑝1 𝑝2 𝑝3 … Uočitavamo da je p(xi) = pi. Kada nam je na raspolaganju ovakav zapis, onda kažemo da je zadana razdioba slučajne varijable X. Primjer funkcije vjerovatnoće je dat na slici: Slika 3. Primjer funkcije vjerovatnoće Elementarni dogaĎaji su meĎusobno disjunktni, pa ako je slučajna varijabla X ispravno defnirana, onda su i diskretne vrijednosti slučajne varijable meĎusobno disjunktne. Zbog ovog svojstva se iz funkcije vjerovatnoće lako dobivamo funkciju razdiobe FX(x) na sljedeći način: vrijednost funkcije razdiobe FX(x) u tački x se dobiva zbrajanjem vrijednosti funkcije vjerovatnoće za sve xk za koje je xk ≤ x. 𝐹𝑥 𝑥 = 𝑃 𝑋 ≤ 𝑥 = 𝑃(𝑋 = 𝑥𝑘)𝑘 ,𝑥𝑘≤𝑥 (1.14) Teorija vjerovatnoće i stohastički procesi 13 Kako bi dobili osjećaj vjerovatnoće pojedinih područja vrijednosti slučajne varijable, uvodi se nova funkcija koju zovemo gustoća razdiobe vjerovatnoće. Definicija 1.14 (Gustoća razdiobe vjerovatnoće (Probability density functionn - PDF)). Neka fX(x) označava derivaciju funkcije razdiobe FX(x) po vrijednostima slučajne varijable X: 𝑓𝑥 𝑥 = 𝑑𝐹𝑥(𝑥) 𝑑𝑥 (1.15) Funkcija fX(x) se zove gustoća razdiobe vjerojatnoće kontinuirane slučajne varijable X i ima sljedeća svojstva: 1. fx(x) ≥ 0 2. 𝑓𝑥 𝑥 𝑑𝑥 = 1 +∞ −∞ 3. fx(x) je na dijelovima neprekinuta 4. 𝑃 𝑎 < 𝑋 ≤ 𝑏 = 𝑓𝑥 𝑥 𝑑𝑥 𝑏 𝑎 Veza izmeĎu funkcije razdiobe slučajne varijable X, FX(x) i gustoće razdiobe fX(x) je data sljedećim izrazom: 𝐹𝑥 𝑥 = 𝑃 𝑋 ≤ 𝑥 = 𝑓𝑥 𝜉 𝑑𝜉 𝑥 −∞ (1.16) Primjer 1.11. Da bi uočili razliku izmeĎu funkcije razdiobe i funkcije gustoće pogledajmo sljedeću sliku: (a) Gustoća razdiobe vjerovatnoće (b) Funkcija razdiobe Slika 4. Gustoća razdiobe je data sljedećim analitičkim izrazom: 𝑓𝑥 𝑥 = 1 10 2𝜋 𝑒 − 𝑥2 10 2 𝐹𝑥 𝑥 = 𝑓𝑥 𝑥 𝑑𝑥 𝑥 −∞ (1.17) Teorija vjerovatnoće i stohastički procesi 14 Integracija je provedena numeričkim metodama jer funkcija nije analitički integrabilna. Funkcija gustoće razdiobe vjerovatnoće je pozitivna funkcija. Površina ispod krivulje funkcije gustoće vjerovatnoće jednaka je 1. Pošto predstavlja prvu derivaciju funkcije razdiobe kontinuirane slučajne varijable, funkcija razdiobe je pozitivna monotono rastuća funkcija neprekidna u svim tačkama. Funkcija razdiobe za funkciju gustoće razdiobe prikazana je na slici 4 (b). U općem slučaju, funkcija gustoće razdiobe vjerovatnoće je pozitivna funkcija, na dijelovima neprekinuta. Površina ispod krivulje gustoće vjerojatnosti svake razdiobe mora biti tačno jednaka 1. U praksi se češće susreće funkcija gustoće razdiobe vjerojatnosti nego funkcija razdiobe. Razlog tome je činjenica da sve funkcije razdiobe nisu analitički prikazive, kao u prethodnom primjeru. Funkcija gustoće razdiobe vjerovatnoće se neposredno koristi za izračunavanje vjerovatnoće ostvarenja slučajne varijable u različitim intervalima na realnoj osi R. Svi proračuni se temelje na svojstvu 4 iz definicije 1.14. TakoĎer se može izračunati razdioba uslovnih slučajnih varijabli. Definicija 1.15 (Uslovna razdioba (Conditional Distribution)). Uslovna funkcija razdiobe vjerovatnoće FX(x|B) se defnira na sljedeći način: Fx x/B = P X ≤ x/B = P X ≤x∙B P B (1.18) Uslovna funkcija razdiobe vjerojatnosti ima jednaka svojstva kao i normalna funkcija razdiobe vjerojatnosti. Za diskretan slučaj, uslovna funkcija vjerovatnoće je: px xk/B = P X = xk/B = P X=xk )∙B P B (1.19) Za kontinuiranu slučajnu varijablu, gustoća razdiobe vjerojatnosti se računa kao: f x/B = dF x (x/B) dx (1.20) 1.6 Očekivanja, varijanca i momenti Najvažniji parametar neke razdiobe je njeno očekivanje koje se može shvatiti kao srednja vrijednost svih realizacija neke slučajne varijable. Teorija vjerovatnoće i stohastički procesi 15 Definicija 1.16 (Očekivanje slučajne varijable (Mean, Expectation)). Srednju vrijednost ili očekivanje slučajne varijable X, s oznakom μX ili E[X] defniramo izrazom: 𝜇𝑥 = 𝐸 𝑥 = 𝑥𝑘 ∙ 𝑃 𝑥𝑘 𝑧𝑎 𝑑𝑖𝑠𝑘𝑟𝑒𝑡𝑛𝑒 𝑋𝑘 𝑥 ∙ 𝑓𝑥 𝑥 𝑑𝑥 𝑧𝑎 𝑘𝑜𝑛𝑡𝑖𝑛𝑢𝑖𝑟𝑎𝑛𝑒 𝑋 +∞ −∞ (1.21) Definicija 1.17 (Moment). n-ti moment slučajne varijable X: mn(x) defniran je izrazom: 𝑚𝑛 = 𝐸 𝑥 𝑛 = 𝑥𝑘 𝑛 ∙ 𝑃 𝑥𝑘 𝑧𝑎 𝑑𝑖𝑠𝑘𝑟𝑒𝑡𝑛𝑒 𝑋𝑘 𝑥𝑛 ∙ 𝑓𝑥 𝑥 𝑑𝑥 𝑧𝑎 𝑘𝑜𝑛𝑡𝑖𝑛𝑢𝑖𝑟𝑎𝑛𝑒 𝑋 +∞ −∞ (1.22) Definicija 1.18 (Centralni Moment (Central moment)). Neka je c proizvoljni realan broj, a X diskretna ili kontinuirana slučajna varijabla. n-ti centralni moment slučajne varijable X s obzirom na c defniran je izrazom: 𝑀𝑛 𝑐 𝑋 = 𝐸 (𝑋 − 𝑐)𝑛 (1.23) Ako je c = 0, onda moment nazivamo ishodišnim momentom ili samo momentom u skladu s defnicijom 1.17. Definicija 1.19 (Varijanca (Variance)). Varijanca slučajne varijable X, s oznakom σ2x ili V ar(X), defnirana je izrazom: 𝜍𝑥 2 = 𝑉𝑎𝑟 (𝑋) = (𝑥𝑘 − 𝜇𝑥) 2 ∙ 𝑃(𝑥𝑘) 𝑧𝑎 𝑑𝑖𝑠𝑘𝑟𝑒𝑡𝑛𝑒 𝑋𝑘 (𝑥 − 𝜇𝑥) 2 ∙ 𝑓𝑥 𝑥 𝑑𝑥 𝑧𝑎 𝑘𝑜𝑛𝑡𝑖𝑛𝑢𝑖𝑟𝑎𝑛𝑒 𝑋 +∞ −∞ (1.24) Definicija 1.20 (Kovarijanca (Covariance)). Kovarijanca dviju slučajnih varijabli X i Y dana je sljedećim izrazom: σXY = Cov (X, Y) = E {[X – E(X)] · [Y – E(Y)]} (1.25) Općenito vrijedi da je: Cov (X, Y) = E(X ·Y) – E(X) · E(Y) (1.26) Definicija 1.21 (Korelacija i korelacijski koeficijent (Correlation and Correlation coefcient)). Korelacija R(X, Y ) i korelacijski koeficijent ρ(X, Y ) su defnirani izrazima: Teorija vjerovatnoće i stohastički procesi 16 𝑅 𝑋,𝑌 = 𝐸 𝑋 ∙ 𝑌 = 𝐶𝑜𝑣 𝑋,𝑌 + 𝐸 𝑋 ∙ 𝐸 𝑌 (1.27) 𝜌 𝑋,𝑌 = 𝜌𝑋𝑌 = 𝐶𝑜𝑣(𝑋,𝑌) 𝜍𝑋 ∙𝜍𝑌 = 𝜍𝑋𝑌 𝜍𝑋 ∙ 𝜍𝑌 (1.28) −1 ≤ 𝜌𝑋𝑌 ≤ 1 Kao što je već pomenuto očekivanje slučajne varijable X možemo smatrati srednjom vrijednošću beskonačno dugog niza realizacija slučajne varijable. Osnovna pravila (teoreme) za računanje očekivanja složenih varijabli: 1. E[c] = c, gdje je c konstanta 2. E [c · X] = c · E [X] 3. E [c + X] = E [c] + E [X] = E [X] + E [c] 4. E [c1X1 + ... + cnXn] = c1 E [X1] + ...+ cn E [Xn] 5. E [X1· X2 · ... ·Xn] = E [X1] · E [X2] · ... · E [Xn] ako su svi Xi u cijelosti neovisni, tj. ako je P(X1 · X2 · . . . · Xn) = P(X1) · P(X2) · . . . · P(Xn). Varijanca je srednje kvadratno odstupanje slučajne varijable od njene srednje vrijednosti. Ona odgovara drugom centralnom momentu i predstavlja parametar koji pokazuje razinu raspršenja slučajne varijable oko njene srednje vrijednosti. 1.7 Važnije razdiobe Svaka slučajna varijabla ima svoju razdiobu Fx(x). Analitički izraz za funkciju razdiobe ovisi o fzikalnoj pozadini procesa kojeg opisuje slučajna varijabla. Razdiobe možemo podijeliti prema tome da li je slučajna varijabla diskretna ili kontinuirana, a u ovom dijelu rada ćemo opisati samo neke od važnijih razdioba. 1.7.1 Diskretne slučajne varijable Uniformna distribucija (jednolika razdioba). Za diskretnu slučajnu varijablu X koja poprima vrijednosti x1, x2, . . . , xn s vjerovatnoćama (1.29) Teorija vjerovatnoće i stohastički procesi 17 kažemo da ima uniformnu razdiobu. pm predstavlja funkciju vjerovatnoće slučajne varijable X i najčešće uzimamo da je xm = m. Funkciju razdiobe dobivamo po definiciji: (1.30) Na slici je prikazana funkcija vjerovatnoće i funkcija razdiobe vjerovatnoće za n = 5. (a) Funkcija vjerovatnoće (b) Funkcija razdiobe Slika 5. Varijanca za ovu razdiobu je: σ2x = 𝑛2− 1 12 Bernoullieva razdioba (Bernoulli Distribution). Slučajna varijabla X se zove Bernoullieva slučajna varijabla s parametrom p ako je njena funkcija vjerovatnoće data sljedećim izrazom: (1.31) Funkcija razdiobe Bernoullieve slu£ajne varijable X je: (1.32) Ova razdioba se javlja u eksperimentima gdje su moguća dva ishoda (uspjeh i neuspjeh ili tačno i netačno i sl.).Ovakav stohastički eksperiment nazivamo Bernoulliev eksperiment. Uspjeh, koji odgovara vrijednosti slučajne varijable X = 1, dogaĎa se s vjerovatnoćom p, a neuspjeh (X = 0) s vjerojatnoćom 1 − p. Teorija vjerovatnoće i stohastički procesi 18 (a) Funkcija vjerovatnoće (b) Funkcija razdiobe Slika 6. Očekivanje i varijanca su: μX = p i σ 2 x = p − p2 Binomna razdioba (Binomial Distribution). Slučajna varijabla X ima binomnu razdiobu s parametrima (n, p) ako je njena funkcija vjerojatnosti data izrazom: (1.33) gdje je ( 𝑛 𝑘 ) binomni koeficijent: Ova raspodjela se javlja u eksperimentima u kojim se Bernollieva eksperiment ponavlja n puta. Slučajna varijabla koja ima binomnu razdiobu mjeri broj uspjeha u n izvoĎenja Bernoullieva eksperimenta, gdje je vjerovatnoćat uspjeha p. Funkcija razdiobe dana je izrazom: (1.34) (a) Funkcija vjerovatnoće (b) Funkcija razdiobe Slika 7. Teorija vjerovatnoće i stohastički procesi 19 Očekivanje i varijanca su: μX = np i σ 2 x = np (1 − p) Geometrijska razdioba (Geometric Distribution). Slučajna varijabla X ima geometrijsku razdiobu ako joj je funkcija vjerojatnosti zadana sljedećim izrazom: (1.35) Varijabla X mjeri broj neuspješnih izvoĎenja Bernoullieva eksperimenta (uspjeh-p, neuspjeh - 1−p) dok se ne pojavi uspjeh. Kada X poprimi vrijednost k, to znači da je 1, 2, . . . , k-ti put Bernoulliev eksperiment završio bez uspjeha, a k − 1-vi s uspjehom. Funkcija razdiobe data je sljedećim izrazom: (1.36) (a) Funkcija vjerovatniće (b) Funkcija razdiobe Slika 8. Očekivanje i varijanca su: μX = 1 𝑝 - 1 i σ2x = 1−𝑝 𝑝2 Poissonova razdioba (Poisson Distribution). Poissonova razdioba ima vrlo veliku primjenu u modeliranju različitih izvora prometa, ali služi i kao aproksimacija binomne razdiobe u slučaju kada je parametar n binomne razdiobe jako velik (najčešće n > 30). Slučajna varijabla X ima Poissonovu razdiobu ukoliko je njena funkcija vjerojatnosti: (1.37) Primjer primjene ove razdiobe je primjer broja poziva koji pristižu u centralu u nekom vremenskom intervalu t. Ako je λ intenzitet dolazaka poziva u nekoj jedinici vremena, onda uz a = λ · t, pk daje vjerojatnost da je unutar vremena t u centralu pristiglo tačno k poziva. Teorija vjerovatnoće i stohastički procesi 20 Općenito, a predstavlja očekivani broj realizacija odreĎenog dogaĎaja u nekom promatranom vremenu, ili nekoj drugoj dimenziji. Funkcija razdiobe defnirana je sljedećim izrazom: (1.38) (a) Funkcija vjerovatnoće (b) Funkcija razdiobe Slika 9. Očekivanje i varijanca su: μX = a i σ2x = a Hipergeometrijska razdioba (Hypergeometric Distribution). Hipergeometrijska razdioba nastupa u eksperimentu gdje se iz nekog skupa od N elemenata bira n uzoraka. Svaki od elemenata skupa je jednog od dva tipa. M elemenata je tipa A, a N - M elemenata je tipa B. Slučajna varijabla X ima hipergeometrijsku razdiobu ukoliko mjeri koliko je elemenata u n uzoraka tipa A. Funkcija vjerovatnoće je: (1.39) (a) Funkcija vjerovatnoće (b) Funkcija razdiobe Slika 10. Teorija vjerovatnoće i stohastički procesi 21 Očekivanje i varijanca su: μX = n · 𝑁 𝑀 i σ2x = n · 𝑁 𝑀 · (1 - 𝑀 𝑁 ) · ( 𝑁−𝑛 𝑁−1 ) 1.7.2 Kontinualne slučajne varijable Uniformna distribucija (jednolika razdioba). Slučajna varijabla X ima uniformnu razdiobu na području [a, b] ako je njena funkcija gustoće razdiobe data izrazom: (1.40) Odgovarajuću funkciju razdiobe dobivamo na sljedeći način: (1.41) (a) Funkcija gustoće razdiobe vjerovatnoće (b) Funkcija razdiobe Slika 11. Očekivanje i varijanca su: μX = (𝑎+𝑏) 2 i σ2x = (𝑏−𝑎)2 12 Eksponencijalna razdioba (Exponential Distribution). Slučajna varijabla X ima eksponencijalnu razdiobu a parametrom λ (λ > 0), ako je gustoća razdiobe vjerovatnosti zadana izrazom: (1.42) Teorija vjerovatnoće i stohastički procesi 22 Funkcija razdiobe ima oblik: (1.43) Eksponencijalna slučajna varijabla X u praksi najčešće mjeri vrijeme izmeĎu dva dogaĎaja. Tipičan primjer je duljina trajanja poziva, vrijeme koje proteče izmeĎu dva uzastopna dolaska zahtjeva za uspostavu poziva itd. (a) Funkcija gustoće razdiobe vjerovatnoće (b) Funkcija razdiobe Slika 12. Očekivanje i varijanca su: μX = 1 𝜆 i σ2x = 1 𝜆2 Normalna (Gaussova) razdioba (Normal or Gaussian Distribution). Slučajna varijabla X ima normalnu ili Gaussovu razdiobu ako je gustoća razdiobe vjerojatnosti zadana kao: (1.44) Normalna razdioba se najčešće pojavljuje u prirodi. Primjeri su intenzitet šuma u vodiču, razdioba intenziteta uzoraka glasa, različita zračenja u prirodi itd. Normalna razdioba je rezultat djelovanja velikog broja jednostavnih slučajnih varijabli. Odgovarajuća funkcija razdiobe vjerojatnosti normalne razdiobe je: Teorija vjerovatnoće i stohastički procesi 23 (1.45) Integral u izrazu se rješava pomoću numeričkih metoda. (a) Funkcija gustoće razdiobe vjerovatnoće (b) Funkcija razdiobe Slika 13. Očekivanje i varijanca su: μX =μ i σ 2 x = σ 2 Za normalnu razdiobu koristimo oznaku N(μ,σ2), kako bismo označili da je slučajna varijabla X normalna s očekivanjem μ i varijancom σ2. Normalna slučajna varijabla Z s očekivanjem 0 i jediničnom varijancom σ2 = 1, Z = N(0, 1), zove se standardna normalna slučajna varijabla, tj. ona ima standardnu normalnu razdiobu. Od ostalih važnijih raspodjela samo ćemo nabrojati neke od njih: razdioba studenta (Student Distribution), gama razdioba (Gamma Distribution), Hi-kvadrat razdioba (Chi-Square Distribution), Rayleigheva razdioba (Rayleigh Distribution), Log-normalna razdioba (LogNormal Distribution), Paretova razdioba (Pareto Distribution). 1.8 Centralni granični teorem (Central limit theorem) Postavlja se pitanje zašto napon šuma (npr. termički šum kojise može izmjeriti na krajevima vodiča i koji je posljedica kretanja elektrona u rešetki vodiča) koji uzrokuje izobličenje orginalnog signala ima normalnu razdiobu? Odgovor na ovo pitanje daje Centralni granični teorem (sa strožijim i slabijim uslovima). Svojstvo 1. (Centralni granični teorem za jednako raspodijeljene slučajne varijable). Neka su X1,X2, . . . ,Xn u cjelini nezavisne slučajne varijable s jednakim razdiobama, očekivanjem μ i varijancom σ2. Neka je slučajna varijabla Yn jednaka zbroju svih n slučajnih varijabli: Teorija vjerovatnoće i stohastički procesi 24 (1.46) Razdioba slučajne varijable Yn ima asimptotski normalnu razdiobu N(nμ, nσ 2) i njena razdioba je sličnija normalnoj razdiobi N(nμ, nσ2) što je broj n veći: (1.47) Svojstvo 2. (Centralni granični teorem za proizvoljno raspodijeljene slučajne varijable). Neka su X1,X2, . . . ,Xn slučajne varijable s funkcijama razdioba redom fX1 (x), fX2 (x), . . . , fXn(x), očekivanjima μ1, μ2, . . . , μn i varijancama σ 2 1, σ 2 2,..., σ 2 n. Neka je Yn slučajna varijabla defnirana izrazom: (1.48) Neka su: Ako za svaki ∈> 0 vrijede sljedei uslovi: onda se razdioba slučajne varijable Yn asimptotski približava normalnoj razdiobi N(Mn,D 2 n), tj.: (1.49) Teorija vjerovatnoće i stohastički procesi 25 Centralni granični teorem služi kao srestvo za opis slućajnih varijabli i kao aproksimacijska metoda. 2. Stohastički procesi Svaki realan stohastički eksperiment se dogaĎa u vremenu ili nekoj drugoj dimenziji. Slučajne varijable uopće ne moraju biti defnirane na istom Ω i ne moraju imati jednaku razdiobu, pa se može dodijeliti samo odreĎenoj vremenskoj tački. To znači da svaka vremenska tačka ima svoju vlastitu slučajnu varijablu. Naravno, ne moramo govoriti nužno o vremenskoj tački. Možemo razmatrati prostorne tačke ili neku drugu dimenziju. Indeksni skup T sadržava sve vremenske tačke koje razmatramo u nekom eksperimentu. Svakom indeksu t iz indeksnog skupa T i elementarnom dogaĎaju ω∈ 𝛺 pridružujemo vremensku funkciju X(t, ω). To je slučajna varijabla koja vrijedi samo za fksni indeks (trenutak) t. Familiju (skup) svih slučajnih varijabli X(t, ω) koje odgovaraju indeksima iz T zovemo stohastički proces. 2.1 Definicija i karakterizacija stohastičkih procesa Definicija 2.1 (Stohastički proces (Random/Stochastic Process)). Stohastički proces je familija slučajnih varijabli X(t, ω), 𝑡 ∈ 𝑇, defnirana na nekom prostoru vjerovatnoće (Ω,A, P) i indeksirana parametrom t, gdje t pripada indeksnom skupu T. Vidimo da je stohastički proces funkcija dvaju argumenata: X(t, ω), t ∈ T, ω 2 Ω. Ukoliko fksiramo neki realizirani slučajni dogaĎaj ωi iz skupa Ω za svaki indeks t, onda X(t, ωi) predstavlja vremensku funkciju koju zovemo uzorkom slučajnog procesa ili trajektorijom (sample function). Skup svih mogućih realizacija slučajnog procesa se zove ansambl (ensemble). Ukoliko fksiramo i tk i pripadni ωi, dobivamo konkretan realan broj. Slučajni proces tako možemo shvatiti kao slijed izvoĎenja nekog slučajnog eksperimenta s elementarnim dogaĎajima ω iz skupa elementarnih dogaĎaja Ω. Svakom izvoĎenju tog slučajnog eksperimenta pridružujemo vrijeme t, tj. indeks iz indeksnog skupa T. Ako promatramo neki fiksan trenutak, onda promatramo nekakvu konkretnu realizaciju eksperimenta kojoj je pridruženo vrijeme (indeks) t. Slučajni proces u datoj vremenskoj tački onda predstavlja slučajnu varijablu tog eksperimenta u vremenu t. Ako za svaki vremenski trenutak t iz indeksnog skupa T odredimo nekakav ishod slučajnog eksperimenta ωi, onda Teorija vjerovatnoće i stohastički procesi 26 slučajni proces prelazi u običnu vremensku funkciju koja opisuje mogući ishod slučajnog eksperimenta. Definicija 2.2 (Opis stohastičkog eksperimenta s obzirom na T i Ω) Opis s obzirom na parametarski skup T: 1. Ako je indeksni skup T stohastičkog procesa diskretan, onda se proces zove stohastički proces s diskretnim parametrom (discrete-parameter) ili diskretan u vremenu (discrete-time) - slučajan slijed s oznakom { Xn, n = 1, 2, . . . }. 2. Ako je indeksni skup T stohastičkog procesa kontinuiran, onda se proces zove stohastički proces s kontinuiranim parametrom (continuous-parameter) ili kontinuiran u vremenu (continuous time). Opis s obzirom na prostor stanja E: 1. Ako je prostor stanja E stohastičkog procesa diskretan, onda se proces naziva stohastički proces s diskretnim stanjima (discrete-state) ili lanac (chain). 2. Ako je prostor stanja E stohastičkog procesa kontinuiran, onda se proces naziva stohastički proces s kontinuiranim stanjima (continuous-state). Definicija 2.3 Kompleksni stohastički eksperiment je stohastički proces sa stanjima u kompleksnom skupu C. Takav proces je defniran izrazom: X(t) = X1(t) + jX2(t) , gdje su X1(t) i X2(t) realni stohastički procesi (X1(t),X2(t) ∈ R). Za stohastički proces defniramo i standardne veličine koje pobliže opisuju statistička svojstva procesa. Definicija 2.4 (Očekivanje (Mean)). Očekivanje stohastičkog procesa X(t) dato je izrazom μX(t) = E[X(t)] , gdje se X(t) tretira kao slučajna varijabla za fiksnu vrijednost od t. Općenito, očekivanje μX(t) je funkcija vremena i često se naziva srednjom vrijednošću ansambla (ensemble average). Definicija 2.5 (Autokorelacija (Autocorrelation)). Vrijednosti istog slučajnog procesa X(t) u različitim vremenskim trenucima su često statistički povezane. Za odreĎivanje mjere Teorija vjerovatnoće i stohastički procesi 27 ovisnosti izmeĎu slučajnih varijabli stohastičkog procesa X(t) definiramo autokorelacijsku funkciju koja se definira izrazom RX(t, s) = E[X(t) · X(s)] (2.1) Važe sljedeća svojstva: RX(t, s) = RX(s, t) ; RX(t, t) = E[X 2(t)] (2.2) Autokorelacija RX(t, t) se još zove i srednja snaga procesa X(t). Riječ autokorelacija označava traženje korelacija izmeĎu dvije varijable istog stohastičkog procesa. Ukoliko bismo tražili mjeru ovisnosti dvije slučajne varijable X(t) i Y(s) koje pripadaju različitim stohastičkim procesima RX,Y (t, s), onda bismo tu mjeru zvali samo korelacija. Definicija 2.6 (Autokovarijanca Autocovariance). Autokovarijacijska funkcija od X(t) je definirana izrazom: KX(t, s) = Cov[X(t),X(s)] = E{[X(t) − μX(t)] · [X(s) − μX(s)]} = RX(t, s) − μX(t) · μX(s) (2.3) Ukoliko su vrijednosti indeksa t i s jednaki, onda je KX(t, t) = E{[X(t) − μX(t)] 2} = Var[X(t)] = σ2X (t) (2.4) varijanca stohastičkog procesa X(t). Jasno je da ako je očekivanje slučajnog procesa μX(t) = 0, onda KX(t, s) = RX(t, s). Tumačenje izraza autokovarijance je slično tumačenju izraza autokorelacije. Definicija 2.7 (Korelacijski koeficijent Correlation coeficient). Koeficijent korelacije stohastičkog procesa se definira izrazom: (2.5) Teorija vjerovatnoće i stohastički procesi 28 Koeficijent korelacije pokazuje kolika je linearna ovisnost izmeĎu vrijednosti slučajnih varijabli Xt i Xs. Što je korelacijski koeficijent bliži jedinici, to se ovisnost dviju varijabli može bolje opisati linearnom funkcijom. 2.2 Klasifikcija stohastičkih procesa Definicija 2.8 (Proces stacionaran u užem smislu (Strict-Sense Stationary Process)). Slučajni proces {X(t), t ∈ T} se zove stacionaran u užem smislu (strict-sense stationary) ako za sve n ∈ N i za svaki skup vremenskih trenutaka (ti ∈ T, i = 1, 2, . . . , n) vrijedi da je: FX(x1, . . . , xn; t1, . . . , tn) = FX(x1, . . . , xn; t1 + 𝜏, . . . , tn + 𝜏 ) za bilo koji 𝜏 ∈ R. (2.1) Za stacionaran proces u užem smislu vrijedi: FX(x; t) = FX(x; t + 𝜏 ) = FX(x) (2.6) fX(x; t) = fX(x) (2.7) μX(t) = E[X(t)] = μ (2.8) Var[X(t)] = σ2 (2.9) Definicija 2.9 (Proces stacionaran u širem smislu (Wide-Sense Stationary Process)). Ako uslov (2.1) slučajnog procesa X(t) nije ispunjen za sve n ∈ N nego za n-ove takve da je n·k, onda kažemo da je stohastički proces X(t) stacionaran do reda k (stationary to order k). Ako je X(t) stacionaran do reda 2, onda je X(t) stacionaran u širem smislu (WSS - wide-sense stationary) ili slabo stacionaran proces (weak stationary process). Ukoliko je proces X(t) stacionaran u širem smislu onda vrijedi: E[X(t)] = μ (konstanta) (2.10) Var[X(t)] = σ2 (3.21) (2.11) RX(t, s) = E[X(t) · X(s)] = RX(|s − t|) (2.12) Stacionarani proces u užem smislu je takoĎer stacionarni proces u širem smislu. Teorija vjerovatnoće i stohastički procesi 29 Neovisni procesi su procesi čije su slučajne varijable u potpunosti neovisne. Često se misli da je autokorelacija ovakvih procesa jednaka nul što nije tačno. Autokorelacija ovih funkcija se samo računa kao umnožak očekivanja varijabli u trenucima t i s. Definicija 2.10 (Markovljevi procesi (Markov Processes)). Stohastički proces {X(t), t ∈ T} je Markovljev proces ako je za sve t1 < t2 < . . . < tn < tn+1 ispunjeno: P{X(tn+1) · xn+1|X(t1) = x1,X(t2) = x2, . . . ,X(tn) = xn} = P{X(tn+1) · xn+1|X(tn) = xn} (2.13) Markovljev proces s diskretnim stanjima se zove Markovljev lanac (Markov chain). U Markovljevom lancu {Xn, n > 0} za svaki n vrijedi: P(Xn+1 = j |X0 = i0,X1 = i1, . . . ,Xn = i) = P(Xn+1 = j |Xn = i) (2.14) Jednakosti (3.24) i (3.25) su poznate pod nazivom Markovljevo svojstvo ili još svojstvo odsutnosti pamćenja (Markov property / memoryless property). Markovljevi procesi su oni procesi koji nemaju pamćenje. Vjerovatnoća dogaĎaja koji se treba zbiti u budućnosti ne ovisi o dogaĎajima koji su se dogodili u prošlosti, nego samo o sadašnjosti. Definicija 2.11 (Stacionaran ergodički proces (Stationary ergodic process)). Neka je zadan stacionaran slučajni proces {X(t),−∞ < t < +∞}. Neka je x(t) jedna trajektorija slučajnog procesa (sample function). Neka je srednja vrijednost u vremenu uzorka x(t) dana izrazom (2.15) Slično, neka je autokorelacijska funkcija RX(𝜏 ) od x(t) definirana izrazom (2.16) Teorija vjerovatnoće i stohastički procesi 30 Stacionarni slučajni proces {X(t),− ∞ < t < +∞} je ergodičan ako ima svojstvo da su vremenski prosjeci uzoraka procesa jednaki odgovarajućim statističkim prosjecima trajektorija ili prosjecima ansambla trajektorija, npr. x(t) = μX, RX(𝜏 ) = RX(𝜏 ), itd. Stacionarni ergodički procesi su dakle oni procesi kod kojih na osnovu jedne ili ansambla trajektorija slučajnog procesa možemo izračunati statističke vrijednosti procesa (očekivanje, autokorelaciju i dr.). 2.3 Poissonov proces Definicija 2.12 (Proces brojanja (Counting Processes)). Slučajni proces {X(t), t ≥ 0} je proces brojanja ako X(t) predstavlja ukupni broj realizacija promatranog dogaĎaja u intervalu [0, t]. Da bi neki proces bio proces brojanja, on nužno mora zadovoljiti sljedeće uslove: (2.17) Tipična trajektorija procesa brojanja prikazana je na slici 14. Slika 14 Trajektorija procesa brojanja Jedan od tipičnih procesa brojanja je Poissonov proces. Teorija vjerovatnoće i stohastički procesi 31 Definicija 2.13 (Poissonov proces (Poisson Process)). Proces brojanja X(t) se zove Poissonov proces s intenzitetom λ > 0 ako za njega vrijede svojstva odsustva pamćenja, homogenosti u vremenu i regularnosti. Zbog svojstva homogenosti u vremenu slijedi da ovaj proces ima sljedeće vrlo važno svojstvo: X(t) − X(s) = X(s, t) = X(s − t). Svojstvo 3 (Razdioba varijable Poissonova procesa). Neka je proces brojanja {X(t), t ≥ 0} Poissonov stohastički proces s intenzitetom λ > 0. Funkcija vjerojatnosti slučajne varijable X(t) dana je izrazom: (2.18) Definicija 2.14 (Standardna definicija Poissonovog procesa). Proces brojanja X(t) se zove Poissonov proces s intenzitetom λ ako su ispunjeni sljedeći uslovi: 1. X(0) = 0, 2. X(t) ima neovisne priraste, 3. Broj realizacija dogaĎaja u bilo kojem intervalu [s, t] X(t, s) ima funkciju vjerojatnosti: (2.19) Teorija vjerovatnoće i stohastički procesi 32 Zaključak Veliki broj inženjera telekomunikacija će u okviru svog posla raditi ili bar imati dodirnih tačaka sa projektovanjem jednog segmenta telekomunikacionih sistema, održavanjem nekog segmenta sistema, mjerenjem različitih parametara od interesa i planiranjem resursa i infrastrukture za buduće projekte. Ocjena uspješnosti svakog projekta je ocjena da li taj projekat zadovoljava unaprijed definisane ciljeve, i da li to čini unutar dogovorene cijene. Glavnu ulogu za razumijevanje nabrojanih procesa i razumijevanje telekomunikacijskog sistema u cjelini ima razunijevanje karakteristika prometa (npr. opterećenje mreže). Da bi se mogle posmatrati, odnosno razumjeti pomenute karakteristike neophodna je oblast teorije vjerovatnoće i stohastičkih procesa. U radu su navedene samo neke osnove iz ovih oblasti koje predstavljaju zaista široko područje primjene ne samo u telekomunikacijama već i u brojnim drugim realnim sistemima. Teorija vjerovatnoće i stohastički procesi 33 Popis slika Br. slike Naziv slike Stranica 1. Osnovna pravila za računanje vjerovatnoće 8 2. Osnovna pravila za računanje vjerovatnoće 9 3. Primjer funkcije vjerovatnoće 12 4. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 13 5. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 17 6. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 18 7. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 19 8. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 19 9. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 20 10. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 21 11. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 21 12. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 22 13. (a) Gustoća razdiobe vjerovatnoće; (b) Funkcija razdiobe 23 14. Trajektorija procesa brojanja 30 Teorija vjerovatnoće i stohastički procesi 34 Literatura 1. Teorija prometa, Skripta auditornih vježbi, Fakultet prometnih znanosti, Zagreb 2001. god. 2. Vjerovatnoća i statistika, Teorija vjerovatnoće I dio, Prof.Dr. Huse Fatkić, Sarajevo 2008. god. 3.