ВЪПРОС Nо 3

МАРКОВСКИ ПРОЦЕСИ, МАРКОВСКИ ВЕРИГИ

(стр 54-68 [1])

1.Определения

1.1 Класификация на процесите

:

Процеси

детирминирани

случайни

(стохастични)

немарковски

марковски

Фиг.1

полумарковски

хомогенни

Стохастичен е процесът, при който в случайни моменти от време обектът преминава вероятностно (а не непременно, причинно-следствено) от едно в друго () измежду повече възможни състояния (). Процесите се състоят в преходи от състояние в състояние S1 - S2 - ....Sn. Образуват се вериги от състояния (фиг. 2). Вижда например, че обектът в началото е в S2, излиза от изходното състояние и в случаен момент от време и преминава към S1, след което променя състоянията си съгласно плътната начупена линия. Но това далеч не е единствено възможния му път. С пунктир е показана и друга възможна (съвсем не единствена) траектория, в която отскоците от състояние в състояние стават в други случайни моменти от време.

S1

S2

S3

S4

Фиг.2

1.3 Процеси, състояния и събития

в обекти с дискретни състояния дискретно време

процеси в

в обекти с непрекъснати състояния непрексънато време

Когато отскоците стават в кой да е момент от текущото време, а състоянията се променят от едно в друго постепенно, аналогово, се говори за непрекъснато време и непрекъснати състояния. Когато преходите се извършват в предварително дефинирани моменти или интевали от време във фиксирани състояния, се говори за дискретни времена и дискретни състояния. В по-нататшното разглеждане ще се интересуваме от процеси в непрекъснато време и дискретни състояния.

Преходите от състояние i в състояние j стават с някаква интензивност.

Интензивността е сходна с интензивността на отказите, изучена в предходната лекция: условна плътност на вероятността за настъпване на разглеждания преход в момент t+Dt (Dt0), при условие, че до този момент този преход не се е състоял, отнесена към единца време.