ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 12.12.2023
Просмотров: 304
Скачиваний: 13
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Мы определяем S
i так, что переход i происходит непосредственно перед
S
i
, и в этом случае траектория процесса непрерывна справа. Марковский процесс на рис. 6.1 начинается в момент времени t = 0 в состоянии 6 и остается в этом состоянии время T
1
. В момент времени S
1
= T
1
процесс переходит в состояние 0, где он остается в течение времени T
2
. В момент времени S
2
= T
1
+ T
2
процесс переходит в состояние 4 и так далее.
Рассмотрим марковский процесс, который входит в состояние i в мо- мент времени 0, так что X(0) = i. Пусть Υ
i будет временем пребывания в состоянии i. (Напомним, что T
i обозначает i-й промежуток между со- бытиями, а Υ
i
— время, проведенное в состоянии i.) Мы хотим найти распределение Υ
i
Предположим теперь, что мы наблюдаем, что процесс все еще нахо- дится в состоянии i в момент s, т. е. Υ
i
≥ s, и что нас интересует ве- роятность того, что процесс еще будет находиться в этом состоянии в течение, по крайней мере, времени t. Следовательно, мы хотим найти
P Υ
i
≥ t + s
Υ
i
≥ s
. Поскольку процесс обладает марковским свой- ством, вероятность того, что процесс останется еще на t единиц времени,
определяется только текущим состоянием i. Следовательно, тот факт, что процесс уже провел в этом состоянии s единиц времени, не имеет значения.
Таким образом,
P Υ
i
≥ t + s
Υ
i
≥ s
= P Υ
i
≥ t
, для s, t ≥ 0.
Это означает, что для распределения случайной величины Υ
i имеет место свойство отсутствия последействия («памяти»). Этим свойством (среди непрерывных распределений) обладает только экспоненциальное распре- деление. Следовательно, времена пребывания Υ
i
1
, Υ
i
2
, . . . должны быть независимы между собой и иметь экспоненциальное распределение. Неза- висимость вытекает также из марковского свойства.
Теперь будем игнорировать время, проведенное в различных состоя- ниях, и рассмотрим только переходы, которые происходят в моменты
S
1
, S
2
, . . . . Пусть X
n
= X(S
n
) обозначают состояние сразу после пере- хода n. Процесс {X
n
, n = 1, 2, . . . } называется каркасом (остовом) мар- ковского процесса. Фокусируя внимание на каркасе, можно считать, что переходы происходят в дискретные момента времени n = 1, 2, . . . . Каркас можно представить как цепь, в которой все времена пребывания являют- ся детерминированными и имеют одинаковую длину. Нетрудно показать,
что каркас марковского процесса является цепью Маркова с дискретным временем. Каркас также называют встроенной цепью Маркова.
Имея в виду сказанное выше, можно альтернативно определить марков-
100
ский процесс как случайный процесс, обладающий свойством, состоящим в том, что каждый раз, когда он входит в некоторое состояние i:
• время Υ
i
, которое процесс проводит в состоянии i, прежде чем сде- лать переход в другое состояние, экспоненциально распределено с пара- метром, скажем, α
i
;
• когда процесс покидает состояние i, он перейдет в состояние j с некоторой вероятностью P
ij
, причем
P
r j=0
P
ij
= 1, j 6= i.
Следовательно, среднее время пребывания в состоянии i
E (Υ
i
) =
1
α
i
Если α
i
= ∞, состояние i называется мгновенным состоянием, по- скольку среднее время пребывания в таком состоянии равно нулю. Когда марковский процесс входит в такое состояние, он мгновенно из него выхо- дит. В дальнейшем мы будем всюду предполагать, что 0 ≤ α
i
< ∞. В этом случае процесс не имеет мгновенных состояний. При этом, если α
i
= 0, то состояние i называется поглощающим, поскольку если процесс входит в это состояние, то он из него уже никогда не выходит, так как E (Υ
i
) = ∞.
Таким образом, мы можем представлять себе марковский процесс как случайный процесс, который движется из состояния в состояние в соот- ветствии с цепью Маркова с дискретным временем. При этом время, ко- торое он проводит в каждом состоянии, перед переходом в следующее со- стояние — это случайная величина с экспоненциальным распределением.
Кроме того, времена, которые процесс проводит в каждом из состояний i ∈ {0, 1, . . . , r}, должны быть независимыми случайными величинами.
Определим величины a ij
:
a ij
= α
i
· P
ij для i 6= j.
(6.6)
Так как α
i
— это интенсивность, с которой процесс покидает состояние i
(параметр экспоненциального распределения случайной величины Υ
i
), а
P
ij
— вероятность того, что он переходит в состояние j, то из (6.6) следует,
что a ij
– это интенсивность перехода процесса из состояния i в состоя- ние j.
Поскольку
P
r j=0, j6=i
P
ij
= 1, из (6.6) следует, что
α
i
=
r
X
j=0 (j6=i)
a ij
(6.7)
101
• время Υ
i
, которое процесс проводит в состоянии i, прежде чем сде- лать переход в другое состояние, экспоненциально распределено с пара- метром, скажем, α
i
;
• когда процесс покидает состояние i, он перейдет в состояние j с некоторой вероятностью P
ij
, причем
P
r j=0
P
ij
= 1, j 6= i.
Следовательно, среднее время пребывания в состоянии i
E (Υ
i
) =
1
α
i
Если α
i
= ∞, состояние i называется мгновенным состоянием, по- скольку среднее время пребывания в таком состоянии равно нулю. Когда марковский процесс входит в такое состояние, он мгновенно из него выхо- дит. В дальнейшем мы будем всюду предполагать, что 0 ≤ α
i
< ∞. В этом случае процесс не имеет мгновенных состояний. При этом, если α
i
= 0, то состояние i называется поглощающим, поскольку если процесс входит в это состояние, то он из него уже никогда не выходит, так как E (Υ
i
) = ∞.
Таким образом, мы можем представлять себе марковский процесс как случайный процесс, который движется из состояния в состояние в соот- ветствии с цепью Маркова с дискретным временем. При этом время, ко- торое он проводит в каждом состоянии, перед переходом в следующее со- стояние — это случайная величина с экспоненциальным распределением.
Кроме того, времена, которые процесс проводит в каждом из состояний i ∈ {0, 1, . . . , r}, должны быть независимыми случайными величинами.
Определим величины a ij
:
a ij
= α
i
· P
ij для i 6= j.
(6.6)
Так как α
i
— это интенсивность, с которой процесс покидает состояние i
(параметр экспоненциального распределения случайной величины Υ
i
), а
P
ij
— вероятность того, что он переходит в состояние j, то из (6.6) следует,
что a ij
– это интенсивность перехода процесса из состояния i в состоя- ние j.
Поскольку
P
r j=0, j6=i
P
ij
= 1, из (6.6) следует, что
α
i
=
r
X
j=0 (j6=i)
a ij
(6.7)
101
Пусть Υ
ij обозначает случайное время, проведенное процессом в состо- янии i перед переходом в состояние j (j 6= i). Время Υ
ij имеет экспонен- циальное распределение с параметром a ij
Рассмотрим бесконечно малый промежуток времени 4t > 0. Посколь- ку Υ
i и Υ
ij распределены экспоненциально с параметрами α
i и a ij соот- ветственно, мы имеем:
P
ii
(4t) = P Υ
i
≥ 4t
= e
−α
i
4t
≈ 1 − α
i
4t,
P
ij
(4t) = P Υ
ij
< 4t
= 1 − e
−a ij
4t
≈ a ij
4t,
когда 4t «мало». Поэтому мы имеем:
lim
4t→0
+
1 − P
ii
(4t)
4t
= lim
4t→0
+
P Υ
i
< 4t
4t
= α
i
,
(6.8)
lim
4t→0
+
P
ij
(4t)
4t
= lim
4t→0
+
P Υ
ij
< 4t
4t
= a ij для i 6= j.
(6.9)
Поскольку из (6.6) и (6.7) мы можем найти a i
и P
ij
, если знаем a ij для всех i, j в X , то можем одинаково хорошо определить марковский процесс,
указав, во-первых, пространство состояний X и, во-вторых, интенсивности переходов a ij для всех i, j из X . Второе определение часто оказывается более естественным, и мы будем использовать его в последующем.
Мы можем записать интенсивности переходов a ij в виде матрицы
A =
a
00
a
01
· · · a
0r a
10
a
11
· · · a
1r a
r0
a r1
· · · a rr
,
(6.10)
где вводим следующее обозначение для диагональных элементов:
a ii
= −α
i
= −
r
X
j=0 (j6=i)
a ij
(6.11)
Матрица A называется инфинитезимальной матрицей (или матри- цей интенсивностей переходов) марковского процесса. Отметим, что эле- менты строки с номером i являются интенсивностями перехода из состо- яния i (для j 6= i). Согласно (6.7), −a ii
= α
i является суммарной ин- тенсивностью выхода из состояния i. Отметим, что сумма элементов i-й строки матрица A равна 0 для всех i ∈ X . Элементы столбца с номером j являются интенсивностями перехода в состояние j (для j 6= i).
102
Чтобы задать матрицу интенсивностей перехода A, нужно выполнить следующие действия:
• перечислить и описать все возможные состояния системы. Каждо- му состоянию должен быть присвоен номер, мы здесь используем целые числа от 0 до r. Обозначим через r лучшее в смысле функционирования состояние системы (когда все элементы функционируют идеально), а че- рез 0 — худшее. Пространство состояний системы, таким образом, имеет вид X = {0, 1, . . . , r};
• найти (оценить статистически) интенсивности перехода a ij для всех i 6= j и i, j ∈ X . Каждый переход обычно связан с отказом или оконча- нием ремонта. Следовательно, величины a ij
— это интенсивности отказов,
ремонта, а также их комбинации;
• заполнить внедиагональные элементы матрицы A, затем диагональ- ные элементы a ii в каждой строке положить равными минус сумме осталь- ных (внедиагональных) элементов строки так, чтобы сумма элементов в каждой строке была равна нулю.
Марковский процесс может быть представлен схематично в виде графа интенсивностей переходов (диаграммы Маркова), у которого вершины изображают все возможные состояния процесса, а направленные дуги по- казывают возможные переходы, рядом с дугами (см. рис. 6.2) подписаны интенсивности a ij соответствующих переходов.
1 2 3 4 5 6 7 8 9 10 11
Пример 6.2 [37]. Вернемся к примеру 6.1 с параллельной структурой из двух независимых элементов.
Рис. 6.2. Диаграмма переходов параллельной структуры
Предполагается, что принята следующая стратегия обслуживания: при отказе элемента сразу же инициируется действие по его ремонту, чтобы вернуть этот элемент в исходное работоспособное состояние. После того как ремонт завершен, элемент считается полностью восстановленным, т. е.
103
рассматривается «как новый». Предполагается, что каждый элемент име- ет свою собственную специализированную ремонтную бригаду. Мы пред- полагаем, что элементы имеют постоянные интенсивности отказов λ
i и по- стоянные интенсивности восстановления µ
i для i = 1, 2. Переходы между четырьмя состояниями системы иллюстрированы диаграммой интенсив- ностей переходов на рис. 6.2.
Предположим, что в момент времени 0 система находится в состоя- нии 3 (все элементы функционируют). Первый переход может быть в со- стояние 2 (отказ элемента 2) или в состояние 1 (отказ элемента 1). Ин- тенсивность перехода в состояние 2 составляет a
32
= λ
2
, a интенсивность перехода в состояние 1 составляет a
31
= λ
1
. Следовательно, время пре- бывания в состоянии 3 равно Υ
3
= min{Υ
31
, Υ
32
}, где Υ
ij
— время до первого перехода из состояния i в состояние j. Υ
3
имеет экспоненциаль- ное распределение с параметром (интенсивностью) a
31
+ a
32
= λ
1
+ λ
2
, и среднее время пребывания в состоянии 3 равно 1/(λ
1
+ λ
2
). Когда система находится в состоянии 2, следующий переход может быть либо в состоя- ние 3 (с интенсивностью a
23
= µ
2
), либо в состояние 0 (с интенсивностью a
20
= λ
1
). Вероятность перехода в состояние 3 составляет µ
2
/(µ
2
+ λ
1
),
а вероятность перехода в состояние 0 составляет λ
1
/(µ
2
+ λ
1
). Свойство отсутствия последействия экспоненциального распределения гарантирует,
что элемент 1 будет «как новый», когда система переходит в состояние 2.
В этом примере мы для простоты предполагаем, что элемент 1 имеет та- кую же интенсивность отказов λ
1
в состоянии 3, когда оба элемента функ- ционируют, как и в состоянии 2, когда работает только элемент 1. Интен- сивность отказа a
20
элемента 1 в состоянии 2, однако, может быть легко изменена на другую интенсивность λ
0 1
, которая отличается λ
1
(например,
больше). Когда система пребывает в состоянии 0, оба элемента находятся в неисправном состоянии, и две независимые ремонтные бригады работают,
чтобы вернуть элементы в рабочее состояние. Время восстановления Υ
01
и Υ
02
является независимыми экспоненциально распределенными случай- ными величинами с параметрами (интенсивностями восстановления) µ
1
и
µ
2
соответственно. Время пребывания Υ
0
в состоянии 0 (простоя системы)
равно min{Υ
01
, Υ
02
}, оно имеет экспоненциальное распределение с пара- метром (интенсивностью) (µ
1
+ µ
2
), поэтому среднее время простоя систе- мы составляет 1/(µ
1
+µ
2
). Когда система переходит в состояние 0, один из элементов уже вышел из строя и будет восстановлен после отказа другого элемента. Марковское свойство (отсутствие последействия) экспоненци- ального распределения гарантирует, однако, что время для завершения восстановления не зависит от того, как долго элемент ремонтировался,
104
i и по- стоянные интенсивности восстановления µ
i для i = 1, 2. Переходы между четырьмя состояниями системы иллюстрированы диаграммой интенсив- ностей переходов на рис. 6.2.
Предположим, что в момент времени 0 система находится в состоя- нии 3 (все элементы функционируют). Первый переход может быть в со- стояние 2 (отказ элемента 2) или в состояние 1 (отказ элемента 1). Ин- тенсивность перехода в состояние 2 составляет a
32
= λ
2
, a интенсивность перехода в состояние 1 составляет a
31
= λ
1
. Следовательно, время пре- бывания в состоянии 3 равно Υ
3
= min{Υ
31
, Υ
32
}, где Υ
ij
— время до первого перехода из состояния i в состояние j. Υ
3
имеет экспоненциаль- ное распределение с параметром (интенсивностью) a
31
+ a
32
= λ
1
+ λ
2
, и среднее время пребывания в состоянии 3 равно 1/(λ
1
+ λ
2
). Когда система находится в состоянии 2, следующий переход может быть либо в состоя- ние 3 (с интенсивностью a
23
= µ
2
), либо в состояние 0 (с интенсивностью a
20
= λ
1
). Вероятность перехода в состояние 3 составляет µ
2
/(µ
2
+ λ
1
),
а вероятность перехода в состояние 0 составляет λ
1
/(µ
2
+ λ
1
). Свойство отсутствия последействия экспоненциального распределения гарантирует,
что элемент 1 будет «как новый», когда система переходит в состояние 2.
В этом примере мы для простоты предполагаем, что элемент 1 имеет та- кую же интенсивность отказов λ
1
в состоянии 3, когда оба элемента функ- ционируют, как и в состоянии 2, когда работает только элемент 1. Интен- сивность отказа a
20
элемента 1 в состоянии 2, однако, может быть легко изменена на другую интенсивность λ
0 1
, которая отличается λ
1
(например,
больше). Когда система пребывает в состоянии 0, оба элемента находятся в неисправном состоянии, и две независимые ремонтные бригады работают,
чтобы вернуть элементы в рабочее состояние. Время восстановления Υ
01
и Υ
02
является независимыми экспоненциально распределенными случай- ными величинами с параметрами (интенсивностями восстановления) µ
1
и
µ
2
соответственно. Время пребывания Υ
0
в состоянии 0 (простоя системы)
равно min{Υ
01
, Υ
02
}, оно имеет экспоненциальное распределение с пара- метром (интенсивностью) (µ
1
+ µ
2
), поэтому среднее время простоя систе- мы составляет 1/(µ
1
+µ
2
). Когда система переходит в состояние 0, один из элементов уже вышел из строя и будет восстановлен после отказа другого элемента. Марковское свойство (отсутствие последействия) экспоненци- ального распределения гарантирует, однако, что время для завершения восстановления не зависит от того, как долго элемент ремонтировался,
104
поэтому можно считать, что оба ремонта начались одновременно.
Таким образом, матрица интенсивностей переходов
A =
−(µ
1
+ µ
2
)
µ
1
µ
2 0
λ
2
−(λ
2
+ µ
1
)
0
µ
1
λ
1 0
−(λ
1
+ µ
2
)
µ
2 0
λ
1
λ
2
−(λ
1
+ λ
2
)
(6.12)
В этой модели мы (правомерно) не учитываем возможность одновре- менного отказа обоих элементов ввиду марковского свойства экспонен- циального распределения, приводящего к ординарности потоков соответ- ствующих событий. Таким образом, переход из состояния 3 в состояние 0
считается невозможным за бесконечно малый интервал длиной 4t.
Отметим еще раз, что при построении диаграммы интенсивностей пе- реходов мы имеем в виду очень короткий интервал времени, так что диа- грамма интенсивностей учитывает только одиночные переходы. Так как экспоненциально распределенные интервалы порождают пуассоновский процесс, обладающий свойством ординарности, согласно которому вероят- ность наличия двух или более событий за короткое время 4t равна o(4t),
события, состоящие одновременно из нескольких переходов, не включены в диаграмму, поскольку интенсивность таких событий равна 0. Поэтому невозможно перейти из состояния 1 в состояние 2 (см. рис. 6.2), поскольку это означает одновременное восстановление (завершение ремонта) элемен- та 1 и отказа элемента 2, и невозможно перейти из состояния 3 в состо- яние 0 (см. рис. 6.2), поскольку такой переход означает одновременный отказ двух элементов.
Пример 6.3 [37]. Снова рассмотрим параллельную структуру из приме- ра 6.1, но теперь будем предполагать, что эти два элемента независимы и имеют одинаковую интенсивность отказов λ. В этом случае нет необходи- мости различать состояния 1 и 2, и мы можем считать, что пространство состояний состоит из трех состояний: 2 – оба элемента работают; 1 – один элемент работает; 0 – оба элемента отказали.
Рис. 6.3. Диаграмма переходов состояний в примере 6.3
Предположим, что имеется одна ремонтная бригада, которая действует по правилу «первый отказавший – первым ремонтируется». Время ремон-
105
Таким образом, матрица интенсивностей переходов
A =
−(µ
1
+ µ
2
)
µ
1
µ
2 0
λ
2
−(λ
2
+ µ
1
)
0
µ
1
λ
1 0
−(λ
1
+ µ
2
)
µ
2 0
λ
1
λ
2
−(λ
1
+ λ
2
)
(6.12)
В этой модели мы (правомерно) не учитываем возможность одновре- менного отказа обоих элементов ввиду марковского свойства экспонен- циального распределения, приводящего к ординарности потоков соответ- ствующих событий. Таким образом, переход из состояния 3 в состояние 0
считается невозможным за бесконечно малый интервал длиной 4t.
Отметим еще раз, что при построении диаграммы интенсивностей пе- реходов мы имеем в виду очень короткий интервал времени, так что диа- грамма интенсивностей учитывает только одиночные переходы. Так как экспоненциально распределенные интервалы порождают пуассоновский процесс, обладающий свойством ординарности, согласно которому вероят- ность наличия двух или более событий за короткое время 4t равна o(4t),
события, состоящие одновременно из нескольких переходов, не включены в диаграмму, поскольку интенсивность таких событий равна 0. Поэтому невозможно перейти из состояния 1 в состояние 2 (см. рис. 6.2), поскольку это означает одновременное восстановление (завершение ремонта) элемен- та 1 и отказа элемента 2, и невозможно перейти из состояния 3 в состо- яние 0 (см. рис. 6.2), поскольку такой переход означает одновременный отказ двух элементов.
Пример 6.3 [37]. Снова рассмотрим параллельную структуру из приме- ра 6.1, но теперь будем предполагать, что эти два элемента независимы и имеют одинаковую интенсивность отказов λ. В этом случае нет необходи- мости различать состояния 1 и 2, и мы можем считать, что пространство состояний состоит из трех состояний: 2 – оба элемента работают; 1 – один элемент работает; 0 – оба элемента отказали.
Рис. 6.3. Диаграмма переходов состояний в примере 6.3
Предположим, что имеется одна ремонтная бригада, которая действует по правилу «первый отказавший – первым ремонтируется». Время ремон-
105
та элемента предполагается экспоненциально распределенным с интен- сивностью ремонта µ. Среднее время ремонта элемента (время его про- стоя) тогда 1/µ. Переходы между тремя состояниями системы показаны на рис. 6.3. Переход из состояния 2 в состояние 1 произойдет, как толь- ко один из двух независимых элементов выйдет из строя. Следовательно,
интенсивность перехода a
21
= 2λ. Когда система находится в состоянии 1,
она либо перейдет в состояние 2 с вероятностью µ/(µ + λ)
, либо в со- стояние 0 с вероятностью λ/(µ + λ)
.
Матрица интенсивностей переходов
A =
−µ
µ
0
λ
−(λ + µ)
µ
0 2λ
−2λ
(6.13)
Среднее время пребывания в этих трех состояниях
E(Υ
0
) =
1
µ
,
E(Υ
1
) =
1
λ + µ
,
E(Υ
2
) =
1 2λ
,
т. е. величины, обратные к диагональным элементам матрицы A, взятым по абсолютной величине.
Пример 6.4. Рассмотрим однородный (считающий) процесс Пуассона с интенсивностью λ. Это марковский процесс со счетным множеством со- стояний X = {0, 1, 2, . . . }. В этом случае мы имеем α
i
= −a ii
= λ для всех i ∈ X , a i(i+1)
= λ, и a ij
= 0 для всех j 6= i, i + 1.
Матрица интенсивностей переходов однородного процесса Пуассона имеет вид
A =
−λ
λ
0
· · ·
0
−λ
λ
· · ·
0 0
−λ · · ·
(6.14)
Диаграмма интенсивностей перехода изображена на рис. 6.4.
Рис. 6.4. Диаграмма переходов состояний однородного процесса Пуассона
Уравнения Колмогорова – Чепмена. Рассмотрим однородный мар- ковский процесс {X(t), t ≤ 0} с множеством состояний X = {0, 1, . . . , r}
106
интенсивность перехода a
21
= 2λ. Когда система находится в состоянии 1,
она либо перейдет в состояние 2 с вероятностью µ/(µ + λ)
, либо в со- стояние 0 с вероятностью λ/(µ + λ)
.
Матрица интенсивностей переходов
A =
−µ
µ
0
λ
−(λ + µ)
µ
0 2λ
−2λ
(6.13)
Среднее время пребывания в этих трех состояниях
E(Υ
0
) =
1
µ
,
E(Υ
1
) =
1
λ + µ
,
E(Υ
2
) =
1 2λ
,
т. е. величины, обратные к диагональным элементам матрицы A, взятым по абсолютной величине.
Пример 6.4. Рассмотрим однородный (считающий) процесс Пуассона с интенсивностью λ. Это марковский процесс со счетным множеством со- стояний X = {0, 1, 2, . . . }. В этом случае мы имеем α
i
= −a ii
= λ для всех i ∈ X , a i(i+1)
= λ, и a ij
= 0 для всех j 6= i, i + 1.
Матрица интенсивностей переходов однородного процесса Пуассона имеет вид
A =
−λ
λ
0
· · ·
0
−λ
λ
· · ·
0 0
−λ · · ·
(6.14)
Диаграмма интенсивностей перехода изображена на рис. 6.4.
Рис. 6.4. Диаграмма переходов состояний однородного процесса Пуассона
Уравнения Колмогорова – Чепмена. Рассмотрим однородный мар- ковский процесс {X(t), t ≤ 0} с множеством состояний X = {0, 1, . . . , r}
106