Файл: Надежность диагностикидиагностических тестов.ppt

Надежность (reliability) – это уровень постоянства повторения одного и того же результата при многократных измерениях признака в идентичных условиях
Может ли быть повторен полученный результат при многократном повторении измерения?

Причины низкой надежности диагностики

Расхождение результатов, полученных разными врачами при измерении одного и того же признака
Применение разных инструментов измерения
Нестабильность измеряемого признака
Расхождение в результатах повторных измерений признака одним и тем же врачем

Вариация внутри объекта исследования

АД	Ж 27 лет	Ж 62 года	М 33 года
Базальное Самое низкое в течение часа Самое высокое в течение часа	110/70 86/47 126/79	132/82 102/61 172/94	152/109 123/78 153/107

Два врача/диагностика часто не приходят к одному и тому же результату
Знание степени до которой два врача согласны или не согласны друг с другом очень важно в науке и в оценке качества медицинской помощи независимо от того, проводится ли физикальное обследование, лабораторный тест или другое измерение человеческих характеристик
Поэтому при проведении исследования или в практике повышения качества оказания диагностики необходимо знать как изобразить согласие в количественном виде

	Врач №1
	Норма	Сомнительный	Патология
Норма	A	B	C
Сомнительный	D	E	F
Патология	H	I	J

Врач №2

Процент согласия (Percent agreement)

Процент согласия = х 100%

А + E + J

общее количество измерений

		Исследователь №1
		Патология	Норма
Исследователь №2	Патология	a	b
	Норма	c	d

Процент согласия =

а

a + b + c

х 100%

На процент согласия влияет случайное согласие: даже если 2 исследователя будут использовать разные критерии для разделения людей на больных и здоровых, в определенном проценте случаев их результаты будут совпадать только лишь благодаря случаю

Каппа статистика

Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание или выделяют симптомы, синдромы, признаки, - то нам следует задать вопрос: Насколько совпадают их заключения без участия случая или шанса? Другими словами: Насколько согласие между 2-мя исследователями превышает их случайное согласие?

Каппа статистика

Каппа =

процент наблюдаемого согласия

процент случайного согласия

процент случайного согласия

100%

–

–

на сколько лучше наблюдаемое согласие случайного согласия

полное согласие

максимально возможное согласие при избавлении от случайного согласия

Смысл Каппа статистики

Каппа выражает величину до которой наблюдаемое согласие превышает случайное согласие и выглядит в виде пропорции максимального улучшения (без влияния случая), которого удалось достигнуть двумя или более исследователями при измерении одного и того же феномена.

	Гистолог А
	стадия 2	стадия 3	Всего
стадия 2			44 (58.6%)
стадия 3			31 (41.4%)
Всего	45 (60%)	30 (40%)	75 (100%)

Гистолог В

Чему равно наблюдаемое согласие между 2-мя гистологами ?

41

3

4

27

41 +27

75

Процент согласия = х 100

= 90,7%

Чтобы рассчитать случайное согласие...

Представим, что 2 гистолога используют абсолютно разные диагностические критерии. В этом случае совпадения будут случайными
Гистолог А отнес 60% всех 75-ти образцов ко 2 стадии рака. Если бы гистолог А использовал критерии совершенно отличные от критериев гистолога В, то гистолог А выявлял бы 2 стадию в 60% образцов, которые гистолог В относил ко 2 стадии и в 60% образцов, которые гистолог В относил бы к 3-й стадии.

	Гистолог А
	стадия 2	стадия 3	Всего
стадия 2			44 (58.6%)
стадия 3			31 (41.4%)
Всего	45 (60%)	30 (40%)	75 (100%)

Гистолог В

26,4

18,6

26,4 + 12,4

75

Процент случайного согласия

= 51,7%

=

12,4

Каппа статистика

Каппа =

процент наблюдаемого согласия

процент случайного согласия

процент случайного согласия

100%

–

–

Каппа =

90,7%

51,7%

51,7%

100%

–

–

=

0,81%

Каппа статистика

Каппа > 0.75 – высокое согласие
Каппа < 0.4 – низкое согласие
Каппа от 0.4 до 0.75 – среднее согласие

Хотели бы вы знать еще что-то об этом исследовании?

Варикозные вены	N мужчин	Относительный риск
Нет	5 477	1.0
Слабой степени	1 217	1.5
Средней степени	731	2.0
Всего

Методы использованные в планировании и проведении данного исследования. Это позволит нам понять что представляют из себя данные в таблице, а так же оценить вероятность ошибки выборки или информационной ошибки
2. Необходимо задавать себе следующие вопросы:

Во время обследования врачи визуально обследовали и пальпировали нижние конечности каждого пациента и регистрировали увеличенные узловатые вены. Врачи записывал в историю варикозные вены слабой и средней степени выраженности ... Между наблюдениями разных врачей имелись различия. Среди 12 врачей (принимавших участие в исследовании) каждый из которых обследовал как минимум 200 военнослужащих ... зарегистрированная распространенность варикозных вен варьировала от 14% (из которых 5% варикозных вен были слабо выражены) до 40% (15% были слабо выражены). За мужчинами наблюдали в течение года - проводили ежегодные обследования (в случае ухода на пенсию наблюдение осуществлялось через рассылку вопросников), - и регистрировали новые случат сердечно-сосудистых смертей ... Все случаи смертей подтверждались группой медицинских экспертов на основе документации, данных ЭКГ и ферментного анализа.

Что вы можете сказать о достоверности и надежности постановки диагноза варикозных вен и ИБС?

Мы не можем быть уверены в том, что различия в зарегистрированной распространенности варикозных вен были только из-за различий между врачами (interobserver variation) в диагностике варикозных вен, так как между разными подгруппами военных, которых обследовали врачи, на самом деле могли быть различия в распротраненности варикозных вен.
Возможно надежность диагностики была низкой, так как ничего не было сказано о том были ли стандартизованы методы обследования и диагностические критерии или нет.
Авторы статьи в разделе дискуссия сами сделали заключение о том, что диагностика варикозных вен была «субъективной» и «далеко неудовлетворительной».
Если мы делаем заключение что надежность диагностики не была высокой, то отсюда следует что достоверность диагностики так же не могла быть высокой.

Так как наличие варикозных вен измерялось в самом начале исследования, то мисклассификация возможно была недифференцированной. Поэтому чувствительность и специфичность постановки диагноза варикозных вен была одной и той же среди тех у кого в последствии развилась коронарная смерть и среди тех у кого она не произошла. Таким образом найденная взаимосвязь скорее всего ниже истинной. Хотя на основе этих данных мы не можем быть полностью уверены что мисклассификация была недифференцированной.
Однако достоверность диагностики сердечно-сосудистых заболеваний среди не пенсионеров (которых ежегодно обследовали) и пенсионеров (которых не обследовали, а лишь рассылали вопросники) возможно отличалась, что приводило к дифференцированной мисклассификации.
Диф-я мисклассификация могла привести к отсутствию взаимосвязи, ослабить или увеличить реально существующую взаимосвязь.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	13.6	17.2	16.9
Средняя	7.8	9.7	10.5
Всего	21.4	26.9	27.4

Покажите различия в наличие варикозных вен той или иной степени
тяжести между разными рангами военнослужащих с использованием

показателя отношения. Примите рядовых за референс-категорию.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Существует слабая взаимосвязь между рангом и варикозными венами.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Может ли взаимосвязь между варикозными венами и ССЗ быть
искаженной конфаундером – рангом?

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Взаимосвязь между независимой и зависимой переменной может
быть искажена третьей переменной, которая влияет на зависимую
переменную и связана с независимой переменной (и не является
промежуточным звеном в патогенезе).

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Ранг может быть возможным конфаундером. Однако чтобы эффект
конфаундинга был значительным конфаундер должен быть сильно
связанным с другими переменными. В таблице мы видим,
что взаимосвязь между рангом и варикозными венами слабая. Таким
образом если конфаундинг и имеет место быть, то он очень слабый.