Файл: Надежность диагностикидиагностических тестов.ppt

Надежность (reliability) – это уровень постоянства повторения одного и того же результата при многократных измерениях признака в идентичных условиях Может ли быть повторен полученный результат при многократном повторении измерения?

Причины низкой надежности диагностики

Расхождение результатов, полученных разными врачами при измерении одного и того же признака Применение разных инструментов измерения Нестабильность измеряемого признака Расхождение в результатах повторных измерений признака одним и тем же врачем

Вариация внутри объекта исследования

АД	Ж 27 лет	Ж 62 года	М 33 года
Базальное Самое низкое в течение часа Самое высокое в течение часа	110/70 86/47 126/79	132/82 102/61 172/94	152/109 123/78 153/107

Два врача/диагностика часто не приходят к одному и тому же результату Знание степени до которой два врача согласны или не согласны друг с другом очень важно в науке и в оценке качества медицинской помощи независимо от того, проводится ли физикальное обследование, лабораторный тест или другое измерение человеческих характеристик Поэтому при проведении исследования или в практике повышения качества оказания диагностики необходимо знать как изобразить согласие в количественном виде

	Врач №1
	Норма	Сомнительный	Патология
Норма	A	B	C
Сомнительный	D	E	F
Патология	H	I	J

Врач №2

Процент согласия (Percent agreement)

Процент согласия = х 100% А + E + J общее количество измерений

		Исследователь №1
		Патология	Норма
Исследователь №2	Патология	a	b
	Норма	c	d

Процент согласия = а a + b + c х 100% На процент согласия влияет случайное согласие: даже если 2 исследователя будут использовать разные критерии для разделения людей на больных и здоровых, в определенном проценте случаев их результаты будут совпадать только лишь благодаря случаю

Каппа статистика

Если мы хотим узнать, насколько хорошо 2 исследователя диагностируют заболевание или выделяют симптомы, синдромы, признаки, - то нам следует задать вопрос: Насколько совпадают их заключения без участия случая или шанса? Другими словами: Насколько согласие между 2-мя исследователями превышает их случайное согласие?

Каппа статистика

Каппа = процент наблюдаемого согласия процент случайного согласия процент случайного согласия 100% – – на сколько лучше наблюдаемое согласие случайного согласия полное согласие максимально возможное согласие при избавлении от случайного согласия

Смысл Каппа статистики

Каппа выражает величину до которой наблюдаемое согласие превышает случайное согласие и выглядит в виде пропорции максимального улучшения (без влияния случая), которого удалось достигнуть двумя или более исследователями при измерении одного и того же феномена.

	Гистолог А
	стадия 2	стадия 3	Всего
стадия 2			44 (58.6%)
стадия 3			31 (41.4%)
Всего	45 (60%)	30 (40%)	75 (100%)

Гистолог В Чему равно наблюдаемое согласие между 2-мя гистологами ? 41 3 4 27 41 +27 75 Процент согласия = х 100 = 90,7%

Чтобы рассчитать случайное согласие...

Представим, что 2 гистолога используют абсолютно разные диагностические критерии. В этом случае совпадения будут случайными Гистолог А отнес 60% всех 75-ти образцов ко 2 стадии рака. Если бы гистолог А использовал критерии совершенно отличные от критериев гистолога В, то гистолог А выявлял бы 2 стадию в 60% образцов, которые гистолог В относил ко 2 стадии и в 60% образцов, которые гистолог В относил бы к 3-й стадии.

	Гистолог А
	стадия 2	стадия 3	Всего
стадия 2			44 (58.6%)
стадия 3			31 (41.4%)
Всего	45 (60%)	30 (40%)	75 (100%)

Гистолог В 26,4 18,6 26,4 + 12,4 75 Процент случайного согласия = 51,7% = 12,4

Каппа статистика

Каппа = процент наблюдаемого согласия процент случайного согласия процент случайного согласия 100% – – Каппа = 90,7% 51,7% 51,7% 100% – – = 0,81%

Каппа статистика

Каппа > 0.75 – высокое согласие Каппа < 0.4 – низкое согласие Каппа от 0.4 до 0.75 – среднее согласие

Хотели бы вы знать еще что-то об этом исследовании?

Варикозные вены	N мужчин	Относительный риск
Нет	5 477	1.0
Слабой степени	1 217	1.5
Средней степени	731	2.0
Всего

Методы использованные в планировании и проведении данного исследования. Это позволит нам понять что представляют из себя данные в таблице, а так же оценить вероятность ошибки выборки или информационной ошибки 2. Необходимо задавать себе следующие вопросы:

Во время обследования врачи визуально обследовали и пальпировали нижние конечности каждого пациента и регистрировали увеличенные узловатые вены. Врачи записывал в историю варикозные вены слабой и средней степени выраженности ... Между наблюдениями разных врачей имелись различия. Среди 12 врачей (принимавших участие в исследовании) каждый из которых обследовал как минимум 200 военнослужащих ... зарегистрированная распространенность варикозных вен варьировала от 14% (из которых 5% варикозных вен были слабо выражены) до 40% (15% были слабо выражены). За мужчинами наблюдали в течение года - проводили ежегодные обследования (в случае ухода на пенсию наблюдение осуществлялось через рассылку вопросников), - и регистрировали новые случат сердечно-сосудистых смертей ... Все случаи смертей подтверждались группой медицинских экспертов на основе документации, данных ЭКГ и ферментного анализа.

Что вы можете сказать о достоверности и надежности постановки диагноза варикозных вен и ИБС? Мы не можем быть уверены в том, что различия в зарегистрированной распространенности варикозных вен были только из-за различий между врачами (interobserver variation) в диагностике варикозных вен, так как между разными подгруппами военных, которых обследовали врачи, на самом деле могли быть различия в распротраненности варикозных вен.Возможно надежность диагностики была низкой, так как ничего не было сказано о том были ли стандартизованы методы обследования и диагностические критерии или нет.Авторы статьи в разделе дискуссия сами сделали заключение о том, что диагностика варикозных вен была «субъективной» и «далеко неудовлетворительной».Если мы делаем заключение что надежность диагностики не была высокой, то отсюда следует что достоверность диагностики так же не могла быть высокой. Так как наличие варикозных вен измерялось в самом начале исследования, то мисклассификация возможно была недифференцированной. Поэтому чувствительность и специфичность постановки диагноза варикозных вен была одной и той же среди тех у кого в последствии развилась коронарная смерть и среди тех у кого она не произошла. Таким образом найденная взаимосвязь скорее всего ниже истинной. Хотя на основе этих данных мы не можем быть полностью уверены что мисклассификация была недифференцированной.Однако достоверность диагностики сердечно-сосудистых заболеваний среди не пенсионеров (которых ежегодно обследовали) и пенсионеров (которых не обследовали, а лишь рассылали вопросники) возможно отличалась, что приводило к дифференцированной мисклассификации. Диф-я мисклассификация могла привести к отсутствию взаимосвязи, ослабить или увеличить реально существующую взаимосвязь.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	13.6	17.2	16.9
Средняя	7.8	9.7	10.5
Всего	21.4	26.9	27.4

Покажите различия в наличие варикозных вен той или иной степенитяжести между разными рангами военнослужащих с использованием

показателя отношения. Примите рядовых за референс-категорию.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Существует слабая взаимосвязь между рангом и варикозными венами.

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Может ли взаимосвязь между варикозными венами и ССЗ бытьискаженной конфаундером – рангом?

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Взаимосвязь между независимой и зависимой переменной можетбыть искажена третьей переменной, которая влияет на зависимуюпеременную и связана с независимой переменной (и не являетсяпромежуточным звеном в патогенезе).

Степень выраженности вв.	Рядовые N=1270	Офицеры N=1895	Генералы N=4260
Слабая	1.0	1.3	1.2
Средняя	1.0	1.2	1.3
Всего	1.0	1.3	1.3

Ранг может быть возможным конфаундером. Однако чтобы эффектконфаундинга был значительным конфаундер должен быть сильносвязанным с другими переменными. В таблице мы видим,что взаимосвязь между рангом и варикозными венами слабая. Такимобразом если конфаундинг и имеет место быть, то он очень слабый.