Уровень убедительности рекомендаций с что это
Приложение N 2. Шкала оценки уровней достоверности доказательств (УДД) для методов диагностики, профилактики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (диагностических, профилактических, лечебных, реабилитационных вмешательств) и шкала оценки уровней убедительности рекомендаций (УУР) для методов профилактики, диагностики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (профилактических, диагностических, лечебных, реабилитационных вмешательств) (рекомендуемый образец)
Информация об изменениях:
Приложение N 2
к Требованиям к структуре
клинических рекомендаций,
составу и научной обоснованности
включаемой в клинические
рекомендации информации,
утвержденным приказом
Министерства здравоохранения
Российской Федерации
от 28 февраля 2019 г. N 103н
(с изменениями от 23 июня 2020 г.)
Шкалы
оценки уровней достоверности доказательств (УДД) для методов диагностики, профилактики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (диагностических, профилактических, лечебных, реабилитационных вмешательств) и шкала оценки уровней убедительности рекомендаций (УУР) для методов профилактики, диагностики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (профилактических, диагностических, лечебных, реабилитационных вмешательств)
1. Шкала
оценки уровней достоверности доказательств (УДД) для методов диагностики (диагностических вмешательств)
Систематические обзоры исследований с контролем референсным методом или систематический обзор рандомизированных клинических исследований с применением мета-анализа
Отдельные исследования с контролем референсным методом или отдельные рандомизированные клинические исследования и систематические обзоры исследований любого дизайна, за исключением рандомизированных клинических исследований, с применением мета-анализа
Исследования без последовательного контроля референсным методом или исследования с референсным методом, не являющимся независимым от исследуемого метода или нерандомизированные сравнительные исследования, в том числе когортные исследования
Несравнительные исследования, описание клинического случая
Имеется лишь обоснование механизма действия или мнение экспертов
2. Шкала
оценки уровней достоверности доказательств (УДД) для методов профилактики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (профилактических, лечебных, реабилитационных вмешательств)
Систематический обзор рандомизированных клинических исследований с применением мета-анализа
Отдельные рандомизированные клинические исследования и систематические обзоры исследований любого дизайна, за исключением рандомизированных клинических исследований, с применением мета-анализа
Нерандомизированные сравнительные исследования, в том числе когортные исследования
Несравнительные исследования, описание клинического случая или серии случаев, исследование «случай-контроль»
Имеется лишь обоснование механизма действия вмешательства (доклинические исследования) или мнение экспертов
3. Шкала
оценки уровней убедительности рекомендаций (УУР) для методов профилактики, диагностики, лечения, медицинской реабилитации, в том числе основанных на использовании природных лечебных факторов (профилактических, диагностических, лечебных, реабилитационных вмешательств)
Сильная рекомендация (все рассматриваемые критерии эффективности (исходы) являются важными, все исследования имеют высокое или удовлетворительное методологическое качество, их выводы по интересующим исходам являются согласованными)
Условная рекомендация (не все рассматриваемые критерии эффективности (исходы) являются важными, не все исследования имеют высокое или удовлетворительное методологическое качество и/или их выводы по интересующим исходам не являются согласованными)
Слабая рекомендация (отсутствие доказательств надлежащего качества (все рассматриваемые критерии эффективности (исходы) являются неважными, все исследования имеют низкое методологическое качество и их выводы по интересующим исходам не являются согласованными)
Рекомендации, основанные на доказательствах: часть I
Таким образом, очевидно, что сам тип исследования (например, рандомизированное) не свидетельствует о его качестве или степени доказательности. В зависимости от используемого методологического подхода оценки качества исследования изменяется и оценочный уровень качества одних и тех же исследований. Кроме оценки уровня доказательств применяется такое понятие, как оценка качества доказательств, которое учитывает как тип и качество исследований/фактических данных, так и:
Примеры классификаций уровня доказательности данных, разработанных отдельными организациями
Оксфордский центр доказательной медицины (CEBM, Великобритания) разработал и применяет шкалу с пятью уровнями доказательности в зависимости от цели оценки (эффект метода лечения, точность диагностического метода, прогноз, стоимость лечения) 3
Таблица 1. Уровни доказательности, используемые в исследованиях при оценке методов лечения/профилактики/этиологии заболеваний/причинения вреда (риски).
Экономический анализ, анализ принятия решений
Систематические обзоры (с однородностью*) РКИ
СО (с однородностью*) когортных исследований
СО (с однородностью *) диагностических исследований 1 уровня в различных популяциях
ПКР на основе с исследований 1b из разных клинических центров
СО (с однородностью*) проспективных когортных исследований
СО (с однородностью*) экономических исследований уровня 1
Единичные РКИ (результаты с узким доверительным интервалом )
Когортное исследование (с четко определенными критериями на начальном этапе с исходной группой участников) с последующим наблюдением > 80% участников
ПКР на основании данных в одной популяции
Валидные ** когортные исследования с хорошим референсным стандартом
ПКР протестирован в одном клиническом центре
Проспективное когортное исследование с хорошим последующим наблюдением ****
Анализ, основанный на клинически обоснованных затратах или альтернативах; СО доказательств, включая многосторонний анализ чувствительности
«Все или ничего» исследования «серия наблюдений»
Абсолютные SpPin и SnNout (см. ниже)
«Все или ничего» исследования «серия наблюдений»
Анализ «стоимость/эффективность» 4 (см. ниже)
СО (с однородностью*) когортных исследований
СО (с однородностью*) или ретроспективных когортных исследований, или контрольной группы без лечения в РКИ
СО (с однородностью*) диагностических исследований уровня > 2
СО (с однородностью*) с вкл. исследований уровня 2b или лучше
СО (с однородностью*) уровня >2 экономических исследований
Единичные когортные исследования или РКИ низкого качества
Ретроспективное когортное исследование или наблюдение за контрольной группой без лечения в РКИ
Поисковое ** когортное исследование с хорошими референсными стандартами
ПКР после «поиска» или подтверждения только путем «split-sample» 3 или баз данных
Ретроспективное когортное исследование или низкий % последующего наблюдения
Анализ, основанный на клинически обоснованных затратах или альтернативах; ограниченный обзор доказательств или единичные исследования, включая многосторонний анализ чувствительности
Исследование «исходов» (см.ниже); экологические исследования
Исследование «исходов» (см. ниже)
Аудит или исследование результатов
СО (с однородностью*) исследований случай-контроль
СО (с однородностью *) исследований уровня 3b и лучше
СО (с однородностью *) исследований уровня 3b и лучше
СО (с однородностью *) исследований уровня 3b и лучше
Единичные исследования случай-контроль
Исследование с определенными ограничениями в наборе пациентов Исследование без последовательно применяемых референсных стандартов
Когортное исследование (с ограничениями) или исследование в очень ограниченной популяции
Анализ, основанный на ограниченных альтернативах или затратах, низком качестве оценок данных, но включая анализ чувствительности, оценку клинически значимых вариаций
Серия случаев (и низкого качества когортные исследования, и случай-контроль) 2
Серия случаев (и прогностические когортные исследования низкого качества ***)
Исследование случай-контроль, плохой или зависимый референсный стандарт
Серия случаев или исследование с замененным референсным стандартом
Анализ без применения анализа чувствительности
Мнение экспертов без явной критической оценки или основанное на физиологии, лабораторных исследованиях или «первых принципах»
Мнение экспертов или мнение, основанное на экономической теории
По-другому выглядит шкала уровней доказательности, разработанная Шотландской межколлегиальной организацией по разработке клинических рекомендаций (SIGN). Шкала имеет 8 категорий, начинается с «золотого стандарта доказательств» (высококачественные систематические обзоры РКИ, РКИ с очень низким риском систематических ошибок) и заканчивается (при отсутствии доказательств) согласованным мнением экспертов.
Таблица 2. Шкала уровней доказательности SIGN.
Высококачественные мета-анализы, систематические обзоры РКИ с очень низкой вероятностью систематических ошибок
Качественные мета-анализы, систематические обзоры или РКИ с низкой вероятностью систематических ошибок
Мета-анализы, систематические обзоры или РКИ с высокой вероятностью систематических ошибок
Высококачественные систематические обзоры когортных исследований или исследований случай-контроль
Высококачественные когортные исследования или исследования случай-контроль с очень низкой вероятностью вмешивающихся факторов и систематических ошибок и высокой вероятностью причинно-следственных связей
Качественные когортные исследования или исследования случай-контроль с низкой вероятностью вмешивающихся факторов и систематических ошибок и средней вероятностью причинно-следственных связей
Когортные исследования или исследования случай-контроль с высокой вероятностью вмешивающихся факторов и систематических ошибок и значительным риском того, что взаимосвязи не носят характер причинно-следственных отношений
Не аналитические исследования, описание случаев, серия случаев
В системе GRADE не предусмотрена классификация доказательств в зависимости от типа и методологического качества исследований. Эксперты в системе GRADE выделяют не уровни, а качество доказательств (табл. 3). И именно данная система в той или иной степени (не всегда полностью) применяется многими профессиональными сообществами врачей при подготовке клинических рекомендаций.
Таблица 3. Классификация качества доказательств в системе GRADE
Есть большая уверенность в том, что истинный эффект близок к предполагаемому. Дальнейшие исследования вряд ли изменят уверенность в эффекте (несколько качественных исследований с последовательными результатами или в отдельных случаях одно крупное высококачественное многоцентровое исследование)
Существует умеренная уверенность в оценке эффекта: истинный эффект, вероятно, будет близок к предполагаемому, но есть вероятность, что он существенно отличается (одно крупное высококачественное исследование или несколько с методологическими ограничениями)
В оценочном эффекте имеется ограниченный эффект: истинный эффект может существенно отличаться от оцененного (несколько исследований с существенными методологическими ограничениями)
Уверенность в оценке эффекта очень мала: истинный эффект, вероятно, будет существенно отличаться от предполагаемого (экспертные мнения, нет прямых доказательств, исследования с существенными методологическими ограничениями)
GRADE выделяет пять факторов, на основании которых эксперты могут уменьшить оценку качества доказательств, и три‒повысить качество (табл. 4,5).
Таблица 4. Факторы, которые могут понизить оценку качества доказательств
Ограничения в дизайне или проведении исследования (риск систематической ошибки)
↓ 1 или 2 уровня
Несогласованность результатов разных исследований
↓ 1 или 2 уровня
↓ 1 или 2 уровня
↓ 1 или 2 уровня
↓ 1 или 2 уровня
Таблица 5. Факторы, которые могут увеличить оценку качества доказательств
Большая величина эффекта
↑ 1 или 2 уровня
Если имевшиеся в исследовании вмешивающиеся факторы могли снизить клинический эффект или увеличить его при отсутствии
↑ 1 уровень
↑ 1 уровень
В мире существуют и другие организации, разрабатывающие свои подходы к оценке уровней доказательности. Так, например, на сайте библиотеки Университета Стоуни-Брук (штат Нью-Йорк, США) представлена следующая классификация уровней доказательств (табл. 6).
Данные систематического обзора всех соответствующих РКИ
Данные мета-анализа всех соответствующих РКИ
Доказательства на основании уже проведенных (опубликованных) систематических обзоров
Данные guidelines (рекомендаций), разработанных на основе систематических обзоров
Данные мета-синтеза группы описательных или качественных исследований
Данные, обобщающие отдельные исследования
Данные одного правильно спланированного РКИ
Данные не РКИ, когортных исследований, серий случаев, отчетов о случаях и отдельных качественных исследований
Экспертные мнения, консенсус
Классификация доказательств, которые используют национальные службы, разрабатывающие рекомендации по профилактическим мероприятиям для населения в целом и целевых групп. Пример 1. Канадская служба по разработке мер профилактики (Canadian Task Force on Preventive Health Care, CTFPHC 5 ) в работе применяет оба понятия: как уровень доказательств на основании рейтинга дизайна исследований, так и качество доказательств (табл. 7,8).
Таблица 7. Уровни доказательств, используемые Канадской службой по разработке мер профилактики (в том числе скрининга).
По крайней мере 1 РКИ с надлежащим качеством рандомизации
Когортное исследование или исследование случай-контроль с хорошим дизайном
Серия сравнительных исследований с наблюдением во времени, явные (впечатляющие) результаты неконтролируемых (обсервационных) исследований
Таблица 8. Классификация качества доказательств Канадской службы по разработке мер профилактики (в том числе скрининга)
Эксперты абсолютно уверены в том, что истинный эффект близок к данным оценки эффекта в исследовании. Например, широкий спектр исследований без серьезных ограничений, между исследованиями мало различий, а итоговая оценка имеет узкий доверительный интервал
Эксперты считают, что истинный эффект, вероятно, будет близок к данным оценки эффекта в исследовании, но есть вероятность, что эффект будет другим. Например, если имеется всего несколько исследований, некоторые из них имеют определенные ограничения по качеству, но не серьезные недостатки, есть некоторые различия между исследованиями или широкий доверительный интервал итоговой оценки
Низкое или очень низкое качество
Истинный эффект может существенно отличаться от оценки эффекта. Например, если исследования имеют серьезные недостатки, между исследованиями есть существенные различия или широкий доверительный интервал итоговой оценки
Пример 2. Целевая группа по профилактическим мероприятиям США (USPSTF 6 ) для оценки мер популяционной профилактики (в том числе скрининга) применяет только оценку качества доказательств (табл. 9).
Таблица 9. Классификации качества доказательств, используемая USPSTF для оценки мер популяционной профилактики (в том числе скрининга).
Доказательства включают однозначные результаты хорошо спланированных и хорошо проведенных исследований в репрезентативных популяциях, которые непосредственно оценивают результаты, значимые для здоровья
Фактических данных достаточно для определения результатов, значимых для здоровья, но их сила ограничена количеством, качеством или однонаправленными результатами отдельных исследований, возможностью обобщения результатов на повседневную практику или косвенным характером доказательств в отношении здоровья
Данных недостаточно для оценки воздействия на здоровье из-за ограниченного количества или мощности исследований, серьезных недостатков в их дизайне или проведении, пробелов в цепочке доказательств или отсутствия информации о важных результатах для здоровья
Несмотря на то, что в системах оценки GRADE, CTFPHC, USPSTF выделяется по четыре степени качества доказательств и в целом определение уровней совпадает, различия в деталях существуют (табл. 3, 8 и 9).
Классификация доказательств, которые используют профессиональные сообщества врачей при разработке клинических рекомендаций
Профессиональные сообщества врачей при разработке рекомендаций применяют разные подходы к оценке уровня и качества доказательств. Пример 1. Европейское общество кардиологов и Европейское общество сердца (ESH/ESC) более 20 лет применяют следующую классификацию уровней доказательности данных (табл.10).
Таблица 10. Уровни доказательств, используемые ESH/ESC 7
Данные, полученные в ходе многочисленных РКИ или мета-анализов
Данные, полученные в ходе одного РКИ или больших не РКИ
Консенсус мнений экспертов и/или данные мелких, ретроспективных исследований.
Пример 2. Не все профессиональные сообщества врачей стран Европы используют именно такой подход. Так, например, Европейское общество экстренной медицины (2020 г. 8 ) использовало следующий подход (табл.11).
Таблица 11. Уровни доказательств, используемые EUSEM
РКИ, выполненное по стандартам GCP
Не РКИ, открытые контролируемые исследования и наблюдательные исследования
Другой тип исследования, например, ретроспективное когортное исследование
Описательное исследование ( например, серия случаев, исследования случай-контроль)
Пример 3. Другой подход (по сравнению с ESH/ESC) к оценке доказательности использован JNC 8 (Eighth Joint National Committee, США). Особенность подхода – экспертами не применялся цифровой или буквенный код при классификации, представлена оценка качества, но не уровней доказательности.
Таблица 12. Классификация качества доказательств, используемая в JNC 8 9
Данные, полученные в ходе методологически корректных рандомизированных клинических исследований, в которых представлена репрезентативная выборка популяции и которые оценивают значимые клинические исходы
Мета-анализы качественных РКИ
Дальнейшие исследования в этом направлении вряд ли могут изменить оценку эффекта лечения
РКИ с незначительными методологическими ограничениями, которые могут повлиять на уверенность в применимости результатов
Хорошо организованные нерандомизированные контролируемые и обсервационные исследования (регистры)
Правильно проведенные мета-анализы таких исследований
Дальнейшие исследования могут оказать влияние на уверенность в оценке эффекта
РКИ, которые нельзя отнести к категориям, указанным в п. 1
Нерандомизированные контролируемые и обсервационные исследования без соответствующих групп сравнения с ограничениями по качеству, влияющими на доверие и
применимость результатов
Физиологические исследования на людях
Мета-анализ этих исследований
Низкая уверенность в результатах; дальнейшие исследования могут изменить оценку эффекта
Пример 4. Американское общество пластических хирургов 10 при разработке своих рекомендаций модифицировало уровни доказательств, разработанные Оксфордским центром ДМ 11 для прогностических исследований, следующим образом (табл.13).
Таблица 13. Классификация уровней доказательств, используемая Американским обществом пластических хирургов.
Высококачественное проспективное когортное исследование адекватной статистической мощности или систематический обзор таких исследований
Менее качественное проспективное когортное исследование или ретроспективное когортное исследование, данные РКИ или систематический обзор таких исследований
Исследования случай-контроль или систематический обзор таких исследований
Исследования серия случаев
Экспертное мнение, описание случаев, клинические примеры, доказательства, основанные на физиологии
Таким образом, разные страны и разные профессиональные сообщества разрабатывают и применяют собственные подходы к оценке и классификации уровней доказательств. Эти подходы могут быть как жесткими и детализированными (как, например, классификация уровней доказательности Оксфордского центра ДМ, учитывающая дизайн и цели исследований), так дилетантскими (например, классификация ECS – указан только тип исследований, применяемый для оценки методов лечения, без учета их качества). С последним подходом нельзя согласиться, так как РКИ на всех этапах планирования, проведения и анализа имеют ряд недостатков и ограничений, которые могут повлиять на результаты. Результаты РКИ могут доказать преимущество по комбинированным показателям, с крайне незначительным преимуществом, часть из которых не значимы с точки зрения пациента, но в уровнях доказательности этот аспект никаким образом не учитывается. Обращает внимание, что во всех классификациях уровней доказательств экспертное мнение отнесено к доказательствам. Но консенсус экспертных мнений не является научным доказательством. Консенсус ‒ это просто форма группового мышления. Например, в начале 20-го века существовал консенсус о том, что женщины не способны обучаться и работать врачом, в последующем консенсус сместился к обратному. В прошлом веке социальные психологи (эксперименты Милграма, 1965, 1974) в опытах наглядно показали, как быстро и легко люди подчиняются «начальнику» (экспериментатору) или мнению группы, чтобы не быть «белой вороной», даже если это противоречит их взглядам и убеждениям.
Понятие «качество доказательств» (при условии соблюдения всех методологических требований к его определению) в большей степени отражает понятие «доказательство», а именно то, что «ожидаемые» результаты (полученные в исследованиях) повторятся в рутинной клинической практике, т.к. учитывает не только дизайн исследований, но и величину важных клинических исходов, повторяемость результатов в разных исследованиях, другие факторы.
Применение методики оценки уровня и качества доказательств требует специальных знаний, времени и опыта, которые существенным образом отличаются от знаний клинической медицины.
Список литературы
1. Systems to Rate the Strength of Scientific Evidence. Evidence Report/Technology Assessment Number 47. Prepared for: Agency for Healthcare Research and Quality. AHRQ Publication No. 02- E016, April 2002, 199.2.
2. Андреева Н.С., Реброва О.Ю., Зорин Н.А., Авксентьева М.В., Омельяновский В.В. Системы оценки достоверности научных доказательств и убедительности рекомендаций: сравнительная характеристика и перспективы унификации. Медицинские технологии: оценка и выбор. 2012, № 4, стр. 10‒24.
3. The Oxford 2011 Levels of Evidence. http://www.cebm.net/mod_product/design/files/CEBM-Levels-of-Evidence-2.1.pdf http://www.cebm.net
8. «Guidelines for the management of acute pain in emergency situations»: www.eusem.org
9. James P. A., Oparil S., Carter B. L., Cushman W. C., Dennison-Himmelfarb C., Handler J. et al. 2014 evidence-based guideline for the management of high blood pressure in adults: report from the panel members appointed to the Eighth Joint National Committee (JNC 8) JAMA 2014;311(17):1809] JAMA. 2014;311(5):507–20.
Оценка убедительности доказательств эффективности
Проект разработан Отделом стандартизации в здравоохранении
НИИ общественного здоровья и управления здравоохранением
под руководством профессора Воробьева П.А.
Для верификации целесообразности включения медицинских технологий в клинический протокол эксперты должны оценить убедительность имеющихся научных доказательств их эффективности.
Работа экспертов-разработчиков по оценке убедительности доказательств предполагает наличие знаний современных методов организации, построения и проведения научных исследований, статистической обработки данных, навыков критического анализа медицинской литературы, умения работать с электронными носителями информации, в том числе размещенными в сети Интернет.
Для каждой медицинской технологии, включаемой в протокол, эксперты проставляют (указывают) степень убедительности доказательств (рекомендаций). При этом они используют унифицированную шкалу оценки убедительности доказательств :
Для оценки степени убедительности имеющихся доказательств разработчикам необходимо провести поиск научных исследований по проблеме, оценить качество их организации и построения, достоверность полученных результатов. При этом экспертам следует ориентироваться на соотношение между степенью убедительности доказательств и типом научных исследований, в которых данные доказательства были получены (см. Таблица 4).
Существуют также медицинские технологии, которые на настоящем этапе развития медицинской науки не имеют альтернативы и являются общепризнанно полезными в определенных клинических ситуациях. Проверять их в контролируемых научных исследованиях не этично, поскольку лишение возможности получить подобное вмешательство по согласованному мнению в значительной степени ущемляет интересы больного (примером подобного вмешательства является использование нитроглицерина для купирования приступов стенокардии). Включение подобных услуг в протокол, естественно, является обоснованным, при этом эксперты ставят уровень доказательств А* (пометка * означает – лучшая практика, рекомендованная на основе клинического опыта разработчиков; не имеет альтернативы).
Степень убедительности доказательств (А, В, С) проставляется при описании характеристик и алгоритмов выполнения медицинских технологий (в том числе, лекарственных средств). Желательным является указание степени убедительности доказательств по всем рекомендациям, включая диетические назначения, режим труда и отдыха, уход и т.п.
В случаях, когда необходимо ограничить использование какой-либо медицинской технологии как нецелесообразной (неэффективной или опасной) разработчики могут в тексте протокола обозначить технологию с отрицательным комментарием как не рекомендованную к применению и проставить уровень убедительности рекомендаций D или E.
Традиционное использование медицинских технологий в практике, мнение эксперта или группы экспертов, личный опыт разработчиков не являются убедительным обоснованием для включения услуги или лекарственного средства в протокол. Не могут также рассматриваться как доказательства целесообразности включения медицинских технологий в клинический протокол факт их наличия в других протоколах, клинических рекомендациях, руководствах, учебниках, монографиях и т.п., в т.ч. международных и зарубежных. Целесообразность включения медицинских технологий в протокол должна быть подтверждена ссылкой на первичные материалы, т.е. результаты научных исследований. Клинические рекомендации (руководства), в которых указана степень убедительности доказательств, могут служить полезным источником информации о наличии исследований по той или иной проблеме и использоваться разработчиками для поиска и анализа доказательств.
Заключение о степени убедительности доказательств может быть сделано разработчиками только после проведения минимального поиска, включающего:
При представлении проекта протокола разработчики дают конкретные ссылки на источники сведений об эффективности, безопасности и др. характеристиках технологий с указанием авторов, названия материалов и выходных данных; при необходимости может быть затребована копия работ.
При отсутствии убедительных доказательств целесообразности включения медицинской технологии в Клинический протокол, разработчиками могут быть инициированы научные исследования. Результаты анализа доказательств, проведенного при разработке протоколов, могут стать основой планирования научных работ в различных областях медицины.