Network meta-analysis for clinicians

Full Text

Введение

Систематический обзор и метаанализ (МА) рандомизированных контролируемых исследований (РКИ) считаются наивысшим уровнем достоверности доказательств относительной эффективности медицинских вмешательств [1, 2]. Систематический обзор является обзором по четко сформулированному вопросу (вопросам), в котором выявление, отбор и оценка всех соответствующих исследований, анализ их данных производятся с помощью систематических и воспроизводимых методов [3, 4]. В зависимости от цели и возможности синтеза данных разных исследований систематический обзор может содержать или не содержать МА, который является статистическим методом объединения количественных результатов. Стандартный парный МА ограничен возможностью сравнения между собой показателей эффективности только двух медицинских вмешательств при условии, что они получены в ходе непосредственного сопоставления [5]. Поэтому парный МА ограничен доступностью выполненных РКИ. Это является проблемой при необходимости сравнения эффективности нескольких конкурирующих вмешательств, поскольку маловероятно, что РКИ обеспечат прямые сравнения для всех представляющих интерес вмешательств.

Для преодоления данной проблемы предложено расширение парного МА, которое позволило выполнять непрямое (косвенное) сравнение нескольких конкурирующих вмешательств при отсутствии данных их прямого сопоставления [6, 7]. Метод непрямого сравнения подразумевает, что, если не существует результатов РКИ, напрямую сопоставляющих вмешательства A и B, но есть итоги РКИ, сравнивающие каждое из вмешательств с вмешательством C (общее вмешательство, например, плацебо), статистическое объединение этих результатов позволяет сравнить вмешательства A и B между собой (рис. 1) [8]. В основе лежит очень простая идея. Представим, что есть 3 пациента: A, B и С. Мы знаем, что пациент А на 10 кг тяжелее пациента С, а пациент B на 7 кг тяжелее пациента С. Отсюда получается, что пациент А самый тяжелый и он на 3 кг тяжелее пациента B. Также возможно ранжировать пациентов по массе тела (МТ): 1 – A, 2 – B, 3 – C. Таким образом, взяв за основу МТ пациента С и сравнив с ним МТ остальных пациентов, мы получили сравнение МТ пациентов A и B, а также расположили всех пациентов по МТ. Допущением в данном сравнении является то, что измеренные МТ точно отражают истинные МТ пациентов, т.е. измерительный инструмент имел достаточную точность. Также понятно, что такие же относительные МТ и ранги можно получить, если ориентиром является другой пациент, и как отношения МТ расширилось, если бы измерения проводили для большего числа пациентов.

 

Рис. 1. Иллюстрация метода непрямого сравнения.

 

Развитием метода непрямого сравнения стал сетевой метаанализ (СМА) – статистическая модель, объединяющая данные прямых и непрямых сравнений в сеть доказательств (отображаемую сетевым графиком сравнений; рис. 2), чтобы сделать вывод об относительной эффективности и безопасности нескольких вмешательств. Другими названиями для СМА являются: МА сравнения смешанных вмешательств или МА множественных вмешательств [9, 10]. Основное преимущество СМА заключаются в том, что он дает согласованные оценки относительных эффектов всех вмешательств по сравнению с любыми другими в рамках единого анализа с использованием как прямых, так и косвенных доказательств, а также правильно включая относительные эффекты из исследований с более чем двумя группами (предотвращает двойной учет пациентов). Это приводит к большей точности оценки эффекта лечения и возможности согласованно ранжировать все вмешательства. Как и стандартный МА, СМА может выполняться для большинства типов результатов РКИ: непрерывных, дихотомических, частот событий, данных на основе моделей выживаемости с использованием соответствующей шкалы – разность средних, отношение шансов (ОШ), отношение рисков (ОР) и т.д. Сравнение МА и СМА представлено в табл. 1. За последнее время СМА стал признанным методом доказательной медицины [11–15] и количество публикаций с результатами СМА, в том числе в области онкологии, прогрессивно растет [16, 17]. В настоящей работе рассмотрены основные аспекты СМА, важные для клиницистов в части выполнения СМА и интерпретации его результатов.

 

Рис. 2. Иллюстрация сети доказательств – сетевые графики сравнений: а, b, c – связанная сеть; d – разъединенная сеть; b, c – в сети доказательств есть замкнутая «петля».

 

Таблица 1. Сравнение стандартного и сетевого метаанализа Table 1. Comparison of standard and network meta-analysis
Характеристика	Стандартный метаанализ	Сетевой метаанализ
Количество сравниваемых вмешательств	2	>2
Вопросы, на которые отвечает анализ	Какова эффективность или риск вреда одного вмешательства по сравнению с другим?	Какие вмешательства эффективны и/или безопасны? Какое вмешательство наиболее эффективно и/или безопасно? Какова сравнительная эффективность и/или безопасность двух вмешательств, которые не сравнивались напрямую?
Существует ли риск необъективности оценки из-за качества включаемых исследований?	Да, существуют методы определения качества	Да, существуют методы определения качества
Условия и допущения	Однородность включенных исследований	Связанная сеть Однородность включенных исследований Транзитивность Согласованность
Источники систематической ошибки	Публикационная предвзятость и данные из малых исследований Корректность критериев включения и алгоритма поиска исследований	Публикационная предвзятость и данные из малых исследований Корректность критериев включения и алгоритма поиска исследований
Вид результатов на выходе	Суммарная оценка эффекта и форест-график	Сетевой график сравнений Суммарная оценка эффекта и форест-график Статистика ранжирования
Ограничения применения	Модификаторы эффекта в исследованиях создают неоднородность Систематические ошибки могут привести к вводящим в заблуждение результатам	Модификаторы эффекта в исследованиях создают неоднородность Систематические ошибки могут привести к вводящим в заблуждение результатам

 

Выполнение сетевого метаанализа, условия и допущения

Адекватность доказательной базы, которая зависит как от внутренних, так и от внешних факторов, требуется для проведения и стандартного МА, и СМА. Использование системного подхода гарантирует отсутствие внутренней предвзятости при выборе исследований. Таким образом, систематический обзор является первым шагом, который может быть проведен, например, в соответствии с руководством PRISMA [18] для МА или его расширением для СМА [19]. Заранее должен быть разработан протокол, включающий один или несколько четко определенных исследовательских вопросов для популяции пациентов, вмешательства, структуру результатов, а также четкое изложение критериев включения и исключения.

Внешне адекватность доказательной базы зависит от качества соответствующих исследований и от того, полностью ли их результаты опубликованы. Для определения качества рандомизированных исследований можно, например, использовать Кокрановский метод определения риска систематической ошибки [20]. Систематический поиск исследований должен выполняться в нескольких подходящих онлайн-базах данных (например, PubMed, Embase) по заранее определенной стратегии поиска. Предпочтительно, чтобы стратегию поиска разработали при участии медицинского библиотекаря [21, 22]. Возможно включение дополнительных источников, например, аннотаций основных тематических конференций. Однако в аннотациях конференций может быть представлено лишь ограниченное описание дизайна исследования, а сама информация, возможно, устарела по сравнению с более поздними полными публикациями [23, 24].

В МА и СМА публикационная предвзятость может являться серьезной проблемой. Публикационная предвзятость возникает, когда вероятность публикации положительных результатов выше, чем отрицательных. Ошибка может появиться как на уровне исследований, когда они остаются неопубликованными, так и на уровне результатов, когда их публикуют лишь частично. Также есть вероятность возникновения систематической ошибки, когда проводятся малые исследования с небольшим числом участников. К настоящему времени методы оценки систематической ошибки публикаций в МА хорошо отработаны (например, воронкообразные графики [25]), и при наличии достаточных данных их можно применять к отдельным попарным сравнениям в сети доказательств. В качестве альтернативы также предложили методы оценки систематической ошибки публикаций для всей сети [26, 27].

После формирования базы исследований, включенных в анализ, необходимо в первую очередь понять геометрию сети доказательств. Геометрия сети показывает, какие вмешательства сравнивали непосредственно в РКИ, а какие – только косвенно. Геометрию сети визуализируют с помощью сетевого графика (рис. 2). Условием выполнимости СМА является связанная сеть (см. рис. 2, а, b, c). Если сеть несвязанная (см. рис. 2, d), проведение СМА в такой сети доказательств невозможно [28].

К допущениям сетевого анализа относятся однородность, транзитивность и согласованность. Концепция однородности подразумевает, что истинный эффект вмешательства должен быть одинаков во всех исследованиях, в которых проводится прямое сравнение между одними и теми же вмешательствами. Поэтому, как и для стандартного МА, в исследованиях, включенных в СМА, необходимо учитывать различные потенциальные источники неоднородности: клинические, методологические и статистические [29]. Также фундаментальное предположение о достоверности СМА состоит в том, что нет никаких других систематических различий между включенными клиническими испытаниями и сравнениями, кроме сравниваемых вмешательств, т.е. выполняется допущение транзитивности [8, 30]. Один из способов понять, соблюдается ли допущение транзитивности, заключается в том, что, если представить гипотетическое РКИ, в котором представлено сравнение всех входящих в сеть вмешательств, все участники исследований, составляющих сеть, могут быть рандомизированы для любого вмешательства. Допущения однородности и транзитивности должны исходно проверить в результате качественного объединения данных в ходе систематического обзора. При планировании СМА важно оценить модификаторы эффекта и включить такие характеристики, как средний возраст пациента, гендерное распределение, тяжесть заболевания и широкий спектр других вероятных характеристик. Для того чтобы СМА давал достоверные результаты, важно, чтобы распределение модификаторов эффекта было аналогичным, поскольку этот баланс увеличивает вероятность достоверных результатов непрямого сравнения. Необходимо представлять систематизированную (и даже табличную) информацию об этих характеристиках, если таковая имеется. Эта информация помогает эмпирически оценить обоснованность предположения о транзитивности, проанализировав распределение потенциальных модификаторов эффекта по испытаниям [14].

Фактически ни одно из исследований не является точно подобным, поскольку всегда существуют различия в факторах, связанных с пациентом, заболеванием или самим исследованием, внутри или между исследованиями, которые искажают предполагаемый эффект лечения [31]. Степень неоднородности в СМА возможно определить количественно с помощью Q-статистики или статистики I², при этом если процент I² приближается к 50 или больше, то это обычно рассматривается как существенная неоднородность. Если между исследованиями наблюдается неоднородность, тогда при проведении СМА аналогично МА следует применять модель случайных эффектов, а не модель фиксированных эффектов [29]. При осуществлении МА с использованием модели фиксированных эффектов предполагается, что есть только один «истинный» эффект лечения, лежащий в основе каждого исследования, а объединенная оценка лечения представляет собой лишь средневзвешенное значение наблюдаемых эффектов лечения в каждом отдельном исследовании [29, 32]. Однако в МА «случайных эффектов» предполагается, что существует несколько «истинных» эффектов лечения и что они случайным образом различаются в разных исследованиях, поскольку причины разных «истинных» эффектов неизвестны. Таким образом, объединенная оценка эффекта лечения с помощью модели случайных эффектов имеет больший доверительный интервал (ДИ), чем в модели с фиксированными эффектами для учета неоднородности между «истинными» эффектами исследований, что делает ее оценки более реалистичными. Следовательно, при наличии значительной гетерогенности МА и СМА c использованием модели случайных эффектов предпочтительнее, поскольку результаты МА могут обобщить на более широкую популяцию пациентов, а не только на пациентов, которых включили в отдельные исследования [29, 32].

Статистическое проявление транзитивности называется согласованностью, а ее отсутствие – несогласованностью [30, 33]. Иными словами, если соблюдение транзитивности касается обоснованности только непрямых сравнений, то согласованность является статистической мерой транзитивности и означает эквивалентность прямых и непрямых доказательств. В сетях с замкнутыми «петлями» (см. рис. 2, b, c) доступны как прямые, так и непрямые доказательства, и предполагается, что для каждого попарного сравнения (A–B, B–C, A–C) прямые и непрямые оценки должны быть согласованными. Отсутствие этого нарушает транзитивность, что приводит к невозможности сделать вывод, например, что А лучше, чем B, на основании результатов испытаний, которые уже доказали, что А лучше, чем С, а С лучше, чем B [33, 34]. Существуют тесты, которые оценивают согласованность (точнее, несогласованность) в сети в целом (глобальные тесты) или на определенных путях (например, замкнутые «петли») сети (локальные тесты) [35]. Если выявлена несогласованность, имеется несколько подходов к ее устранению. Во-первых, необходимо убедиться, что при извлечении данных нет ошибок. Далее важно более внимательно изучить потенциальные модификаторы эффекта исследований в рамках несовместимых циклов. Модели сетевой метарегрессии могут приспособить для проверки того, как модификаторы потенциального эффекта, возможно, повлияют на результаты. Анализ чувствительности, исключающий исследования, которые могут быть источниками несоответствия, также, вероятно, полезен для оценки надежности результатов. Однако, если имеется существенная несогласованность и источники не идентифицированы, СМА не может выполняться [8, 13].

Предположим, что все условия и допущения исполнены. Например, сеть доказательств является связанной, есть транзитивность, несогласованность отсутствует, гетерогенность незначительна и корректно использовать модель фиксированных эффектов. Можно приступать к выполнению самого СМА, и нам нужна вычислительная модель, которая позволит объединить все доступные сетевые данные эффективным и внутренне согласованным образом. Для выполнения СМА разработали несколько статистических методов [33], основанных на частотном или байесовском анализе. Частотный и байесовский подходы к статистике различаются своими определениями вероятности.

Частотный анализ вычисляет вероятность того, что наблюдаемые данные могут иметь место при их выборочном распределении для гипотетических значений параметров. Другими словами, частотный подход определяет вероятность события в терминах того, как часто ожидается событие, если мы повторяем какой-то процесс (например, эксперимент) много- много раз [36]. Результаты в частотном анализе представлены в виде точечной оценки (меры эффекта, например, такие как ОШ, ОР, разность средних) с 95% ДИ (confidence interval – СI) аналогично результатам стандартного МА [37, 38]. Это делает интерпретацию итогов СМА, выполненного с использованием частотного подхода, понятным для клиницистов.

Байесовский анализ полагается на распределение вероятностей всех параметров модели с учетом наблюдаемых данных, а также на предварительные предположения (например, из внешней информации) о значениях параметров, которые полностью покрывают неопределенность в интересующих параметрах и, таким образом, возможны прямые утверждения о вероятности этих параметров (например, вероятность того, что одно вмешательство превосходит другое) [39, 40]. Результаты СМА с использованием байесовского подхода обычно представляются в виде точечной оценки с 95% байесовским ДИ (credible interval – CRI) и получены с помощью моделирования методами Монте-Карло с цепями Маркова, что позволяет прогонять модель несколько раз до достижения сходимости. Одним из преимуществ байесовского подхода является то, что он имеет простой способ прогнозирования и возможность включения различных источников неопределенности с более гибкой статистической моделью [41, 42].

Фактически ни один из методов для выполнения СМА не является более эффективным и действенным, чем другой. Хотя модели СМА и могут различаться по своему статистическому подходу, важно то, что все они должны давать одинаковые результаты, когда объем выборки достаточен [43]. Проведенные сравнения использования частотного и байесовского подходов для выполнения СМА показали, что возможно отличие в полученных величинах сравнительных эффектов, однако ранжирование вмешательств и направление сравнительных эффектов не зависят от выбранного подхода [44]. Необходимость использования моделирования методами Монте-Карло с цепями Маркова в байесовском подходе для выполнения СМА требует гораздо больших вычислительных ресурсов. Кроме этого, как уже упоминалось, результаты на выходе СМА, выполненного в рамках частотного анализа, аналогичны результатам стандартного МА. По нашему мнению, использование частотного подхода является более привлекательным для клинициста.

Необходимо также сказать о компьютерных программах, которые могут быть использованы для выполнения СМА. В первую очередь это пакеты, разработанные в свободной среде программирования R, бесплатно доступные каждому: пакет netmeta, который позволяет выполнять СМА в рамках частотного анализа [45], и пакет gemtc для выполнения СМА на основе байесовской иерархической структуры [46]. Также возможность выполнения СМА присутствует в коммерчески доступных программных пакетах, таких как STATA, SAS, WinBUGS.

Представление и интерпретация результатов сетевого метаанализа

СМА позволяет сравнивать относительный эффект между любой парой вмешательств. В качестве примера рассмотрим результаты сравнения эффективности 1-й линии терапии разными поколениями ингибиторов EGFR-тирозинкиназы (ИТК) у пациентов с распространенным EGFR-ассоциированным немелкоклеточным раком легкого (НМРЛ), полученные нашей группой при выполнении СМА данных (ОР) общей выживаемости (ОВ) [47]. В случае 1-й линии терапии указанных пациентов уже имелись данные РКИ, где сравнивали эффективности ИТК I поколения и химиотерапии (ХТ), ИТК II поколения и ХТ, ИТК II и I поколения, ИТК III и I поколения [48]. Однако РКИ, в которых сопоставляли бы между собой ИТК III и II поколения в 1-й линии терапии, не проводились, что отражает сетевой график сравнений (рис. 3, a).

 

Рис. 3. Результаты СМА, полученные в работе: a – сетевой график сравнений; b – форест-график результатов сравнения эффективности применяемых в 1-й линии терапии пациентов с распространенным EGFR-ассоциированным НМРЛ ИТК в сравнении с ХТ с точки зрения ОВ, построенный при выполнении СМА; c – таблица лиг результатов сравнения эффективности, используемых в 1-й линии терапии пациентов с распространенным EGFR-ассоциированным НМРЛ ИТК с точки зрения ОВ, полученная при выполнении СМА [47].

 

На рис. 3, b представлен форест-график результатов сравнения эффективности применяемых в 1-й линии терапии пациентов с распространенным EGFR-ассоциированным НМРЛ ИТК в сравнении с ХТ с точки зрения ОВ, полученный при выполнении СМА. Видно, что значения ОР для ИТК II и III поколения по отношению к ХТ близки и свидетельствуют о выигрыше в эффективности (ОР<1), в то время как применение ИТК I поколения даже немного проигрывает ХТ (ОР>1). В правой части рис. 3, b представлены результаты ранжирования вмешательств, вычисленные с помощью метода ранжирования P-score [49], применяемого в частотном анализе. Отметим, что для ранжирования при выполнении СМА с применением байесовского подхода используется аналогичный статистический метод SUCRA [50]. Значения P-score в нашем примере свидетельствуют о том, что ИТК II и III поколения проявляют примерно одинаковую между собой эффективность с точки зрения влияния на ОВ и лучшую эффективность по сравнению с ИТК I поколения и ХТ в 1-й линии терапии пациентов с распространенным EGFR-ассоциированным НМРЛ.

Для отображения результатов попарного сравнения между собой каждого из вмешательств в ходе СМА используется так называемая таблица лиг, представленная на рис. 3, c. По диагонали слева направо в таблице лиг располагают наименования сравниваемых вмешательств. Их очередность может быть любой, но обычно, как в нашем примере, используют порядок, полученный в ходе ранжирования. Под диагональю приведены результаты ОР (в скобках 95% ДИ), полученные в ходе СМА, над диагональю – показатели, вычисленные только из анализа данных прямых сравнений. Чтобы прочитать значение ОР, необходимо в случае прямых сравнений сопоставить строку (сравниваемое вмешательство) со столбцом (вмешательство сравнения), для результата СМА – наоборот, столбец со строкой. В полученной ячейке будет представлено искомое значение. Например, мы хотим узнать, что дает прямое сравнение ИТК III поколения против ИТК I поколения, – значение ОР 0,80 (0,64–1,00), такое же значение получено и СМА. В данном случае это говорит о том, что ИТК III поколения не сравнивали напрямую с ИТК II поколения и ХТ, таким образом, СМА выдает значение, основанное только на объединении прямых сравнений. Сравним теперь ИТК III и II поколения. Видно, что в ячейке прямых сравнений прочерк (РКИ не проводились). Значение ОР, полученное СМА, составляет 0,96 (0,74–1,26). Данный результат свидетельствует о том, что применение ИТК III и II поколения в 1-й линии для терапии пациентов с распространенным EGFR-ассоциированным НМРЛ не отличается с точки зрения влияния на ОВ. Таким образом, в результате выполнения СМА в приведенном примере мы можем сделать статистически обоснованные выводы, которые могут являться значимыми с клинической точки зрения. Например, в данной ситуации, зная, что мутация T790M является основной, приводящей к резистентности к ИТК I и II поколения [51], можно предполагать, что если нет разницы в ОВ при применении ИТК II и III поколения, то логично использовать в 1-й линии терапии именно ИТК II поколения, поскольку мы объективно знаем, какой будет последующая линия терапии в большинстве случаев при прогрессировании (ИТК III поколения) [47].

Однако следует проявлять особую осторожность при интерпретации результатов и выводах из СМА. Такие выводы должны зависеть от изученных результатов. Клиническую полезность вмешательств можно будет лучше понять, если в анализе будут учитываться одновременно как эффективность, так и безопасность. Также важно принимать во внимание то, являются ли оцениваемые в РКИ исходы суррогатными или клиническими, важными для пациентов исходами [13]. Для СМА и стандартного МА существуют ограничения в интерпретации, например, с точки зрения кроссовера в исследованиях. Выполнение СМА и МА на основе индивидуальных данных участников РКИ является перспективным подходом для устранения, в том числе и этого ограничения [52, 53]. Но для этого необходимо, чтобы эти данные представили при публикации результатов клинических исследований.

С другой стороны, существует возможность сопоставления результатов СМА на основе РКИ с результатами, полученными в ходе, например, наблюдательных исследований. Иными словами, возможно использование реальных данных об эффективности медицинских вмешательств для воспроизведения данных клинических испытаний [54, 55]. В частности, в случае нашего примера можно привести для подтверждения результатов выполненного нами СМА результаты, полученные в многоцентровом когортном исследовании осимертиниба в сравнении с афатинибом в качестве терапии 1-й линии пациентов с НМРЛ с мутацией EGFR, где показана их сравнимая эффективность с точки зрения влияния на ОВ с некоторым превосходством афатиниба и также сделано предположение о лучшей эффективности последовательности применения афатиниб–осимертиниб по сравнению только с осимертинибом в 1-й линии [56].

Следует отметить, что многие клиницисты до некоторой степени знакомы со статистической базой стандартного МА и могут выполнять этот анализ самостоятельно. Однако статистическая структура СМА намного сложнее, как и интерпретация его результатов. Поскольку в настоящее время доступны более простые в использовании программы для проведения СМА, многие клиницисты пытаются провести СМА самостоятельно, сталкиваясь иногда с неудачей самого анализа, неадекватным объединением вмешательств и интерпретацией результатов. Поэтому, чтобы улучшить построение достоверной модели СМА и адекватно интерпретировать его результаты, проведение СМА желательно осуществлять совместно опытным клиницистом и статистиком [15].

Заключение

В настоящей работе мы попытались изложить основные аспекты СМА, важные для клиницистов в части выполнения СМА и интерпретации его результатов. Важность СМА для клиницистов заключается в возможности выполнения сравнений между вмешательствами, которые ранее не сопоставлялись в РКИ, в сравнении относительной эффективности и безопасности более двух вмешательств одновременно, в ранжировании вмешательств с точки зрения их относительной эффективности или безопасности. Несмотря на то, что в последние годы проделана большая работа по улучшению представления и интерпретируемости результатов СМА, клиницисты должны проявлять осторожность при чтении результатов СМА и тщательно учитывать многие из тех же ограничений, с которыми сталкиваются в стандартном МА. Вместе с тем СМА становится все более значимым для формирования клинической доказательной базы и должен войти в рутинную клиническую практику для повышения качества оказания высокотехнологичной медицинской помощи.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Conflict of interests. The authors declare no conflict of interest.

About the authors

Alexey A. Bogdanov

Saint Petersburg Clinical Research and Practice Centre for Specialized Types of Medical Care (Oncological)

Author for correspondence.
Email: a.bogdanov@oncocentre.ru
ORCID iD: 0000-0002-7887-4635

Cand. Sci. (Phys.-Math.)

Russian Federation, Saint Petersburg

Andrey A. Bogdanov

Saint Petersburg Clinical Research and Practice Centre for Specialized Types of Medical Care (Oncological)

Email: vip.nasa@bk.ru

Res. Assist.

Russian Federation, Saint Petersburg

References

Supplementary files