Научная обоснованность и объективность результатов любого медицинского исследования зависят от грамотности его планирования и проведения, использования адекватных методов измерения, правильного применения статистических методов и интерпретации результатов. К сожалению, применение статистики в медицинских исследованиях далеко не всегда представляет собой ее грамотное использование. Низкое качество статистического анализа в медицинских журналах является старой и широко распространенной проблемой. По оценкам, опубликованным в западных медицинских журналах, частота ошибочного применения статистических методов в научно-медицинских публикациях может варьировать от 30% до 90% [1, 2].
Не являются исключением и научные исследования в акушерстве и гинекологии. В 1993 г. журнал Obstetrics and Gynecology провел исследование по оценке способности своих рецензентов выявлять статьи со статистическими ошибками [3], после чего его редакционная коллегия ввела стандартную проверку рукописей статистическим рецензентом перед их окончательным принятием. Последующая редакционная проверка эффективности этой политики выявила, что практически каждая шестая статья, одобренная рецензентами по специальности, содержала недопустимые ошибки статистического анализа [4].
В 1996 г. был опубликован анализ применения статистических методов в другом журнале – American Journal of Obstetrics and Gynecology [5]. Из включенных в исследование 145 статей только 44 (30,3%) оказались приемлемыми с точки зрения статистического анализа. В остальных статьях было выявлено некорректное применение статистических методов, в т.ч. грубые ошибки, которые были обнаружены в 27 (18,6%) публикациях.
Отечественные исследования в области медицины характеризуются еще более низкой статистической культурой, о чем свидетельствует ряд публикаций, посвященных использованию статистики в научно-медицинских исследованиях [6–9].
Ошибки при проведении исследований могут стать причиной неправильных результатов, что в настоящее время рассматривается как нарушение исследовательской этики [10] в связи с неоправданным риском, которому подвергаются участники исследований, бессмысленной тратой материально-финансовых ресурсов и времени, а также из-за возможных вредных последствий применения результатов таких исследований для лечения больных.
Одной из причин низкого качества статистического анализа научных исследований является отсутствие статистической экспертизы в редакциях отечественных журналов, тогда как, например, в журнале JAMA такая экспертиза осуществляется с 1964 г. [11].
В 2018 г. редакция журнала «Акушерство и гинекология» ввела статистическое рецензирование статей, поступающих в ее адрес с предложениями о публикации. В этом обзоре описываются ошибки статистического анализа и методологии исследований, которые наиболее часто встречались в направляемых в редакцию рукописях за прошедшие 2 года.
Ошибки статистического анализа
В самом общем виде требования к описанию статистического анализа приводятся в «Рекомендациях по проведению, описанию, редактированию и публикации результатов научной работы в медицинских журналах» (Рекомендации ICMJE): «Описывайте статистические методы достаточно подробно, чтобы дать возможность компетентному читателю, имеющему доступ к исходным данным, проверить представленный результат. Когда возможно, представляйте полученные результаты в количественной форме и приводите их с соответствующими ошибками измерения или неопределенности (такими, как доверительный интервал). Старайтесь не ограничиваться лишь проверкой гипотезы, приводя уровень значимости Р, ведь он не дает информации о размере наблюдаемого эффекта» [12].
В настоящее время международным стандартом представления результатов статистического анализа в клинических медицинских журналах являются рекомендации SAMPL [13]. Эти рекомендации включены в правила для авторов журнала «Акушерство и гинекология», ссылка на их русскоязычный текст имеется на сайте журнала.
К сожалению, далеко не все поступающие в редакцию журнала «Акушерство и гинекология» статьи соответствует этим рекомендациям. Ниже дается краткое описание ошибок статистического анализа, выявленных за последние 2 года в статьях, полученных редакцией журнала.
Статистический анализ в разделе «Материалы и методы» не упоминается, но в разделе «Результаты» в конце некоторых предложений указаны р<0,05, которые непонятно к чему относятся и что означают. Это самое вопиющее проявление статистической безграмотности. Таких статей не много, но они периодически поступают.
В разделе «Материалы и методы» сообщается о применении некоего статистического критерия, но далее в разделе «Результаты» он ни разу не упоминается и нет никаких признаков его использования.
Обратная ситуация: в разделе «Результаты» имеются признаки применения метода статистического анализа, который в разделе «Материалы и методы» не упоминается. Например, в описании статистического анализа сообщается о применении t-критерия Стьюдента, а далее наряду со сравнением групп по количественным признакам описываются сравнения групп по качественным данным в виде относительных частот, что предполагает использование какого-то другого статистического метода.
Неправильное описание мер центральной тенденции и вариабельности количественных данных. Для описания количественных данных, имеющих нормальное распределение, следует использовать среднее арифметическое (М) и стандартное отклонение (SD), которые рекомендуется представлять в формате М (SD), а не М±SD. Т.е., например, 5,2 (1,2), а не 5,2±1,2. При распределении признаков, отличающихся от нормального, их следует описывать в виде медианы (Me) и квартилей Q1 и Q3 в формате Me (Q1;Q3). Стандартную ошибку среднего (m) для описания вариабельности данных применять не рекомендуется. Качественные показатели рекомендуется представлять как в абсолютных, так и в относительных величинах (%).
Некоторые авторы обозначают стандартное отклонение буквой греческого алфавита (σ). В статистике принято обозначать греческими буквами генеральные, т.е. популяционные параметры, тогда как выборочные параметры, вычисляемые по имеющимся выборкам, принято обозначать их латинскими аналогами. Например, генеральное среднее обозначают буквой μ, а выборочное среднее буквой М. Аналогично генеральное стандартное отклонение обозначают буквой σ, а выборочное – SD.
Значения р указываются в виде неравенств (например, р<0,05) или с избыточным числом знаков после запятой. Согласно Руководству САМПЛ, следует указывать точные значения р с двумя знаками после запятой (например, р=0,03 или 0,22). Наименьшее значение р, которое требуется указывать, – это р<0,001.
Использование параметрических методов статистического анализа (например, t-критерия Стьюдента) без обоснования их применимости. Большинство авторов проводят проверку нормальности распределения количественных признаков, но не всегда указывают название статистического критерия и результаты. Кроме того, для использования параметрических методов недостаточно проверки лишь этого ограничительного условия. Необходима одновременная проверка двух ограничительных условий – нормальности распределения во всех группах сравнения и равенства дисперсий для всех групп сравнения.
Сравнение зависимых (связанных) групп с помощью статистических методов, предназначенных для сравнения независимых (несвязанных) групп. Группы являются зависимыми (связанными) в динамических исследованиях, когда изучаются одни и те же объекты в разные моменты времени или когда набор в группы осуществляется с использованием подбора пар. Группы являются независимыми (несвязанными), если набор объектов исследования (участников) в каждую из групп осуществлялся независимо от того, какие объекты исследования (участники) включены в другую группу [14].
Анализ порядковых признаков, как непрерывных количественных, например представление выборочной оценки распределения новорожденных по шкале Апгар в виде среднего значения. Балльные оценки по шкале Апгар относятся к качественным порядковым (ординальным) признакам. Такие данные могут считаться условно количественными, если число значений признака более 5. Этому условию отвечает шкала Апгар, включающая оценки от 0 до 10 баллов. Однако порядковые признаки не могут иметь нормального распределения, к ним нельзя применять математические операции сложения, вычитания, умножения и деления. Вычисление средних значений для баллов по шкале Апгар дает абсурдный по своей сути результат – получается, что если у одного новорожденного состояние оптимальное, а у другого требует проведения реанимационных мероприятий, то в среднем их состояние удовлетворительное. Поэтому для порядковых признаков не вычисляются средние значения и стандартное отклонение, а корректной описательной статистикой для них являются медиана и интерквартильный размах (Me [Ql: Q3]) [15]. Соответственно, к балльным оценкам, в т.ч. оценкам по шкале Апгар, нельзя применять методы статистического анализа, требующие нормального распределения признаков. Все вышесказанное относится почти ко всем клиническим шкалам, основанным на балльных оценках [14, 16].
Отсутствие указания о том, был ли тест односторонним или двусторонним. В случае использования одностороннего теста его применение должно быть обосновано. Односторонние тесты используются в тех случаях, когда заранее известно, что значения переменной в одной группе больше, чем во второй. Однако такие ситуации встречаются редко, т.к. обычно результат научного поиска заранее неизвестен. Значение одностороннего р в два раза меньше, чем двустороннего, что создает соблазн выбора именно его без сообщения об этом.
Сравнение 3 и более групп с помощью методов, предназначенных для сравнения 2 групп, без учета проблемы множественных сравнений. При множественных сравнениях значительно увеличивается вероятность увидеть различия там, где их на самом деле нет. Множественные статистические сравнения повышают вероятность возникновения ошибки первого типа (ложноположительного результата), когда выявляемое различие приписывается действию вмешательства или фактора, хотя оно имеет случайный характер.
Для сравнения 3 и более независимых групп по одному количественному признаку в зависимости от вида распределения применяется однофакторный дисперсионный анализ (one-way ANOVA) или ранговый анализ вариаций по Краскелу–Уоллису (Kruskal–Wallis ANOVA). Для выявленных значимых различий проводится апостериорный анализ для уточнения того, между какими именно группами имеются статистически значимые различия. К общепринятым процедурам апостериорных сравнений, связанным с ANOVA, относятся процедуры Тьюки (Tukey), Дункана (Duncan), Даннетта (Dunnett), метод Шеффе (Scheffé) и поправка Бонферрони (Bonferroni). После применения критерия Краскела–Уоллиса и при выявлении значимых различий проводится попарное сравнение групп с помощью критерия Манна–Уитни с поправкой Бонферрони.
Для сравнения 3 и более связанных (зависимых) групп применяется ANOVA повторных измерений (параметрический метод) или однофакторный дисперсионный анализ Фридмана (непараметрический метод). Затем, при наличии статистически значимых различий, проводится апостериорный анализ или попарное сравнение групп (табл. 1).
При оценке эффективности вмешательства оценивается разность между исходными и конечными величинами отдельно в каждой группе, но поперечного сравнения между группами не проводится. В таких случаях необходимо рассчитать разность между исходными и конечными величинами (Δ) у каждого участника в обеих группах и сравнить их, как независимые группы с помощью статистического метода, выбранного в зависимости от распределения и равенства дисперсий.
Редкое использование доверительных интервалов. Доверительные интервалы (ДИ) относятся к методам аналитической статистики и применяются как альтернатива методу проверки статистических гипотез для представления результатов исследования. Вычисление доверительных интервалов более информативно, чем одно только выявление статистически значимых различий и расчет значения р.
Например, новая смесь для лечения младенческой колики может снизить длительность плача в день на 63 минуты, что может рассматриваться как клинически значимое снижение. Рассмотрим два одинаковых исследования, получивших этот результат, но имевших разные размеры выборок. В исследовании с меньшим размером выборки 95% ДИ для средней длительность плача составляет от 1 до 127 минут, т.е. снижение длительности плача варьирует от клинически совершенно незначимого до очень большого. Следовательно, результаты этого исследования являются спорными и ничего не доказывают. В более крупном исследовании 95% ДИ колеблется от 42 до 75 минут. Все значения в этом диапазоне являются клинически значимыми величинами эффекта, и выводы из этих данных становятся более ясными. В обоих исследованиях р<0,05, но результаты интерпретируются по-разному.
В некоторых работах вывод об эффективности изучаемого вмешательства делается на основании выявления статистически значимых межгрупповых различий. Однако, как показано выше, величина р никак не отражает величину различий между группами, а одно только выявление статистически значимых различий ничего не говорит о величине клинического эффекта. Для итоговых результатов каждого из изучаемых клинических исходов необходимо представлять рассчитанный размер эффекта и точность его оценки (например, 95% доверительный интервал). Для бинарных исходов размер эффекта может быть выражен, как относительный риск, отношение шансов или разность пропорций/рисков с 95% ДИ, а для непрерывных данных – как разность средних значений с 95% ДИ.
Представим исследование, сравнивающее два метода подготовки шейки матки к родам, у которых выявлена частота нежелательных побочных реакций (НПР) 10% и 15%. Ключевой оценкой (величиной эффекта) в этом случае является разница между группами. Ее необходимо указать вместе с 95% ДИ. В данном случае разность частот НПР равна 5% с 95% ДИ, например, 3–9%. Нет необходимости указывать доверительные интервалы отдельно для каждой группы [например, частота НПР в группе I составляет 10% (95% ДИ 7–13%)]. Также доверительные интервалы не следует использовать для описательной статистики.
В некоторых работах выявление корреляций используется как обоснование вывода об эффективности изучаемого вмешательства. Однако корреляция не может интерпретироваться как доказательство причинно-следственной связи [16]. Она отражает степень совместной изменчивости переменных, которая может быть совершенно случайной. Классическим примером обманчивости корреляционных связей является сильная положительная корреляционная взаимосвязь между количеством гнезд аистов и количеством новорожденных в Копенгагене в послевоенные годы [17]. Вряд ли кто-нибудь сочтет это за доказательство того, что детей приносят аисты.
Отождествление относительного риска и отношения шансов. Многие авторы произвольно выбирают отношение шансов для оценки статистической связи между качественными бинарными исходами в двух группах. В результате в некоторых работах значения отношения шансов достигают сотен и тысяч. Отношение шансов полезно в ретроспективных исследованиях, в которых частота событий невелика и относительный риск не может быть оценен напрямую [18]. В этом случае значение отношения шансов будет близко к значению относительного риска. Однако если исход является частым, отношение шансов будет значительно превышать значение относительного риска. По общему правилу, если частота исхода превышает 10%, отношение шансов будет переоценивать относительный риск [16].
Плохо продуманная конструкция таблиц и ограниченное использование средств визуализации данных. Во многих статьях описательная статистика и результаты представляются в текстовом формате, что затрудняет их рассмотрение и ухудшает восприятие. Правильное представление таблиц и рисунков обогащает содержание статьи, улучшает восприятие описательной статистики и результатов научного исследования, делая их более наглядными. В некоторых случаях только графический анализ способен дать компактное представление результатов, осознать которые другими способами невозможно в силу большого объема. Графики не должны дублировать материал, представленный в таблицах. На диаграммах шкала оси ординат (Y) должна иметь нулевую отметку, необходимо указывать название оси и единицы измерения представленных на ней показателей. На столбиковых диаграммах не рекомендуется использовать трехмерные столбики. Все графики и диаграммы в пределах одной публикации должны быть выдержаны в одном стиле. Они, по возможности, должны иметь одни и те же шкалы и размерности. Все встречающиеся в таблице аббревиатуры должны быть расшифрованы в примечании к таблице. Кроме того, в примечании следует указать, какие методы статистического анализа применялись для сравнений, описанных в таблице.
Неправильная формулировка фразы о пороговой величине уровня статистической значимости (Уровень статистической значимости был равен 95%.). В таких случаях авторы путают статистическую значимость с доверительной вероятностью. Статистическую значимость определяет пороговая величина α-ошибки (уровень значимости p), обычно 0,05. Это означает, что вероятность случайного получения таких различий в данных меньше 5%. «Уровень значимости 95%» означает, что вероятность случайного получения результатов (например, различий) составляет 95%.
Замена термина «статистическая значимость» на «достоверность/достоверно». Статистические методы не определяют «достоверность» или «недостоверность» различия, они показывают лишь вероятность случайности получения такого результата. Статистическая значимость – это малая вероятность случайности (например, выявленных различий), в то время как в теории вероятности, на которой основана математическая статистика, достоверным называется событие, вероятность которого равна 100% или 0%.
При анализе некоторых статей становится очевидным, что понимание авторами простых и наиболее часто применяемых методах статистического анализа далеко от совершенства. Несмотря на это, они включают в свои работы сложнейшие методы статистического анализа, адекватное использование которых под силу только профессиональным биостатистикам. Чаще всего это касается прогностических исследований, когда даже после нескольких рецензий авторы не могут объяснить, как же применять разработанную ими прогностическую модель в реальной клинической практике для прогнозирования изучаемого исхода у отдельных пациентов.
Недостатки методологии исследований
Никакой, даже самый совершенный статистический анализ неспособен исправить ошибки, допущенные на этапах планирования и проведения исследования. К сожалению, анализ поступающих в редакцию «Акушерство и гинекология» рукописей говорит о том, что многие авторы имеют очень слабое представление о методологии научных исследований. Главным «симптомом» этого являются ошибки в описаниях дизайна исследований, в которых даются произвольные и часто взаимоисключающие определения. Например, исследования случай-контроль иногда представляются как проспективные, хотя они могут быть только ретроспективными, обсервационные исследования могут описываться как рандомизированные и т.д. У некоторых авторов фантазии выливаются в крайне странные описания дизайна, самым причудливым из которых является следующее: «пассивное поперечное проспективное (одномоментное), выполненное через определенные промежутки времени, сравнительное простое слепое нерандомизированное исследование». При этом замечания о таких ошибках далеко не всегда заставляют авторов разобраться в методологии своих работ, и в повторно представленных рукописях дизайн часто опять описывается в произвольных терминах.
Смутное представление о методологии научных исследований проявляется в непонимании различий между экспериментальными и обсервационными исследованиями. Экспериментальные исследования применяются для оценки эффективности лечебных или профилактических медицинских вмешательств. Золотым стандартом такого исследования является рандомизированное контролируемое испытание (РКИ), т.е. эксперимент, в котором участников в случайном порядке (рандомизированно) распределяют в экспериментальную группу (где применяется изучаемое вмешательство) и контрольную группу (где применяется плацебо или другое вмешательство).
Некоторые авторы в своих статьях описывают подобный процесс, а также сообщают о своем участии в назначении обследования и лечения, но при этом называют свои работы одним из видов обсервационных исследований1. Однако в обсервационных исследованиях авторы не участвуют в процессе назначения вмешательства, а проводят исследование путем изучения существующей практики. Эти исследования потому и называются обсервационными, т.е. наблюдательными, что исследователь ведет наблюдение без вмешательства с целью записи, классификации, подсчета и проведения статистического анализа результатов [19, 20]. При этом назначение вмешательства отделено от решения о включении пациента в исследование.
Обсервационные исследования применяются в основном для изучения факторов риска, факторов прогноза и этиологии заболеваний. Иногда они могут применяться для изучения эффективности медицинских вмешательств вместо РКИ, когда РКИ не нужны (вакцинация против оспы; тироксин при гипотиреозе и т.п.) или когда их проведение невозможно (вмешательства при очень редких заболеваниях, изучение редких и отдаленных побочных эффектов и т.д.).
Общая схема определения вида исследования представлена на рисунке [21].
В таблице 2 представлены основные характеристики обсервационных исследований [18].
С научными основами методологии научно-медицинских исследований рекомендуется ознакомиться в руководствах по клинической эпидемиологии и доказательной медицине, в т.ч. изданных на русском языке [18, 22, 23]. Ссылка на полный текст руководства Флетчера «Клиническая эпидемиология: Основы доказательной медицины» имеется на Интернет-сайте Общества специалистов доказательной медицины (http://osdm.org/ ).
Кроме понимания научных основ методологии научных исследований, необходимо придерживаться международных стандартов их проведения и описания. Стандартом качества публикационной практики в медицине и биологии являются «Рекомендации по проведению, описанию, редактированию и публикации результатов научной работы в медицинских журналах» (Рекомендации ICMJE). В них подробно описана структура типовой журнальной публикации и основные требованию к каждому разделу статьи. Эти ежегодно обновляемые рекомендации находятся в открытом доступе в сети Интернет (www.icmje.org), а также переведены на русский язык [24].
Согласно Рекомендациям ICMJE, авторы должны следовать руководствам, соответствующим виду проводимого ими исследования. В качестве источника руководств по описанию исследований рекомендуется EQUATOR Network (www.equator-network.org/home/). Примерами таких руководств являются CONSORT для рандомизированных клинических испытаний, STROBE для обсервационных исследований, STARD для исследований по оценке точности диагностики, и TRIPOD для прогностических исследований. Это требование включено в правила для авторов журнала «Акушерство и гинекология». Контрольные перечни требований из некоторых этих руководств также опубликованы на русском языке [25].
Одним из дефектов методологии клинических исследований среди рукописей, поступающих в редакцию журнала «Акушерство и гинекология», является выбор в качестве первичной конечной точки суррогатных (косвенных) критериев. Суррогатные конечные точки – это исходы, используемые вместо клинических значимых результатов. Обычно это лабораторные или инструментальные измерения. Например, в исследовании препарата для лечения аденомиоза вывод о его эффективности делается на основании изменения одного признака (объема матки), который является суррогатным критерием. Клинически значимыми конечными точками в этом случае могли бы быть устранение болевого синдрома, купирование аномальных маточных кровотечений и репродуктивные исходы.
Суррогатные критерии редко бывают адекватной заменой клинически значимым конечным точкам, и такая замена значительно снижает научную ценность работы. Результаты оценки суррогатных критериев могут быть полезны в качестве предварительных данных для принятия решения об оправданности и перспективности проведения крупного исследования по изучению истинных клинически значимых исходов. Однако опираться на исследования суррогатных критериев в клинической практике ошибочно и опасно.
Заключение
Завершая этот обзор, приходится с сожалением констатировать, что качество статистического анализа и методологический уровень рукописей, поступающих в редакцию журнала «Акушерство и гинекология», оставляют желать много лучшего. Во многих случаях ошибки статистического анализа и методологии исследований снижают научную ценность таких работ и ставят под сомнение сделанные в них выводы. Фактически публикация таких статей представляет собой нарушение исследовательской этики.
Ответственность за предотвращение публикации статей, содержащих ошибки статистического анализа и методологии научных исследований, лежит как на авторах, которые проводят научные исследования, так и на редакции, публикующей эти исследования в своем журнале.
В настоящее время редакция журнала «Акушерство и гинекология» делает все от нее зависящее для предотвращения публикации статей с такими ошибками. Целью настоящего обзора было информирование авторов о существующей проблеме и привлечение их внимания к их доле ответственности за качество статистического анализа и методологии исследований.
