ПРИЧИНЫ, ПОСЛЕДСТВИЯ И ВЫЯВЛЕНИЕ СИСТЕМАТИЧЕСКОЙ ОШИБКИ, СВЯЗАННОЙ С РЕДАКЦИОННОЙ ПОЛИТИКИЙ ПЕЧАТНЫХ ИЗДАНИЙ ПО ПСИХИАТРИИ

АСТА PSYCHIATRICA SCANDINAVICA 2000; 102: 241249

ПРИЧИНЫ, ПОСЛЕДСТВИЯ И ВЫЯВЛЕНИЕ СИСТЕМАТИЧЕСКОЙ ОШИБКИ, СВЯЗАННОЙ С РЕДАКЦИОННОЙ ПОЛИТИКИЙ ПЕЧАТНЫХ ИЗДАНИЙ ПО ПСИХИАТРИИ

Simon M. Gilbody, Fujian Song, Alison J. Eastwood, Alex Sutton
Адрес для корреспонденции: Dr. Simon M. Gilbody, NHS Centre for Reviews and Dissemination, University of York, York, Y01 5DD, UK
The causes, consequences and detection of publication bias in psychiatry
© 2000 Munksgaard Int. Publ. Ltd, Copenhagen, Denmark. Reprinted by permission.

Цель. Систематическая ошибка, связанная с редакционной политикий печатных изданий (далее — систематическая ошибка) делает сомнительной валидностъ исследований, хотя до сих пор в психиатрии этой проблеме практически не уделялось никакого внимания. Цель статьи — сделать систематический обзор причин и последствий систематической ошибки, а также обобщить методы ее выявления и корректирования.

Метод. Проведен обзор эмпирических данных о наличии систематической ошибки. В качестве иллюстрации приводится один пример анализа исследований, проведенных в области психиатрии. При этом были использованы следующие методы: воронкообразный графический анализ, метод «картотечного ящика», методы линейной регрессии, ранговой корреляции, «усечения и заполнения».

Результаты. Систематической ошибке, связанной с редакционной политикий печатных изданий и вызванной другими причинами, в основном подвержены некрупные исследования. Все методы, направленные на выявление систематической ошибки, зависят от наличия определенного количества отдельных исследований выборок различных размеров. К сожалению, во многих областях психиатрии не всегда удается обнаружить достаточное количество таких исследований.

Выводы. Там, где возможно, исследователи всегда должны проверять наличие систематической ошибки. Эту проблему можно решить только с помощью реестра проспективных испытаний.

ВВЕДЕНИЕ

Давно отмечено, что «отрицательные» или «неинтересные» результаты исследований публикуются значительно реже, а это приводит к так называемой систематической ошибке [1]. Как следствие, информация, которая становится всеобщим достоянием, не отражает в полной мере весь объем проводимых исследований. Поскольку в настоящее время опубликованные результаты исследований все больше влияют на клиническую практику и процесс принятия решении
также и обеспокоенность по поводу того, что систематическая ошибка угрожает валидности опубликованных исследований.

Эта проблема вообще не рассматривалась в научной литературе по психиатрии, хотя есть все основания предполагать, что в данной сфере знания систематическая ошибка встречается так же часто, как и в любой другой [3, 4]. Цель этой статьи — представить обзор причин и последствий систематической ошибки, а также привести примеры из последнего метаанализа эффективности новых методов лекарственной терапии при шизофрении. На этих примерах мы наглядно продемонстрируем методы выявления и корректирования систематической ошибки (в приложении 1 описаны стратегии проведения обзора и поиска, использованные для подготовки этой статьи).

СИСТЕМАТИЧЕСКИЕ ОБЗОРЫ И МЕТААНАЛИЗ

В области психиатрии, как и во всей медицине, доказательства эффективности вмешательств нередко противоречивы, отчасти изза различий между самими исследованиями, касающихся их методологической точности, размера исследуемых выборок, популяций пациентов, характера применяемых вмешательств. Традиционные «обзорные» статьи (часто подготовленные «контентспециалистами») как раз и используются для того, чтобы придать смысл в корне отличной информации. К сожалению, подобные обзоры также подвержены некоторым систематическим ошибкам, а приводимые в них выводы зачастую так же противоречивы, как и выводы исходных исследований [5]. В связи с тем, что растут ряды читателей, которые недовольны непрозрачностью методологии, а также не доверяют выводам традиционных обзоров, появилась статья, посвященная систематическим обзорам [6].

Цель подобных обзоров — обобщить результаты опубликованных исследований с помощью четкой и воспроизводимой методики, способствующей выявлению и минимизации количества источников систематической ошибки в исходной литературе. Систематические обзоры предполагают использование совершенно прозрачной методологии, поскольку она позволяет определить границы систематической ошибки при поиске и отборе научных работ для проведения обзора. Тщательно «просеиваются» научные базы данных (в том числе электронные), после чего для анализа отбираются наиболее качественные исследования — в идеале это должны быть рандомизированные клинические испытания. Затем данные соответствующим образом объединяются, с тем чтобы можно было выработать четкую информацию или сделать ясный вывод об эффективности лечения. Иногда их представляют в повествовательной форме, а в некоторых случаях — в количественной, в форме метаанализа [7].

Одним из основных преимуществ метаанализа является возможность повысить мощность и точность оценки эффективности либо силы связи. Это особенно важно, когда исходные данные, приведенные в различных источниках, не обладают достаточной статистической силой и не позволяют выявить реальные различия (т. е. допускают ошибки второго рода). К сожалению, в научной литературе по психиатрии преобладают описания исследований, не обладающих достаточной статистической силой, проведенных во многих сферах практической и нормативной деятельности [8].

Можно надеяться, что метаанализ позволит преодолеть эти ограничения и даст более веские и точные оценки результатов. Однако при наличии систематической ошибки остается опасность того, что результаты метаанализа будут более «точными», но по сути искаженными и вводящими в заблуждение.

Систематическая ошибка представляет угрозу как для традиционных повествовательных обзоров, так и для систематических. Однако развитие методологии последних позволяет нам понять ряд факторов, угрожающих валидности результатов обзоров, включая систематическую ошибку [9]. Следовательно, строгие систематические обзоры могут и должны проводиться с тем, чтобы сводить к минимуму и выявлять систематическую ошибку [7]. Эта статья как раз и посвящена описанию подобных методов.

ИСТОЧНИКИ СИСТЕМАТИЧЕСКОЙ ОШИБКИ, СВЯЗАННОЙ С РЕДАКЦИОННОЙ ПОЛИТИКИЙ ПЕЧАТНЫХ ИЗДАНИЙ

Можно видеть, что систематическая ошибка имеет три взаимосвязанных источника: исследователи, редакторы журналов и заказчики исследований. Общеизвестно, что исследователи не оченьто стремятся подробно описывать и представлять на рассмотрение полученные результаты, если они «отрицательные» [10], да и редакторы журналов зачастую отказываются публиковать подобные результаты, если их все же пришлют [И, 12]. Тот факт, что авторы очень часто не способны отправить на рассмотрение отрицательные результаты исследования, скорее всего отражает реалистическую оценку судьбы этого исследования при его рассмотрении (не будет опубликовано), а не сознательное решение скрыть отрицательные результаты или неинтересное исследование.

Однако заказчики исследований могут иметь финансовую заинтересованность в результатах (продвижение их собственных продуктов), особенно это характерно для фармацевтического рынка. Исследования, финансируемые за счет общественных фондов, чаще всего публикуются независимо от их результатов. Исследования, поддерживаемые коммерческими структурами, публикуются реже, если их результаты отрицательные [1, 10, 13]. Chalmers и его коллеги [14] описывают неспособность авторов или заказчиков исследования подать на рассмотрение полученные ими отрицательные результаты как «препубликационную систематическую ошибку».
Истинная систематическая ошибка, связанная с редакционной политикий печатных изданий, возникает в том случае, если исследование не публикуется, учитывая полученные результаты, и этим она отличается от «постпубликационной систематической ошибки», т. е. неточного представления результатов исследования (характерно для несистематизированных обзоров) [14]. Однако известны и другие виды систематической ошибки, которые также влияют на пригодность и доступность результатов исследования, даже если они опубликованы. Например, многие исследования публикуются только в форме рабочего доклада, отчета, тезисов или резюме. К подобным формам публикации трудно получить доступ через обычные базы библиографических данных (например, MEDLINE); они часто обозначаются термином «серая литература» [15]. Известно, что существует и так называемая «систематическая ошибка, связанная с языком»: более вероятно, что исследование, проведенное в неанглоязычной стране, будет опубликовано в англоязычном журнале, если его результаты положительные. Если результат такого исследования отрицательный, оно скорее всего будет опубликовано в национальном журнале [16]. Кроме того, положительные результаты исследований публикуются быстрее, что порождает «конвейерную систематическую ошибку, связанную с редакционной политикий печатных изданий» [17], и, как правило, в более влиятельных журналах, которые более доступны и имеют более широкое распространение [13]. Далее, положительные результаты публикуются, как правило, в различных формах («систематическая ошибка, связанная с мнократными публикациями»), т. е. из каждого центра, участвующего в проведении мультицентровых испытаний, выходят отдельные публикации, либо результаты одного клинического испытания публикуются несколько раз [18]. Кроме того, положительные результаты чаще цитируются другими авторами, а это приводит к формированию «систематической ошибки, связанной с цитированием» [19]. Все рассмотренные виды систематической ошибки крайне важны для систематических обзоров, в которых используются строгие критерии поиска информации.

Например, если поиск будет ограничиваться исключительно MEDLINE, это даст необоснованное преимущество англоязычным (особенно североамериканским) исследованиям и приведет к исключению множества «маловлиятельных» и европейских журналов. Аналогично, языковые ограничения по лингвистическим причинам порождают другой вид систематической ошибки, связанной с редакционной политикий печатных изданий; такой же результат получается при поиске в библиографии обзорных статей и первоисточников. Ограничения исследований в области психиатрии, связанные с исключительным поиском по MEDLINE, продемонстри рованы Adams и его коллегами [20], которые показали, что благодаря этой базе данных можно получить доступ лишь к 52% публикаций, по сравнению с результатами использования методов более тщательного поиска информации (к которым относится ручной поиск ключевых журналов).

Учитывая систематическую ошибку неоднократно предлагалось ввести обязательную регистрацию исследований, как только они начинаются, что позволило бы знать об их существовании и без публикации результатов [21]. Имея такой реестр, исследователи могли бы включать неопубликованные исследования в систематические обзоры.

При отсутствии такого реестра (либо требования, чтобы результаты неопубликованных исследований становились всеобщим достоянием) исследователи вынуждены либо игнорировать систематическую ошибку, либо попытаться выявить ее и более точно определить ее значение. Большинство обзоров исследований, проведенных в области психиатрии (систематических и несистематических), не учитывают проблему систематической ошибки [4]. Есть основания подозревать, что исследования в области психиатрии, как никакие другие, подвержены влиянию систематической ошибки. Многие из оценочных исследований, особенно в сфере фармакотерапии, заказываются коммерческими структурами. Кроме того, большая часть исследований в области психиатрии не обладают достаточной статистической силой. В следующем разделе рассматриваются некоторые аналитические методы решения проблемы, вызванной систематической ошибкой.

МЕТОДЫ ВЫЯВЛЕНИЯ И КОРРЕКТИРОВАНИЯ СИСТЕМАТИЧЕСКОЙ ОШИБКИ, СВЯЗАННОЙ С РЕДАКЦИОННОЙ ПОЛИТИКОЙ ПЕЧАТНЫХ ИЗДАНИЙ

Рисперидон влечении шизофрении: пример потенциальной систематической ошибки, связанной с редакционной политикой печатных изданий

Последний метаанализ, проведенный под покровительством «Группы изучения шизофрении» (Cochrane Collaboration) с целью изучения эффективности и действенности рисперидона, используется нами в качестве иллюстрации систематической ошибки [22]. Имеющиеся данные будут проанализированы с использованием различных методов, что позволит подчеркнуть сильные и слабые стороны методов определения и корректирования систематической ошибки с учетом особенностей психиатрии. Как пример взят качественно проведенный систематический обзор огромного количества опубликованных результатов исследований, включая источники, обнаруженные с помощью MEDLINE, EMBASE, PsychLIT, BIOSIS, Current contents и других электронных баз данных (в [22] перечислены все ключевые слова, ставшие основой для поиска). Более того, при проведении обзора устанавливался тесный контакт с авторами статей и издателями с целью получения недостающей информации и неопубликованных данных. Такой подход позволил выделить 14 исследований, основные сведения о которых приведены в табл. 1. Предлагаемый обзор содержит неопубликованные данные в форме одного неопубликованного клинического испытания и трех других испытаний, где изначально неполные данные были получены в результате личного общения с авторами.

Ранее сообщалось [18] о многочисленных публикациях одних и тех же материалов; например, в 29 обнаруженных статьях были описаны результаты 14 исследований. В целом с помощью этого метаанализа удалось достичь большего, чем это бывает при подготовке «систематических обзоров», поскольку учтены и опубликованные, и неопубликованные данные исследований, а также те, которые опубликованы в «серой литературе».

Исследования, включенные в обзор Cochrane, обычно недостаточно мощные (средний размер выборки — 45), хотя среди них есть и одно довольно крупное (размер выборки — 1362). Результаты этого метаанализа демонстрируют некоторое преимущество рисперидона по сравнению с галоперидолом (препарат, выбранный заказчиками и исследователями). Главный результат — «общее клиническое улучшение», который с помощью ряда операций в 10 из 14 исследований определяется как 20%ное улучшение показателей по сравнению с исходными показателями по «Краткой оценочной шкале психического состояния» или по «Шкале оценки позитивных и негативных симптомов». После объединения результатов лечения, полученных в этих 10 исследованиях, показатель клинического улучшения в группе пациентов, принимавших рисперидон, стал (статистически) достоверно выше, чем в группе лиц, принимавших галоперидол (OR = 0,75; 95%ный доверительный интервал [CI] 0,61, 0,92) (рис. 1).

Этот метаанализ отражает увеличение точности оценок за счет группирования данных, в то время как каждое отдельное исследование обречено на ошибки второго рода и имеет широкие доверительные интервалы. Тем не менее сейчас мы рассмотрим проблему потенциальной систематической ошибки в этом наборе данных вместе с критическим обзором статистических инструментов, которые позволяют «выявить» и «откорректировать» ее. Необходимо добавить, что потенциальное наличие систематической ошибки может быть обнаружено только путем применения метода систематического обзора к этому набору данных, кроме того, оно должно рассматриваться скорее как ограничение самого набора данных, а не как критический разбор методологии подготовки обзора.

ТАБЛИЦА 1

Рисунок 1. Метаанализ эффективности рисперидона при шизофрении: количество пациентов, состояние которых не улучшилось на фоне лечения рисперидоном по сравнению с типичным нейролептиком (контрольная группа)

Воронкообразный графический анализ

Dickersin и его коллеги выделили некоторые факторы, вызывающие систематическую ошибку, связанную с редакционной политикой печатных изданий [1, 10]. Одним из наиболее мощных предикторов опубликования или неопубликования результатов исследования является размер выборки. Если говорить кратко, данные крупных исследований публикуются чаще, независимо от их результатов. Если при проведении некрупных исследований будут получены интересные или положительные результаты, они, как правило, публикуются.

Такая систематическая ошибка, распространяющаяся преимущественно на некрупные исследования, может быть продемонстрирована с помощью «воронкообразного графического анализа» [23]. Воронкообразные графики отражают величину эффекта и размер выборки (или точность). При отсутствии систематической ошибки (на графике все исследования представлены в виде точек) можно увидеть симметричную воронку (рис. 2а). Результаты некрупных исследований имеют тенденцию к случайной изменчивости и поэтому будут симметрично распределяться вокруг некоторой средней величины общего эффекта (т. е. той, которая была бы получена в какомнибудь крупном исследовании). По мере увеличения размера выборки степень изменчивости результатов вокруг этой центральной оси должна уменьшиться — в результате получаем симметричное изображение перевернутой воронки. Если некрупные исследования исключаются на основании направленности эффекта, воронка становится асимметричной в основании (рис. 26).

Воронкообразный график использовался для демонстрации систематической ошибки и последующего вводящего в заблуждение метаанализа в ряде сфер знания; наиболее известно изучение действия магнезии после инфаркта миокарда [24]. Однако проблема систематической ошибки редко обсуждается, а метод воронкообразных графиков редко используется при проведении исследований в области психиатрии и при подготовке их систематических обзоров.
Воронкообразный график результатов метаанализа эффективности рисперидона показан на рис. 3. Этот график явно асимметричен в своем основании, что свидетельствует о наличии систематической ошибки: в правой нижней части графика относительно слабо представлены некрупные исследования. На графике приведены результаты лечения в сопоставлении с обратными величинами стандартных ошибок (точностью), а не в соответствии с размерами выборки (рис. 3). Использование стандартных ошибок может иметь некоторые преимущества, поскольку статистическая достоверность детерминируется не только размерами выборки, но и степенью изменчивости измеряемых результатов или количеством событий в случае категориальных данных.

Существуют некоторые ограничения в отношении использования воронкообразных графиков для определения систематической ошибки. Вопервых, необходимо наличие нескольких исследований с различными размерами выборки. Вовторых, воронкообразные графики являются неформализованным методом оценки потенциальной систематической ошибки, который зависит от субъективного мнения, при этом разные люди могут интерпретировать один и тот же график поразному. Кроме того, следует подчеркнуть, что скошенный воронкообразный график может быть результатом влияния других факторов, кроме систематической ошибки: различной интенсивности проводимых вмешательств, различий в существующем риске, некачественного плана проведения некрупных исследований, неадекватности анализа, подделки данных исследования, выбора критериев оценки и случайности [25]. Однако анализ воронкообразных графиков остается важным методом предварительного анализа потенциальной систематической ошибки. Известны и другие методы, с помощью которых можно уточнить полученные таким образом данные. Теперь мы рассмотрим более формализованные методы оценки асимметрии и выявления систематической ошибки, связанной с редакционной политикой печатных изданий.

РИСУНОК 3

Метод ранговой корреляции

В качестве формализованного метода оценки асимметрии воронкообразных графиков Begg и Mazumdar предложили «тест ранговой корреляции», позволяющий изучить связь между оценками эффектов и их дисперсиями [26]. Этот метод основан на нормальном распределении и не допускает «моделирования» предположений. Однако он не обладает статистической силой, поэтому нельзя исключить отсутствие систематической ошибки в том случае, если получены недостоверные результаты. Смоделированные результаты показали, что мощность метода ранговой корреляции зависит от нескольких факторов: количества включенных в метаанализ исследований, базовой величины эффекта, размаха дисперсии в различных исследованиях, силы функции отбора и наличия одно или двустороннего давления отбора. Мощность метода достаточна для осуществления масштабного метаанализа 75 исследований и остается на среднем уровне при анализе 25. При проведении метаанализа эффективности рисперидона при шизофрении (см. рис. 3) метод ранговой корреляции не позволил обнаружить связи между оценочными результатами лечения и их дисперсиями (коэффициент корреляции Спирмана rho составил 0,018; Р — 0,96).

Метод линейной регрессии Еддег

Учитывая ограниченную мощность метода ранговой корреляции, Egger и его коллеги [25] предложили усовершенствование, основанное на регрессионном анализе радиального графика Galbraith [27]. Этот метод представляет собой формализованный тест асимметрии воронкообразного графика и может быть применен к любому набору дихотомических данных или количественных оценок корреляции либо риска, которые обычно обобщаются с помощью коэффициента риска или отношения вероятных возможностей (в [28] обсуждается использование коэффициента риска и отношения вероятных возможностей). В этом методе используется три статистические переменные: логарифм отношения вероятных возможностей (или коэффициент риска), его дисперсия и стандартное нормальное отклонение (Standard Normal Deviate — SND).
Например, если используются отношения вероятных возможностей, они рассчитываются нормальным образом [28], а стандартные ошибки и дисперсии их логарифмов определяются по таким формулам (принятый стандарт записи таблицы 2x2):
SE (In OR) = sqrt(l/A + 1/В + 1/С + 1/D);
Var In OR = (I/A + 1/B + 1/C + 1/D).
Стандартное нормальное отклонение определяется как логарифм отношения вероятных возможностей, разделенного на его стандартную ошибку (standard error — SE):
SND = In OR/SE (In OR).
Затем рассчитывается регрессия SND по точности оценок (т. е. обратной величине стандартной ошибки):
SND = a + 6xSE(lnOR)1

Если систематическая ошибка отсутствует, точки, соответствующие индивидуальным испытаниям, распределяются вдоль линии, которая пролегает от нулевого значения стандартного нормального отклонения (а = 0) с наклоном (и), отражающим размер и направленность эффекта. Если асимметрия присутствует, а результаты некрупных исследований систематически отличаются от результатов крупных исследований, линия регрессии будет отклоняться от начала координат. Отрезок (а) представляет собой меру асимметрии: чем больше отклонение от нуля, тем больше выражена асимметрия. Отрицательные значения (а) свидетельствуют о том, что некрупные исследования характеризуются выраженным защитным эффектом.

Рекомендуется выполнять как взвешенный, так и невзвешенный регрессионный анализ (взвешивание проводится по обратной величине дисперсии), с выбором значения отрезка я, расположенного дальше всего от нулевого значения. Учитывая относительно низкую мощность всех типов проверки на разнородность, выбирают уровень достоверности 10%.

С целью валидизации этого метода Egger и его коллеги [25] выделили четыре «несовпадающих» метаанализа, по данным которых лечебный эффект был выше, чем по данным соответствующего крупного клинического испытания. Используя этот метод, в трех из четырех упомянутых метаанализов удалось установить выраженную асимметричность, при этом отмечалась также выраженная неупорядоченность воронкообразных графиков. При использовании метода ранговой корреляции только в одном из этих четырех метаанализов проявилась «значимая» асимметрия. С помощью этого метода достоверная асимметричность зарегистрирована в 38% из случайно отобранных 37 метаанализов, опубликованных в журналах, и в 13% обзоров — в Кокрановской электронной библиотеке систематических обзоров. Таким образом, мы приходим к выводу, что метод линейной регрессии более чувствительный по сравнению с ранговой корреляцией. В настоящее время доступно программное обеспечение, позволяющее проводить тест Egger как дополнение к анализу воронкообразных графиков и тесту ранговой корреляции [29].

Рисунок 4. Метод линейной регрессии для проверки асимметрии воронкообразного графика [25]. Использование метаанализа эффективности рисперидона в лечении шизофрении (пример). Наклон линии А соответствует общему логарифму отношения вероятных возможностей в том случае, если систематическая ошибка отсутствует (т. е. отрезок = 0). Линия В соответствует взвешенной (по обратной величине дисперсии) регрессии, при которой отрезок значительно меньше нуля (отрезок = 1,392, р = 0,016), следовательно, он указывает на наличие систематической ошибки в пользу некрупных испытаний. Линия С соответствует невзвешенной регрессии, при которой отрезок имеет отрицательное, но статистически недостоверное значение (отрезок = 0,704, р = 0,223)

На рис. 4 отражены результаты применения этого метода к метаанализу эффективности рисперидона при шизофрении. Поскольку отрезок взвешенной регрессии существенно меньше нуля, он отражает достоверно большее количество некрупных клинических испытаний с положительными результатами, чем можно было бы ожидать при случайном отборе. Этот пример также иллюстрирует повышенную чувствительность метода линейной регрессии Egger (в сравнении с методом ранговых корреляций Begg) при определении асимметрии воронкообразного графика.

Оценка количества неопубликованных исследований

Альтернативой воронкообразному графику является «метод картотечного ящика», впервые предложенный Rosenthal и его коллегами [30]. Rosenthal предложил статистический метод оценки «надежного и», т. е. количества неопубликованных исследований с нулевым терапевтическим эффектом, необходимых для того, чтобы опровергнуть значимый результат при метаанализе [30, 31]. Если для опровержения статистически достоверного результата требуется большое количество неопубликованных исследований, которое вряд ли существует, то систематическая ошибка, связанная с публикацией, хотя и присутствует, не имеет принципиального значения, т. е. совокупная оценка является «прочной».

В некоторых областях знания количество необходимых неопубликованных исследований исчисляется сотнями, тогда как в других — лишь единицами. Следовательно «надежное и» должно оцениваться пропорционально количеству опубликованных исследований (К). Rosenthal полагал, что «надежное и» следует считать маловероятным, если оно превышает уровень допуска «5^+10» [31].

В результате применения метода Rosenthal в метаанализе эффективности рисперидона и типичных нейролептиков в лечении шизофрении было установлено, что для превращения статистически достоверного результата в недостоверный нужно по меньшей мере 13 неопубликованных исследований со средним нулевым лечебным эффектом рисперидона. Хотя «надежное и» больше количества неопубликованных исследований, оно меньше уровня допуска 60 (т. е. 5x10 + 10) и, следовательно, согласно предложенным Rosenthal критериям, является «правдоподобным».

Другими словами, достоверный результат следует трактовать с определенной долей сомнения.
В методе «надежного и» было обнаружено два ограничения [32]. Вопервых, этот метод переоценивает важность статистической достоверности. Вовторых, он может вводить в заблуждение, если результаты неопубликованных исследований имеют средний эффект, обратны полученному в процессе метаанализа, в противоположность «величине нулевого эффекта», которая оценивается «надежным и». Если результаты неопубликованных исследований противоположны результатам опубликованных, то количество исследований первого типа, необходимых для «опровержения» результатов опубликованных исследований, оказывается меньшим, чем ожидается на основании предположения о среднем нулевом эффекте в неопубликованных исследованиях. Трудно представить себе существование 13 или даже 60 неопубликованных исследований с зарегистрированным нулевым лечебным эффектом, однако вполне возможно, что существуют два или три некрупных клинических испытания, по данным которых галоперидол имеет преимущество (OR > 1,00) по сравнению с рисперидоном. Метод оценки «надежного и» не позволяет нам оценить количество исследований с отрицательными (в отличие от нулевого лечебного эффекта) результатами. К тому же мы не можем сделать никаких выводов относительно того, насколько устойчивы результаты к правдоподобному сценарию наличия немногочисленных неопубликованных исследований с отрицательным результатом.

Экстраполяция из эмпирических исследований относительно той их доли, которая остается неопубликованной [33], позволяет нам считать, что в примере с рисперидоном, повидимому, не опубликовано два или три исследования, в которых подтверждается более высокая эффективность галоперидола (а не исследования с «нулевым» эффектом). Поэтому метод «надежного и» необходимо применять с осторожностью.

Метод «усечения и заполнения»

Метод «усечения и заполнения» (TRIM and FILL method) представляет собой технику простого рангового наращивания данных, позволяющего формализовать применение воронкообразного графика. Эта методика направлена не только на выявление асимметрии, но и на ее «корректирование» [34, 35]. Этот недавно разработанный метод может быть использован для оценки количества недостающих исследований, а также, что более важно, для оценки лечебного эффекта путем корректирования потенциальных систематических ошибок в метаанализе, связанных с редакционной политикой. Другими словами, асимметричная выступающая часть воронки отсекается после того, как подсчитывается количество исследований в асимметричной части. После этого симметричная часть используется для определения «истинного» центра воронки. И наконец, рассчитываются «истинное» среднее значение и его дисперсия, при этом за основу для вычислений берется «заполненный» воронкообразный график, в котором отсеченные исследования и их недостающие «двойники» восстанавливаются симметрично по отношению к центру. При моделировании точечная оценка величины общего эффекта приблизительно верна, а зона действия доверительного интервала величины эффекта существенно улучшается по сравнению с предыдущими (исходными) результатами. Эту методику следует рассматривать как анализ чувствительности, позволяющий оценить устойчивость результатов к влиянию потенциальной систематической ошибки.

Применяя метод «усечения и заполнения» к метаанализу эффективности рисперидона (см. рис. 3), мы приходим к выводу, что для обеспечения симметричности воронкообразного графика необходимо три дополнительных клинических испытания, позволяющих «заполнить» правую часть фигуры. После добавления трех «недостающих» испытаний скорректированное отношение вероятных возможностей (0,82, 95%ный CI 0,68, 1,01) становится менее достоверным, чем то, которое было определено на основании 10 оригинальных исследований (0,75, 95%ный CI 0,61, 0,92); при этом точечная оценка оказывается неустойчивой. Такой результат свидетельствует о том, что после корректирования систематической ошибки эффективность рисперидона и галоперидола в действительности может оказаться одинаковой. «Скорректированную» оценку не следует интерпретировать как истинное значение или как реальную величину эффекта, а скорее как показатель того, что первоначальный результат не является «устойчивым» и требует осторожности при его интерпретации.

Метод «усечения и заполнения» является многообещающим дополнением к описанным методам, однако до сих пор он находится на стадии экспериментов и подлежит дальнейшей валидизации. Авторы этой статьи могут предоставить более подробную информацию о расчетных алгоритмах, используемых в рамках предложенной методики.

СИСТЕМАТИЧЕСКАЯ ОШИБКА, СВЯЗАННАЯ С РЕДАКЦИОННОЙ ПОЛИТИКОЙ ПЕЧАТНЫХ ИЗДАНИЙ ПО ПСИХИАТРИИ

Из нашего обсуждения следует вывод, что в настоящее время не существует единого мнения о наилучшем методе выявления и корректирования систематической ошибки, хотя некоторые из описанных методов более валидны и надежны, чем другие. Анализ воронкообразных графиков является основным методом, который позволяет судить о наличии систематической ошибки, связанной с редакционной политикой печатных изданий, и других сходных видов погрешностей, хотя использовать этот метод анализа не всегда возможно. Величина систематической ошибки, связанной с редакционной политикой печатных изданий по психиатрии, до сих пор не была оценена, хотя мы вправе ожидать, что в исследовательской литературе она присутствует. Возможность выявления предполагаемой систематической ошибки одним из описанных методов зависит от наличия а) выборки нескольких исследований и б) определенного количества исследований с различными объемами выборок, при этом, по крайней мере, одно из них должно быть крупным. Возможно, более важно то, что описанные методы требуют, чтобы количественный синтез (метаанализ) был адекватным и обоснованным. Если в процессе подготовки систематического обзора мы обнаруживаем слишком разнородные или отличные друг от друга исследования, не позволяющие объединить их в пул, необходимо описывать такие исследования в повествовательной форме, не прибегая к метааналитической статистике. В таком случае невозможно оценить или скорректировать влияние систематической ошибки.

В приведенном примере изучения эффективности рисперидона мы располагаем достаточным количеством соответствующих исследований, что позволяет использовать метод воронкообразного графика, чтобы выявить асимметрию последнего. К сожалению, в других сферах научной и практической психиатрии количество проводимых исследований не так велико. Например, в обзоре исследований, посвященных изучению эффективности другого атипичного нейролептика (клозапина) [36], не удалось использовать анализ воронкообразного графика изза существующего размаха размеров исследований. Повидимому, эта проблема имеет еще большее отношение к психосоциальным вмешательствам, которые в общем и целом не оценивались в крупномасштабных исследованиях либо их результаты нередко оказывались непригодными для объединения в пул изза разнородности используемых методов, параметров группы пациентов или видов проводимых вмешательств. Еще одним ограничением является отсутствие сравнимых результатов либо единиц измерения.

Совершенно очевидно, что для оценки полезности описанных методов изучения систематической ошибки, связанной с редакционной политикой печатных изданий по психиатрии, необходимы дальнейшие исследования. Распространено предположение, что между асимметрией воронкообразного графика и систематической ошибкой можно ставить знак равенства. Однако есть и другие потенциальные причины асимметрии воронкообразного графика, заслуживающие нашего внимания [25]. Например, было доказано, что существует корреляция между качеством методологии и направлением и величиной эффекта [3739]. Если качество методологии некрупных исследований невысокое, полученные результаты чаще указывают на положительный и более выраженный эффект, чем результаты исследований, поддерживающих высокий методологический стандарт. На примере метаанализа исследований (в которых использовался метод наблюдения) психологических факторов риска развития ишемической болезни сердца было установлено, что возможность такой «систематической ошибки, связанной с методом» вызывает асимметрию воронкообразного графика. При метаанализе рандомизированных клинических испытаний асимметрия воронкообразного графика, формирующаяся вследствие систематической ошибки, связанной с методом, еще не изучалась [40].

Подводя итоги, можно сказать, что не существует единственного и эффективного теста систематической ошибки, однако нельзя игнорировать эту проблему. Там, где возможно, следует использовать анализ воронкообразных графиков наряду с формализованными тестами асимметрии. Данный подход должен быть дополнен оценкой устойчивости результатов к асимметрии воронкообразного графика и к другим источникам разнородности. К сожалению, во многих случаях при проведении исследований в области психиатрии такой подход невозможен. Результаты метаанализа, основанные исключительно на некрупных исследованиях, необходимо интерпретировать с осторожностью.

ЧТО НУЖНО ДЕЛАТЬ С СИСТЕМАТИЧЕСКОЙ ОШИБКОЙ, СВЯЗАННОЙ С РЕДАКЦИОННОЙ ПОЛИТИКОЙ ПЕЧАТНЫХ ИЗДАНИЙ?

Несмотря на то, что о систематической ошибке известно уже более 40 лет [41], ее распространенность практически не изменяется с 1959 года [42]. Бытует мнение, что несообщение о результатах научного исследования является формой научного преступления, которое может существенно ухудшить качество медицинской помощи. Наконец, утаивание результатов исследований считается прямым нарушением доверия пациентов, которые принимают участие в проведении научной работы, а также пустой тратой ресурсов как ученых, так и больных [43]. Отрицательные последствия систематической ошибки (например, неверные или даже опасные решения, касающиеся медицинской помощи) еще будут оценены, однако вполне возможно, что нам не удастся изучить данный феномен [4].

Одной из интересных инициатив является «амнистия клинических испытаний», что поощряет ученых регистрировать неопубликованные результаты в реестре сети Интернет с тем, чтобы они были доступны всем заинтересованным сторонам, оставаясь в коллективном пользовании [44, 45]. Однако единственным и реальным методом преодоления систематической ошибки является обязательная регистрация будущих исследований в особом реестре, который должен быть поддержан основными организациями, осуществляющими медицинский
надзор [46]. Исследование, не внесенное в такой реестр, не должно быть одобрено этическим комитетом, а лицензионные комитеты не должны считать его результаты доказательством безопасности и эффективности вмешательства.

Систематический обзор и метаанализ исследований рассматриваются (правильно или неправильно) как средство скорой помощи, необходимое при наличии большого количества сравнительно мелкомасштабных исследований, не обладающих достаточной статистической мощностью. Хотя такой подход и является одной из сильных сторон метаанализа, не следует считать, что проведение некрупных и маломощных исследований остается оправданным. На самом деле, неэтично привлекать пациентов к участию в направленном на решение важной проблемы исследовании, результаты которого вряд ли окажутся статистически достоверными [47]. Систематический обзор, учитывающий систематическую ошибку, связанную с редакционной политикой печатных изданий, и другие подобные источники погрешностей, должен прежде всего привлекать наше внимание к ограничениям данных первоисточников, оказывать помощь в обосновании финансирования хорошо спланированных и достаточно мощных исследований. Проведение достаточно убедительных исследований и разработка способов достижения этого — одна из первоочередных задач психиатрии [48].

ВЫРАЖЕНИЕ ПРИЗНАТЕЛЬНОСТИ

Данная статья основана на систематическом обзоре систематической ошибки, связанной с редакционной политикой печатных изданий, который финансировался Программой оценки технологий охраны здоровья Британского министерства здравоохранения (проект 95/12/01). SG поддерживается Британским советом медицинских исследований Программы обучения методам проведения исследований работы медицинских учреждений, частью которой является Центр обзоров и распространения информации Министерства здравоохранения.

ЛИТЕРАТУРА

1. DICKERSIN К. The existence of publication bias and risk factors for its occurrence. JAMA 1990; 263: 13851389.
2. MUIR GRAY JA. Evidencebased healthcare: how to make health policy and management decisions. London: Churchill Livingstone, 1997.
3. CUCHERAT M, CIALDELLA PAD. Metaanalysis of therapeutic trials: applications in psychiatry. Encephale 1996; 22: 378387.
4. GILBODY SM, SONG F. Publication bias and the integrity of psychiatry research [editorial]. Psychol Med 2000; 30: 253258.
5. MULROW CD. Rationale for systematic review. Br Med J 1994; 309: 597599.
6. MULROW CD, OXMAN AD, eds. Cochrane collaboration handbook. Oxford: Update Software, 1999.
7. NHS Centre for Reviews and Dissemination. Undertaking systematic reviews of research on effectiveness: CRD guidelines for those carrying out or commissioning reviews., CRD Report 4. York: University of York, 1996; 4555.
8. THORNLEY B, ADAMS CE. Content and quality of 2000 controlled trials in schizophrenia over 50 years. Br Med J 1998; 317: 11811184.
9. SONG F, GILLBODY S. Bias in metaanalysis detected by a simple, graphical test increase in studies of publication bias coincided with increasing use of metaanalysis [letter]. Br Med J 1998; 316: 471.
10. DICKERSIN К, MIN YI, MEINERT CL. Factors influencing publication of research results. Followup of applications submitted to two institutional review boards. JAMA 1992; 267: 374378.
11. KUPFERSMID J, FIALA M. A survey of attitudes and behaviors of authors who publish in psychology and education journals. Am Psychol 1991; 46: 249250.
12. ZELEN M. Guidelines for publishing papers on cancer clinical trials: responsibilities of editors and authors. J Clin Oncol 1983; 1: 164169.
13. EASTERBROOK PJ, BERLIN JA, GOPALAN R, MATTHEWS DR. Publication bias in clinical research. Lancet 1991; 337: 867872.
14. CHALMERS TC, FRANK CS, REITMAN D. Minimizing the three stages of publication bias. JAMA 1990; 263: 13921395.
15. AUGER CP. Infomation sources in grey literature, 4th edn. London: BowkerSaur, 1998.
16. EGGER M, ZELLWEGERZAHNER T, SCHNEIDER M, JUNKER C,
25 LENGELER C, ANTES G. Language bias randomised controlled
| trials published in English and German. Lancet 1997; 350:
326329.
17. STERN JM, SIMES RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects. Br Med J 1997; 315: 640645.
18. HUSTON P, MOHER D. Redundancy, disaggregation, and the integrity of medical research. Lancet 1996; 347: 10241026.
19. RAVNSKOV U. Cholesterol lowering trials in coronary heart disease: frequency of citation and outcome. Br Med J 1992; 305: 1519.
20. ADAMS CE, POWER A, FREDERICK K, LEFEBVRE C. An investigation of the adequacy of MEDLINE searches for randomised controlled trials (RCTs) of the effects of mental health care. Psychol Med 1994; 24: 741748.
21. SIMES RJ. Publication bias: the case for an international registry of clinical trials. J Clin Oncol 1986; 4: 15291541.
22. KENNEDY E, SONG F, HUNTER R, GILBODY S. Risperidone versus 'conventional' antipsychotic medication for schizophrenia. In: The Cochrane Library Issue 3. Oxford: Update Software, 1998.
23. LIGHT RJ, PILLEMER DB. Summing up: the science of reviewing research. Cambridge, Massachusetts: Harvard University Press, 1984: 104143.
24. EGGER M, DAVEYSMITH G. Misleading metaanalysis: lessons from 'an effective, safe, simple' intervention that wasn't. Br Med J 1995; 310: 752754.
25. EGGER M, DAVEYSMITH G, SCHNEIDER M, MINDER C. Bias in metaanalysis detected by a simple, graphical test. Br Med J 1997; 315: 629634.
26. BEGG CB, MAZUMDAR M. Operating characteristics of a rank correlation test for publication bias. Biometrics 1994; 50: 10881101.
27. GALBRAITH RF. A note of graphical presentation of estimated odds ratios from several clinical trials. Stat Med 1988; 7: 889894.
28. ALTMAN DO. Practical statistics for medical research. London: Chapman and Hall, 1991: 266271.
29. SHARP SJ, STERNE JAC. sbe!6: Metaanalysis. Stata Techn Bull 1997; 38: 914.
30. ROSENTHAL R. The 'file drawer problem' and tolerance for null results. Psychol Bull 1979; 86: 638641.
31. ROSENTHAL R. Effect size estimation, significance testing, and the filedrawer problem. J Parapsychol 1992; 56: 5758.
32. EVANS S. Statistician's comments on: 'Fail safe N' is a useful mathematical measure of the stability of results. Br Med J 1996; 312: 125.
33. DICKERSIN K, CHAN S, CHALMERS TC, SACKS HS, SMITH H JR. Publication bias and clinical trials. Control Clin Trials 1987; 8: 343353.
34. DUVAL S, TWEEDIE R. Practical estimates of the effect of publication bias in metaanalysis. Aust Epidemiol 1998; 5: 417.
35. DUVAL S, TWEEDIE R. Trim and fill: a simple funnel plot based method of adjusting for publication bias in metaanalysis. J Am Stat Assoc 2000, in press.
36. TUUNAINEN A, GILBODY S. Newer atypical antipsychotic medication versus clozapine for schizophrenia. In: The Cochrane Library Issue 3, Oxford: Update Software, 1998.
37. SCHULZ KF, CHALMERS I, HAYES RJ, ALTMAN DO. Empirical evidence of bias: dimensions of methodological quality associated with estimates of treatment effect in controlled trials. JAMA 1995; 273: 408412.
38. MOHER D, PHAM B, JONES A et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in metaanalyses? Lancet 1998; 352: 609613.
39. KJAERGARD LL, VILLUMSEN J, GLUUD C. Quality of randomised clinical trials affects estimates of intervention efficacy. Roma: VII Cochrane Colloqium, 1999: 57.
40. PETTICREW M, GILBODY S, SHELDON ТА. Relation between hostility and coronary heart disease. BMJ 1999; 319: 917918.
41. STERLING TD. Publication decisions and their possible effects on inferences drawn tests of significance or vice versa. Am Stat Assoc J 1959; 54: 3034.
42. STERLING TD, ROSENBAUM WL, WEINKAM JJ. Publication decisions revisited — the effect of the outcome of statistical tests on the decision to publish and viceversa. Am Stat 1995; 49: 108112.
43. CHALMERS I. Underreporting research is scientific misconduct. JAMA 1990; 263: 14051408.
44. SMITH R, ROBERTS I. An amnesty for unpublished trials: send us details on any unreported trials. Br Med J 1997; 315: 622.
45. ROBERTS I. Medical journal amnesty on trials. Cochrane News 1997; 10: 9.
46. SIMES RJ, STERN J, GHERSI D. The importance of prospectively registering trials: evidence of publication bias from a cohort study of research protocols. In: 3rd Annual Cochrane Colloquium Scientific Presentation and Posters. Oslo, Norway, 1995: 72.
47. ALTMAN DO. The scandal of poor medical research. Br Med J 1994; 308: 283284.
48. LEWIS G. Closing the gap between research and practice: new evidence is required. Br J Psychiatry 1997; 171: 227.

ПРИЛОЖЕНИЕ 1

Методология обзора и стратегия поиска

Эта статья основывается на результатах систематического методологического обзора систематической ошибки, в котором использовались англоязычные статьи, полученные после интенсивного литературного поиска в следующих базах данных (информацию о методах поиска можно получить у авторов): MEDLINE, EMBASE, PsychlNFO, Sociofile, Science Citation Index, MathSci, Cochrane Review Methodology Database, BIDS (поиск проводился в сентябре 1998 года). Отобранные статьи проходили двойную проверку двумя независимыми рецензентами для решения вопроса об их включении в обзор.

Данные извлекались независимо и использовались для того, чтобы создать общее представление обо всех возможных причинах, последствиях и методах выявления систематической ошибки.

Мы благодарны Kath Wright за выполнение литературного поиска. Всю информацию о примененных методах, включая термины для литературного поиска, формы извлечения данных, а также подробности обо всех найденных статьях и извлеченных из них сведений можно получить у авторов этой статьи.