DOI 10.24411/2312-2935-2019-10083

ВЫБОР МЕТОДА МАТЕМАТИКО-СТАТИСТИЧЕСКОГО ДОКАЗАТЕЛЬСТВА ЭФФЕКТИВНОСТИ ПЕПТИДНОГО ПРЕПАРАТА ЭПИФИЗА

С.Г. Григорьев¹, А.А. Корнеенков¹, И.Г. Попович²          

¹Военно-медицинская академия им. С.М. Кирова МО РФ, Санкт-Петербург

²Санкт-Петербургский институт биорегуляции и геронтологии, Санкт-Петербург

Экспериментальное или клиническое исследование можно считать завершенным только при использовании определенного метода или методов статистического анализа полученных данных. Причем подбор конкретного статистического метода определяется целью и задачами данного исследования, а также характером признаков, с помощью которых описывается исследуемый объект. Применение методов математической статистики, которые не являются корректными для конкретного исследования, может привести  к искажению значимости полученных результатов. В представленной статье приведена сравнительная оценка различных статистических методов для анализа результатов клинического исследования эффективности пептидного препарата эпифиза эпиталамина. Многолетние экспериментальные исследования эпиталамина свидетельствовали о его  способности не только увеличивать продолжительность жизни различных видов животных, но и тормозить спонтанный канцерогенез. Результаты этих исследований послужили основанием для клинического изучения эффективности эпиталамина для профилактики развития возрастной патологии у лиц пожилого возраста. В статье в сравнительном аспекте обсуждаются такие вопросы, как проблема множественных сравнений, использование поправки Бонферрони как метода для более точного оценки различий, применение коэффициента Байеса (Bayes factors). Рассмотрены спорные моменты о Р-значении или значении вероятности, которая используется для проверки гипотезы и насколько правомочно указывать значение p < 0,005, а не р < 0,05. Обсуждение Р-значения, как указано в статье, является важным, поскольку в клинических испытаниях значение вероятности применяется для определения, является ли полученный результат случайным.  Правила проведения клинических исследований предусматривают ряд условий, например: измерения первичных переменных, сделанные даже при потере испытуемого, являются ценными; последующий сбор данных особенно важен в исследованиях, где основной переменной является смертность или определенная заболеваемость. Для наибольшей доказательности результатов клинического исследования эффективности эпиталамина авторы применяли стандартный метод мета-анализа. Итогом проведенного анализа явилось заключение о статистической значимости ассоциации между введением пептидного препарата эпиталамин и выживанием пациентов (p<0,001).

Ключевые слова:статистические методы, мета-анализ, клиническое исследование, обзор, эпиталамин

CHOICE OF THE METHOD OF MATHEMATICAL AND STATISTICAL PROOF OF THE EFFICACY OF THE PINEAL PEPTIDE PREPARATION

S.G. Grigoriev¹, А.А. Korneyenkov ¹, I.G. Popovich ²

¹ S.M. Kirov Military Medical Academy, 6 Akademika Lebedeva street, 194044, St. Petersburg

²St. Petersburg Institute of Bioregulation and Gerontology, 3, Dynamo prospect, 197110, St. Petersburg

Any experimental or clinical study can be considered complete only when using a specific method or methods of statistical analysis of the data obtained. Moreover, selection of a specific statistical method is determined by the purpose and objectives of the study, as well as the nature of the characteristics used for the description of the studied object. The use of mathematical statistics methods which are not correct for a specific study may lead to a distortion of the significance of the results obtained. This paper provides a comparative assessment of various statistical methods for evaluation of the results obtained in a clinical study on the efficacy of the pineal peptide preparation Epithalamin. Long-term experimental studies of Epithalamin revealed its ability to not only increase the lifespan of various animal species, but also to inhibit spontaneous carcinogenesis. The results of these studies served as the basis for a clinical study on the effectiveness of Epithalamin for preventing the development of age-related pathology in the elderly. The article discusses in comparative aspects such issues as the problem of multiple comparisons, the use of the Bonferroni correction as a method for a more accurate estimation of differences, and the use of the Bayes factors. Controversial issues on the P-value or the probability value, which is used for hypothesis testing and the legitimacy of using the value p <0.005, and not p <0.05, were considered. The discussion on the P-value, as indicated in the article, is important due to the fact that in clinical trials the probability value is used to determine the randomness of the obtained result. The rules for conducting clinical trials have a number of conditions, for example: measurements of the primary variables are valuable, even in case of the loss of the subject; subsequent data collection is of great importance in studies where mortality or a certain incidence is the main variable. For a greater evidentiality of the results of the clinical study on the effectiveness of Epithalamin, the authors used the standard Meta-analysis method, which resulted in a conclusion on the statistical significance of the association between the administration of the peptide preparation Epithalamin and the survival of the patients (p <0.001).

Key words:methods of statistical analysis, meta-analysis, clinical study, review, Epithalamin

Введение. Известно, что статистические методы относятся к косвенным вероятностным способам проверки научных гипотез и в силу этого они не способны доказать выдвигаемые гипотезы, но могут их опровергнуть. Результаты решения статистических задач могут называться истинными только с определенной погрешностью, которая никогда не бывает равной нулю. В силу своей косвенности существует большое количество статистических методов для опровержения нулевой гипотезы и прихода к заключению о том, что связь между двумя событиями или феноменами существует.

Следует полагать, что чем чаще и дольше используется статистический метод, тем больше уверенности у экспертов в его эффективности и тем больше вероятность, что этот метод будет принят всем сообществом специалистов как стандартный для решения подобных задач. Например, к числу таких хорошо зарекомендовавших себя методов, с полным основанием можно отнести построение четырехпольных таблиц и на их основе расчет оценивающего показателя χ² Пирсона, оценку значимости различия относительных величин частоты или долей с помощью t-критерия Стьюдента [1], которые применяются уже более 100 лет.

Целью нашей работы явилась сравнительная оценка различных статистических методов для анализа результатов клинического исследования эффективности препарата эпифиза (эпиталамина).

Эпиталамин представляет собой комплекс пептидов, выделенных из эпифиза мозга животных. Введение эпиталамина старым животным привело к восстановлению у самок крыс эстрального цикла и функции репродуктивной системы [2], у самцов – к увеличению в крови содержания тестостерона. Эти результаты свидетельствовали о нормализующем влиянии препарата на репродуктивную функцию и принципиальной возможности восстановления угасшей функции эндокринных органов у старых животных [3]. При введении эпиталамина животным выявлено статистически значимое снижение частоты развития различных спонтанных и индуцированных химическими канцерогенами и радиационным воздействием опухолей по сравнению с контролем [3]. Изучение влияния этого препарата на продолжительность жизни у различных животных: крыс, мышей, а также у плодовых мух – дрозофил (D. melanogaster), показало наличие у эпиталамина выраженного геропротектороного эффекта [3]. Таким образом, эпиталамин, как свидетельствовали многочисленные исследования (1973-2017 гг.), показал объективный результат по увеличению  продолжительности жизни и снижению частоты развития опухолей у различных видов животных. Результаты этих исследований послужили основанием для клинического изучения эффективности эпиталамина для профилактики развития возрастной патологии у лиц пожилого возраста. В дальнейшем, как показали 15-летние клинические исследования, у пациентов пожилого возраста, получавших терапию при курсовом введении эпиталамина, наблюдалась стабилизация или улучшение ряда важных физиологических функций: нормализация уровня мелатонина и ряда гормонов в крови, повышение физической работоспособности, снижение частоты респираторных заболеваний,  улучшение функций мозга и др. [4,5,6].

В одной из недавних публикаций [7] был представлен «гармонизированный статистический анализ» результатов, полученных в клинических исследованиях по эффективности эпиталамина [8, 9]. Автор, Хромов-Борисов Н.Н., свел разнородные исходные данные в одну таблицу и провел анализ (табл. 1).

Таблица 1

Первичные данные и результаты «гармонизированного статистического анализа» [7]

На основе приведенных данных автор [7] утверждает, что в анализируемых работах была проигнорирована проблема множественных сравнений и не использовалась поправка Бонферрони для более точной оценки различий. Однако, как следует из работ [8, 10] задача множественных сравнений перед авторами не стояла. В этих статьях приводились данные по различным обособленным исследованиям. Сформулированная авторами нулевая гипотеза предполагала, что различия показателей частоты выживания пациентов контрольной и изучаемой подгрупп в каждой из четырех независимых исследуемых групп статистически не значимы. Следовательно, альтернативная гипотеза предполагала статистическую значимость этих различий. В результате статистически значимыми различия оказались в трех группах за исключением второй.

Ссылаясь на статью Benjamin D.J. et al. (2017) [11], Хромов-Борисов Н.Н. принимает позицию этих авторов, «…что в настоящее время настоятельно рекомендуется ориентироваться на значение p < 0,005 (а не 0,05)». Но, во-первых, рекомендации, сформулированные этими авторами [11], пока не приняты научным сообществом. Во-вторых, в зарубежной литературе часто рекомендуется приводить не P > или P <, а P =  и такой подход оставляет читателю возможность самому судить о доказательности приведенного вывода.

Далее краткий обзор в работе [7] основан на Байесовой модели сравнения как альтернативы классической концепции проверки статистических гипотез. В международных медицинских ресурсах можно найти статьи, посвященные практике использования коэффициента (фактора) Байеса (Bayes factors) или, как автор называет, Бейзова фактора [12]. Тем не менее использование коэффициента Байеса пока так и не получило широкого распространения в медицинских исследованиях клинических эффектов.

Поскольку в клинических исследованиях наиболее часто используются подходы к разработке и анализу данных, основанные на частотных статистических методах, руководства в этой области (например, NOTE FOR GUIDANCE ON STATISTICAL PRINCIPLES FOR CLINICAL TRIALS, 1993) [13] в подавляющем большинстве случаев ссылаются на использование именно этих методов. При этом в них оговаривается, что использование байесовских и других подходов также может рассматриваться, если обоснована их целесообразность.

Хромов-Борисов Н.Н прав, что в числе современных оценочных критериев, наряду с уровнем значимости нулевой гипотезы, следует приводить статистическую мощность исследования (1–β). Статистическая мощность исследования – вероятность отклонения основной (или нулевой) гипотезы в случае, когда альтернативная гипотеза верна. Другими словами, это вероятность, с которой искомый эффект (например, различия показателей) будет обнаружен, при условии, что он вообще есть. Принято, что статистическая мощность серьезных клинических исследований не должна быть меньше 0,8 (80%). Статистическая мощность исследования используется в основном в двух случаях: либо на основе ее заранее заданного значения (т.е. >80%) определяется необходимая численность выборки еще до проведения исследования, либо она рассчитывается и оценивается после исследования. В данном случае этот показатель Хромов-Борисов Н.Н. использует для того, чтобы определить численность выборки, обеспечивающую доказательность (из табл. 1, необходимый объем выборки = 208; 1550; 238 и 95 пациентов) уже после полученных результатов проведенных исследований. Т.е., это численность выборки будущих исследований, которые нет необходимости проводить, так как эффект в этих исследованиях уже обнаружен (отклонена основная гипотеза и принята альтернативная).

Таблица 2

Результаты мета-анализа исследований: отношение шансов (Odds Ratio)

n- количество живых пациентов, N – всего в группе

В настоящее время проверка эффективности и безопасности методик диагностики, профилактики и лечения в клинических исследованиях проводится на основе концепции доказательной медицины (EBM – Evidence Based Medicine). В большинстве стран, в том числе в Российской Федерации, стали общепризнанными разработанные на основе этой концепции правила проведения клинических исследований, изложенные в стандарте GCP (good clinical practice), руководствах [13, 14], а также правила производства лекарственных средств (стандарт GMP) и выполнения лабораторных исследований (стандарт GLP). Отметим, что в правилах по проведению клинических исследований [13] есть одно важное замечание, измерения первичных переменных, сделанные даже при потере испытуемого, являются ценными; последующий сбор данных особенно важен в исследованиях, где основной переменной является смертность или определенная заболеваемость.

Согласно концепции EBM наибольшей доказательностью обладают результаты, полученные в ходе мета-анализа рандомизированных контролируемых клинических испытаний исследуемого клинического воздействия. Используя стандартный метод мета-анализа [15], мы вычислили обобщенный эффект (с использованием моделей случайных «random» и фиксированных «fixed» эффектов) применения эпиталамина по данным из таблицы, собранной и представленной в публикации Хромова-Борисова Н.Н. В качестве меры эффекта при клиническом изучении препарата был выбран показатель отношения шансов – универсальный показатель применяемый, как для ретроспективных, так и проспективных клинических исследований.  Таким образом, основываясь на данных, суммированных в таблицах 2 и 3, мы представили результаты в виде эффектной диаграммы forest plot (рис. 1).

Таблица 3

Результаты теста на гетерогенность

На основе представленных выше таблиц 2 и 3 можно сделать следующие выводы:

1. Имеется статистически значимая ассоциация между введением эпиталамина и выживанием пациентов (p<0,001).
2. Обобщающий эффект в виде отношения шансов (OR) показывает, что шанс выжить при введении эпиталамина в 2,9 раза выше (как в модели со случайными, так и с фиксированными эффектами), чем без его использования.
3. Исследования, включённые в мета-анализ, показали низкую гетерогенность (неоднородность) по показателю I² (inconsistency) – 0,00%).

Рисунок. Оценка клинической эффективности эпиталамина

  Таким образом, представленные расчеты по мета-анализу (рис.) показали, что эпиталамин является эффективным препаратом для улучшения качества жизни пациентов пожилого возраста и снижения их смертности.

Для обобщения результатов отдельных исследований клинических воздействий применение методов систематического обзора и мета-анализа в настоящее время считается общепризнанным среди медицинских специалистов и статистиков. В силу этого они могут быть рекомендованными для уточнения результатов клинических исследований, в которых по ряду причин размер выборки мал, а организация широко-масшабного исследования с включением большого числа участников на практике очень сложна.

 Список литературы

1. Григорьев С.Г. Евдокимов В.И. Доказательная медицина: методология и состояние проблемы. Медико-биологические и социально-психологические проблемы безопасности в чрезвычайных ситуациях. 2008; 3: 59-69.
2. Dilman V.M., Anisimov V.N., Ostroumova M.N. et al. Increase in lifespan of rats following  polypeptide pineal extract treatment. Exp. Pathol. 1979; 17(9): 539-545.
3. Khavinson V., Popovich I. Short Peptides Regulate Gene Expression, Protein Synthesis and Enhance Life Span. In:  Vaiserman A.M., ed. Anti-aging Drugs: From Basic Research to Clinical Practice. RSC Drug Discovery Series No. 57; 2017: 496-513.
4. Коркушко О.В., Хавинсон ВХ., Бутенко Г.М., Шатило В.Б. Пептидные препараты тимуса и эпифиза в профилактике ускоренного старения. СПб.: Наука; 2002.
5. Коркушко О.В., Хавинсон ВХ., Шатило В.Б. Пинеальная железа: пути коррекции при старении. СПб.: Наука; 2006.
6. Хавинсон В.Х., Анисимов В.Н. 35-летний опыт исследований пептидной регуляции старения. Успехи геронтол. 2009; 22(1): 11-23.
7. Хромов–Борисов Н.Н. Гармонизированный статистический анализ влияния геропротекторных пептидов на продолжительность жизни у человека. Сб.  мат. IV Российского конгресса с международным участием «Молекулярные основы клинической медицины – возможное и реальное» 29 ноября – 2 декабря 2017 г. Санкт-Петербург, Россия.  С. 74-76.
8. Коркушко О.В., Хавинсон В.Х., Шатило В.Б., Антонюк-Щеглова И.А. Пептидный геропротектор из эпифиза замедляет ускоренное старение пожилых людей: результаты 15-летнего наблюдения.  Бюлл. экспер. биол. мед. 2011; 151(3): 343-347. DOI:10.1007/s10517-011-1332-x
9. Anisimov V.N., Khavinson V.K. Peptide bioregulation of aging: results and prospects.  Biogerontol. 2010; 11(2): 139-149. DOI 10.1007/s10522-009-9249-8
10. Khavinson V.K., Morozov V.G. Peptides of pineal gland and thymus prolong human life.  Neuroendocrinol Lett. 2003; 24(3/4): 233-240.
11. Benjamin D.J., Berger J., Johannesson M. etal.  Redefine statistical significance. Nature Human Behaviour, published online: 01 September 2017. DOI: 10.1038/s41562-017-0189-z
12. Хромов-Борисов Н.Н.  Бейзовский анализ качества диагностических тестов.  Превентивная медицина сегодня. 2014;  http://prev-med.ru/zhurnal.aspx 
13. Note for guidance on statistical principles for clinical trials (CPMP/ICH/363/96). WHO Technical Report Series, No. 850, Annex 3 - 1993.
14. ГОСТ Р 52379-2005 «Надлежащая клиническая практика», «Правила проведения качественных клинических испытаний в Российской Федерации» ОСТ 42-511-99, 2005.
15. Корнеенков А.А. Визуализация результатов мета-анализа клинических исследований.  Рос. оторинолар. 2019; 18(1): 10-17.

References

1. Grigoriev S.G., Evdokimov V.I. Dokazantlnaya medisina: metodologiaya i sostoayanie problem [Evidence-based medicine: methodology and state of the problem].  Medico-biologicheskie I socialno-psichologicheskie problem bezopasnosti v chrezvichaynich situaciaych [ Biomedical and socio-psychological safety problems in emergency situations]. 2008; 3: 59-69. (In Russian).
2. Dilman V.M., Anisimov V.N., Ostroumova M.N. et al. Increase in lifespan of rats following  polypeptide pineal extract treatment. Exp. Pathol. 1979; 17(9): 539-545.
3. Khavinson V., Popovich I. Short Peptides Regulate Gene Expression, Protein Synthesis and Enhance Life Span. In:  Vaiserman A.M., ed. Anti-aging Drugs: From Basic Research to Clinical Practice. RSC Drug Discovery Series No. 57; 2017: 496-513.
4. Korkushko O.V., Khavinson V.Kh., Butenko G.M., Shatilo V.B. Peptidnyye preparaty timusa i epifiza v profilaktike uskorennogo stareniya [Peptide preparations of thymus and pineal gland in prevention of accelerated aging]. SPb.: Nauka [St.Petersburg: Nauka]. 2002. (In Russian).
5. Korkushko O.V., Khavinson V.Kh., Shatilo V.B. Pineal'naya zheleza: puti korrektsii pri starenii [Pineal gland: ways for correction in aging]. SPb.: Nauka [St.Petersburg:  Nauka]. 2006. (In Russian).
6. Khavinson V.Kh., Anisinov V.N. 35-letniy opit issledovaniy peptidnoy regulayzhii starenia [35-year experience in study of peptide regulation of aging]. Uspechi gerontol [Adv. gerontol.]2009; 22(1): 11–23. (In Russian).
7. Khromov–Borisov N.N. Garmonizirovannyy statisticheskiy analiz vliyaniya geroprotektornykh peptidov na prodolzhitel'nost' zhizni u cheloveka. Sb. mat. IV Rossiyskogo kongressa s mezhdunarodnym uchastiyem «Molekulyarnyye osnovy klinicheskoy meditsiny – vozmozhnoye i real'noye» [Harmonized statistical analysis of the effect of geroprotective peptides on human lifespan. Sat mat. IV Russian Congress with international participation "The molecular basis of clinical medicine - possible and real"] 29 noyabrya – 2 dekabrya 2017 g. Sankt-Peterburg, Rossiya. S. 74-76.[November 29 - December 2, 2017 St. Petersburg, Russia. p. 74-76]. (In Russian).
8. Korkushko O.V., Khavinson V.Kh., Shatilo V.B., Antonyk-Sheglova I.A. Peptidniy  geroprotektor iz epifizha zhamedlayet uskorennoe starenie pozhilich ludei: resultati 15-letnego nabludeniya  [Peptide geroprotector from the pituitary gland inhibits rapid aging of elderly people: results of 15-year follow-up]. Bull .eksper. biol. med [Bull Exp Biol Med.]. 2011;151(3):366-9. (In Russian). DOI:10.1007/s10517-011-1332-x
9. Anisimov V.N., Khavinson V.K. Peptide bioregulation of aging: results and prospects.  Biogerontol. 2010; 11(2): 139-149. DOI 10.1007/s10522-009-9249-8
10. Khavinson V.K., Morozov V.G. Peptides of pineal gland and thymus prolong human life.  Neuroendocrinol Lett. 2003; 24(3/4): 233-240.
11. Benjamin D.J., Berger J., Johannesson M. etal.  Redefine statistical significance. Nature Human Behaviour, published online: 01 September 2017. DOI: 10.1038/s41562-017-0189-z
12. Khromov-Borisov N.N. Beyzovskiy analiz kachestva diagnosticheskikh testov [Baze's analysis of the quality of diagnostic tests]. Preventivnaya meditsina segodnya [Preventive medicine today]. 2014. http://prev-med.ru/zhurnal.aspx  (In Russian).
13. Note for guidance on statistical principles for clinical trials (CPMP/ICH/363/96). WHO Technical Report Series, No. 850, Annex 3 - 1993.
14. GOST R 52379-2005 «Nadlezhashchaya klinicheskaya praktika», «Pravila provedeniya kachestvennykh klinicheskikh ispytaniy v Rossiyskoy Federatsii» OST 42-511-99. [GOST R 52379-2005 “Good Clinical Practice”, “Rules for conducting high-quality clinical trials in the Russian Federation” OST 42-511-99]. 2005. (In Russian).
15. Korneyenkov A.A. Vizualisacia rezultatov meta-analisa klinicheskich issledovaniy [Visualization of the results of a meta-analysis of clinical trials]. Ros. Otorinolar  [Ros. otorinolaringologiya] 2019; 18(1): 10-17. (In Russian).

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Acknowledgments. The study did not have sponsorship.

Conflict of interests. The authors declare no conflict of interest.

Сведения об авторах

Григорьев Степан Григорьевич - доктор медицинских наук, профессор, профессор кафедры автоматизации управления медицинской службой с военно-медицинской статистикой Военно-медицинской академии им. С.М. Кирова Министерства обороны Российской Федерации, 194044, Санкт-Петербург, ул. Академика Лебедева, 6; e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID 0000-0003-1095-1216, SPIN-код: 2391-4846

Корнeенков Алексей Александрович  – доктор медицинских наук, профессор, профессор кафедры автоматизации управления медицинской службой с военно-медицинской статистикой  Военно-медицинской академии им. С.М. Кирова Министерства обороны Российской Федерации, 194044, Санкт-Петербург, ул. Академика Лебедева, 6; e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID 0000-0001-5870-8042, SPIN-код: 2396-1530

Попович Ирина Григорьевна – доктор биологических наук, зав. лабораторией фармакологии пептидов Санкт-Петербургского института биорегуляции и геронтологии, Россия, 197110, Санкт-Петербург, ул. Динамо, 3; e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.,  ORCID: 0000-0002-9937-025X,  SPIN-код: 2061-7558

About the authors

Grigoriev Stepan G.  - MD, Professor of the Department of Medical Service Menagement Automation with Military medical statistics of the Military Medical Academy S.M. Kirov, 6, Academika Lebedeva street, 194044, St. Petersburg, Russian Federation, e-mail:  Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID 0000-0003-1095-1216, SPIN-код: 2391-4846

Korneyenkov Aleksey A. – MD, Professor of the Department of Medical Service Menagement Automation with Military medical statistics of the Military Medical Academy S.M. Kirov, 6, Academika Lebedeva street, 194044, St. Petersburg, Russian Federation,

e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.,  ORCID 0000-0001-5870-8042, SPIN-код: 2396-1530

Popovich Irina G.  – Ph.D, Head of the laboratory of Peptide Pharmacology, St. Petersburg Institute of Bioregulation and Gerontology, 3, Dynamo prospect, 197110, St. Petersburg, Russian Federation, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0002-9937-025X, SPIN code: 2061-7558

Статья получена: 23.06.2019 г.

Принята в печать: 10.12.2019 г.