DOI 10.24412/2312-2935-2023-2-701-718

СОВЕРШЕНСТВОВАНИЕ ДЕЙСТВУЮЩЕЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ В МЕДИЦИНСКИХ ОРГАНИЗАЦИЯХ, ОКАЗЫВАЮЩИХ ПОМОЩЬ БОЛЬНЫМ С СОЦИАЛЬНО-ЗНАЧИМЫМИ ИНФЕКЦИОННЫМИ ЗАБОЛЕВАНИЯМИ: ОПРЕДЕЛЕНИЕ ПРОБЛЕМ И ВЫБОР УПРАВЛЕНЧЕСКих РЕШЕНИй

И.Б. Куликова¹, Л.Е. Паролина², В.В. Тестов², С.А. Стерликов³, И.А. Васильева²

¹Министерство здравоохранения Российской Федерации, Москва, Россия

²ФГБУ «Национальный медицинский исследовательский центр фтизиопульмонологии и инфекционных заболеваний» Министерства здравоохранения Российской Федерации, Москва, Россия

³ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Министерства здравоохранения Российской Федерации, Москва, Россия

Введение. Реформирование здравоохранения в России сопровождается внедрением информационных систем (ИС), нуждающихся в постоянном совершенствовании для обеспечения нужд заказчика.

Цель: оценка мнений экспертов в процессе выбора управленческих решений для совершенствования действующей информационной системы в медицинских организациях, оказывающих помощь больным с социально-значимыми инфекционными заболеваниями.

Материалы и методы. В период с 15.11.2021г. по 15.12.2021 г на базе ряда МО г. Челябинска и Челябинской области, оказывающих помощь больным социально-значимыми инфекционными заболеваниями, проведено социологическое исследование по методу Дельфи для определения основных проблем в функционировании ИС, решение которых послужит совершенствованию принятия оперативных управленческих решений по всем направлениям деятельности МО. Для проведения опроса сформировали группу экспертов из числа наиболее опытных специалистов инфекционной и фтизиатрической служб, итоговые оценки которых были согласованы (коэффициент конкордантности 0,87) и достоверны (компетентность экспертной группы 78%).

Результаты. Основными проблемами, требующими решения в ходе оптимизации действующей ИС, явились: обеспечение технической поддержки и функционирования ИС; недостаточная интеграция действующей ИС с другими ИС, параллельно функционирующими в организации, ИС медицинской службы учреждений ФСИН и подсистемами ИС Минздрава России; организация обучения персонала работе с ИС и обеспечение согласованности действий сотрудников отделов IT-технологий и пользователей, необходимость совершенствования нормативной базы МО в сфере функционирования ИС.

Заключение. Социологическое исследование для совершенствования действующих информационных систем в МО, оказывающих помощь больным социально-значимыми инфекционными заболеваниями по методу Дельфи позволило выделить ряд проблем, требующих разработки и принятия управленческих решений. Решение этих проблем требуют значительных затрат для замены старой компьютерной техники, приобретения современного программного обеспечения, внедрения практики непрерывного обучения персонала медицинских организаций.

Ключевые слова: медицинская информационная система, метод Дельфи, управленческое решение

IMPROVING THE CURRENT INFORMATION SYSTEM IN MEDICAL FACILITIES PROVIDING ASSISTANCE TO PATIENTS WITH SOCIALLY SIGNIFICANT INFECTIOUS DISEASES: IDENTIFYING PROBLEMS AND SELECTING MANAGEMENT SOLUTIONS

I.B. Kulikova¹, L.E. Parolina², V.V. Testov², S.A. Sterlikov³, I.A. Vasilyeva²

¹Ministry of Health of the Russian Federation, Moscow, Russia

²National Medical Research Center for Phthisiopulmonology and Infectious Diseases, Moscow, Russia

³Russian Research Institute of Health, Moscow, Russia

Introduction. Reforming health care in Russia is accompanied by the introduction of information systems (IS) that need constant improvement to meet the needs of the customer.

Purpose: to evaluate the opinions of experts in the process of choosing management decisions to improve the current information system in medical organizations, providing care to patients with socially significant infectious diseases.

Methods. From November 15, 2021 until December 15, 2021, on the basis of a medical organizations (MO) of Chelyabinsk region, providing assistance to patients with socially significant infectious diseases, a sociological study was conducted using the Delphi method to identify the main problems in the functioning of IS that need to be addressed to ensure prompt management decisions in all areas MO activities. To conduct the survey, a group of experts was formed from among the most experienced specialists in the infectious and TB services, the final assessments of which were consistent (concordance coefficient 0.87) and reliable (competence of the expert group 78%).

Results. The main problems that needed to be addressed in the course of optimizing the existing IS were: providing technical support and functioning of the IS; insufficient integration of the current IS with other IS that operate in parallel, IS of the medical service of the Federal Penitentiary Service and IS subsystems the Ministry of Healthcare of Russia; organization personnel training and ensuring the coordination of actions IT- departments and users, the need to improve the regulatory framework of the МО in the field of IS functioning.

Conclusion. A sociological study to improve the existing information systems in the МО, providing assistance to patients with socially significant infectious diseases using the Delphi method, made it possible to identify a number of problems that require the development and adoption of managerial decisions. The solution of these problems requires significant costs for the replacement of old computer equipment, the acquisition of modern software, the introduction of the practice of continuous training of personnel of medical organizations.

Keywords: medical information system, Delphi method, management decision

Введение. Реформирование здравоохранения в России, целью которого является, прежде всего, повышение качества оказываемой медицинскими организациями помощи, сопровождается внедрением медицинских информационных систем (МИС), обеспечивающих быстроту и эффективность принятия управленческих решений по всем направлениям деятельности медицинских организаций [1]. Как показывает практика, на начальном этапе внедрения информационная система медицинской организации (МО) функционирует по общим принципам, не учитывая особенностей деятельности конкретного лечебно-профилактического учреждения (ЛПУ) и нуждается в постоянном совершенствовании. Рутинная практика деятельности МО сопровождается непрерывным процессом разработки и принятия управленческих решений, часть которых является запрограммированными, плановыми, принимаются руководителем индивидуально, другая часть – незапрограммированные (недетерминированные), требуют объединенных усилий рабочих групп руководителей, поскольку принимаются коллегиально [1, 2]. Для разработки и принятия такого вида решений в современных условиях принято использовать групповые методы принятия решений, одним из которых является метод Дельфи (дельфийский метод). Поскольку меняющаяся ситуация в которой МО осуществляет свою деятельность (как показала пандемия новой коронавирусной инфекции COVID-19, подчас – быстро меняющаяся) требует от руководителя МО оперативности ее оценки и разработки незапрограммированных решений, для обеспечения последнего необходима хорошо функционирующая МИС, обеспечивающая скорость получения и передачи необходимых для формулирования проблем сведений, нуждающаяся, в свою очередь, в постоянном обновлении и оптимизации [2, 3].

Цель исследования: оценка мнений экспертов в процессе выбора управленческих решений для совершенствования действующей информационной системы в медицинских организациях, оказывающих помощь больным с социально-значимыми инфекционными заболеваниями.

Материал и методы. Исследование проводили в период с 15.11.2021г. по 15.12.2021 г на базе медицинских организаций г. Челябинска и Челябинской области (ГАУЗ «ОКБ №3», ГБУЗ «ОЦПБСИЗ», ГАУЗ «Городская клиническая больница №2», ГБУЗ «Челябинский областной клинический противотуберкулезный диспансер», ГБУЗ «Областной противотуберкулезный диспансер №8», ГБУЗ «Областная туберкулезная больница №1», ГБУЗ «Областная туберкулезная больница №3»).

С 2013 года в МО Челябинской области, в том числе оказывающих помощь больным с социально значимыми инфекционными заболеваниями (туберкулез, ВИЧ-инфекция, вирусные гепатиты), началось поэтапное внедрение региональной медицинской информационной системы «Барс» (разработка российской компании «БАРС ГРУП» для различных сфер деятельности – здравоохранения, образования, жилищно-коммунального хозяйства и многих других). В настоящее время в региональной МИС работают все медицинские организации Челябинской области, участвующие в Территориальной программе обязательного медицинского страхования. На территории Челябинской области развернута инфраструктура регионального сегмента Единой государственной информационной системы здравоохранения (ЕГИСЗ), которая охватывает всю территорию Челябинской области. Положение о Региональной информационно-аналитической медицинской системе Челябинской области утверждено приказом Министерства здравоохранения Челябинской области от 06.10.2017 № 1845.

В настоящее время все функциональные блоки медицинской информационной системы Челябинской области находятся в эксплуатации:

-подсистема «Электронная медицинская карта»;

-подсистема «Интеграция с ТФОМС»;

-подсистема «Запись на прием к врачу»;

-подсистема бухгалтерского учета;

-подсистема кадрового учета и заработной платы;

-подсистема льготного лекарственного обеспечения;

-подсистема архивирования медицинских изображений;

-подсистема автоматизации лаборатории;

-подсистема учета питания;

-подсистема «Регистр медицинских работников»;

-подсистема диспетчеризации санитарного транспорта.

Параллельно с МИС «Барс-Здравоохранение», в МО Челябинской области функционируют и другие МИС – лабораторная информационная система (ЛИС) «1С Лаборатория» (не интегрирована с МИС «Барс-Здравоохранение», передача информации осуществляется путем ее копирования в 1С и переноса в электронную медицинскую карту пациента), «РАСS КОМЕТА» (архивирование, передача изображений при лучевой диагностике, не включает архивирование и возможность передачи результатов флюорографического обследования), ЕГИСЗ.

Предметом исследования был процесс выбора управленческих решений, обеспечивающих совершенствование МИС в медицинских организациях Челябинской области. Основные проблемы, требующие разработки управленческих решений и пути их устранения формулировали, используя метод Дельфи (DELPHI). Метод Дельфи объединяет группу методов, связанных общими требованиями к форме получения экспертных оценок и порядку проведения экспертизы. Процедура проведения экспертизы по методу Дельфи осуществляется в несколько этапов (туров) и предполагает наличие обратной связи. Отличительной особенностью метода Дельфи является уменьшение от тура к туру разброса оценок экспертов, ведущее к повышению согласованности экспертной группы при последующей итерации [3, 4, 5, 6].

Процедура проведения экспертизы включала: подготовительный этап, во время которого, в ходе визита кураторов-специалистов ФГБУ НМИЦ ФПИ Минздрава России совместно с руководителями и сотрудниками организационно-методических отделов медицинских организаций, оказывающих помощь пациентам с социально-значимыми инфекционными заболеваниями (ГАУЗ «ОКБ №3», ГБУЗ «ОЦПБСИЗ», ГБУЗ «Челябинский областной клинический противотуберкулезный диспансер») был определен перечень проблем, требующих решения в процессе совершенствования информационной системы, функционирующей в перечисленных учреждениях, сформирована экспертная группа, составлен первичный перечень вопросов (критериев) для обсуждения с экспертами. На втором этапе, в результате двух туров опроса экспертов и анализа полученных оценок, был сформирован согласованный с экспертами итоговый перечень критериев. На третьем этапе (третий тур опроса) эксперты оценивали представленные в итоговом перечне критерии, ранжируя их по степени значимости от 1 до 10, после чего проведен анализ полученных результатов опроса и сформулированы итоговые выводы.

            В состав экспертной группы вошли 15 специалистов: 2 врача-инфекциониста, заведующий стационарным отделением, заместитель главного врача по лечебной части, руководитель организационно-методического отдела медицинской организации, оказывающей помощь по профилю «инфекционные болезни», два врача-фтизиатра, заведующий стационарным отделением, заместитель главного врача по лечебной части, руководитель организационно-методического отдела медицинской организации, оказывающей помощь по профилю «фтизиатрия», научный сотрудник ФГБУ НМИЦ ФПИ Минздрава России, два сотрудника из числа профессорско-преподавательского состава кафедр фтизиатрии и инфекционных болезней, главный внештатный специалист-инфекционист и главный внештатный специалист-фтизиатр Министерства здравоохранения Челябинской области.

            Критериями отбора экспертов являлись: клинический опыт оказания помощи больным с социально-значимыми инфекционными заболеваниями (туберкулез, ВИЧ-инфекция, вирусные гепатиты); опыт управления специализированной МО, оказывающей помощь по профилю «инфекционные болезни», «фтизиатрия»; участие в научных исследованиях по вопросам организации медицинской помощи по указанному профилю; опыт в формировании нормативно правовых актов по вопросам организации медицинской помощи больным с социально-значимыми инфекционными заболеваниями; опыт обучения студентов и врачей по специальностям «инфекционные болезни», «фтизиатрия»; опыт работы со сложными случаями заболевания ВИЧ-инфекцией, вирусными гепатитами, туберкулезом (туберкулез с множественной и широкой лекарственной устойчивостью возбудителя, ВИЧ-ассоциированный туберкулез, в том числе, в сочетании с вирусными гепатитами). Оценка компетентности экспертов определялась суммой баллов (0-5 баллов по каждому из критериев) по всем критериям отдельно для каждого эксперта. Средняя величина показателя компетентности экспертной группы (отношение суммы баллов по всем критериям для каждого эксперта к максимально возможному количеству баллов, исчисленное в процентах) составила 78%, что было достаточным для обеспечения достоверности полученных в ходе исследования оценок [6, 7].

Далее рассчитывали средневзвешенную величину оценки по каждому критерию, для чего суммировали индивидуальные величины оценок каждого эксперта с весами компетентности [6, 7]. Вес компетентности был равен коэффициенту компетентности эксперта, рассчитанному по формуле [6, 7], основанной на гипотезе, что эта величина оценивается по степени согласованности оценок экспертов с групповой оценкой объектов [6, 7]. Величина показателя согласованности экспертов определялась с помощью коэффициента конкордации [7, 8]. Значение коэффициента конкордации измеряется в диапазоне от 0 до 1, где 0 – полное отсутствие согласованности, 1 – полная согласованность. При величине коэффициента конкордации меньше 0,75 следует говорить о недостаточной согласованности экспертной группы и отсутствии возможности дать достоверные выводы [8].

            Расчёты и статистический анализ результатов исследования проводили, используя пакеты программ Microsoft Excel 10.0 и STATISTICA 12.0. Вычисляли показатели описательной статистики – среднее арифметическое (M), стандартную ошибку среднего (m), стандартное отклонение (σ), медиану (Me), моду (Mo), квартили, децили, 95% доверительный интервал [9, 10].

            Результаты. Результаты экспертной оценки критериев функционирования информационных систем, действующих в медицинских организациях Челябинской области, оказывающих пациентам с социально-значимыми инфекционными заболеваниями, отражены в таблице 1.

Таблица 1

Результаты экспертной оценки функционирования информационных систем медицинских организаций Челябинской области, включенных в исследование

Нами были рассчитаны средние величины (Ме) оценок экспертов по каждому из критериев (таблица 1). Считается, что медианные значения оценок не позволяют судить о том, значимость каких из перечисленных критериев выше остальных, поэтому нами была использована групповая взвешенная экспертная оценка (сумма величин индивидуальных оценок по критериям с весами компетентности оценки, равным значениям коэффициента компетентности экспертов) [6, 7, 8].

Величины коэффициентов компетентности экспертов, рассчитанные по соответствующей формуле [6, 7, 8], представлены в таблице 2.

Таблица 2

Величина коэффициентов компетентности экспертов

            Среднее значение (Ме [95% доверительный интервал]) коэффициента компетентности экспертной группы составило 0,091 [0,09-0,092]. Средневзвешенные оценки экспертной группы по каждому из критериев, расположенные по убыванию, представлены в таблице 3.

Как следует из данных таблицы 3, значения средневзвешенных групповых экспертных оценок по отдельным критериям не совпадали по величине, что позволило ранжировать критерии по убыванию значимости критериев, отражающих проблемы, возникающие при эксплуатации МИС в медицинских организациях, оказывающих помощь больным социально-значимыми инфекционными заболеваниями. Значение рассчитанного коэффициента конкордации составило 0,87, что позволило отметить достаточную согласованность мнений экспертной группы и свидетельствовало о достоверности оценок экспертов процесса функционирования отдельных подсистем МИС, действующих в медицинских организациях Челябинской области.

Таблица 3

Средневзвешенные величины оценок экспертной группы по каждому критерию

            Результаты проведенных в ходе исследования расчетов позволили выделить ряд проблем, требующих принятия управленческих решений для совершенствования действующих в медицинских организациях МИС и улучшения их функционирования, а также возможные пути их решения:

 1. обеспечение технической поддержки и функционирования МИС:

- в связи с возрастающей нагрузкой по ведению электронного документооборота периодически возникает сбой в работе системы, что требует постоянного обновления платформы;

- в медицинских организациях Челябинской области отмечается низкая производительность сетей, либо ее отсутствие, в связи с окончанием контракта (используются внешние модемы сотовых операторов), что приводит к снижению производительности системы;

- у ряда медицинских работников существует возможность коррекции уже введенных данных без контроля;

- в медицинских организациях Челябинской области используется устаревшее либо маломощное компьютерное оборудование, в том числе специализированное (сервер), по техническим характеристикам не позволяющее в полной мере использовать имеющиеся информационные системы. Решение этой проблемы требует замены устаревшей компьютерной техники и программного обеспечения, регулярного обновления программного обеспечения с предварительным оповещением пользователей, пересмотра порядка предоставления доступа к определенному объему информации о пациенте в зависимости от выполняемой роли в штате МО;

2. недостаточная интеграция действующей МИС «Барс-Здравоохранение» с параллельно функционирующими в МО МИС (ЛИС «1С Лаборатория», «РАСS КОМЕТА», ЕГИСЗ);

- интеграция лабораторной и медицинской информационных систем в области проведена. Однако, результаты отдельных видов микробиологических исследований в МИС «Барс-Здравоохранение» не отображаются. Главной причиной этого является то, что интеграция между ЛИС и МИС выполнена на старой платформе, в связи с чем их доработка не представляется возможной;

- в медицинских организациях Челябинской области медицинские работники заполняют данные в 4-х МИС (ЛИС «1С Лаборатория», «РАСS КОМЕТА», ЕГИСЗ), что приводит к необходимости дублировать вносимые сведения, удлиняет время ввода и получения информации за счет выхода из одной и последующего входа в другую систему;

- менее 10% медицинских организаций не подключены к «РАСS КОМЕТА» преимущественно негосударственного сектора, что затрудняет передачу и оценку предшествующего обследования;

- не все флюорографические установки МО области подключены к единой базе данных лучевых изображений, что задерживает просмотр флюорограмм и их оценку при недостаточном количестве рентгенологов сельских районах на несколько недель;

- отсутствует интеграция с МИС медицинской службы учреждений ФСИН, других медицинских организаций, ограничен доступ к целому ряду подсистем информационных систем Министерства Здравоохранения Российской Федерации (в частности, к программному обеспечению аналитической деятельности). Для решения этих проблем следует - осуществить интеграцию МИС «Барс-Здравоохранение» со сторонними ЛИС, используя пакеты программ (шины), позволяющие реализовать выгрузки всех проводимых лабораторных исследований в регионе (например, Netrica);

- продолжить дальнейшие мероприятия по интеграции имеющихся информационных систем МО в Челябинской области с МИС медицинской службы учреждений ФСИН, других МО, подсистемами МЗРФ, обеспечивающими аналитическую деятельность;

- расширить базу данных лучевого обследования за счет дополнительных медицинских организаций, выполняющих рентгенологическое обследование и цифровых флюорографов.

3. организация обучения персонала МО работе с МИС и обеспечение согласованности действий сотрудников отделов IT-технологий и пользователей МИС;

- у определенной категории медицинских работников (чаще пенсионного возраста) отмечается неуверенное использование компьютерной техники и ориентация в интерфейсе МИС;

- отсутствие согласованности действий сотрудников отделов IT-технологий и пользователей МИС при обновлении программного обеспечения, что создает сложности в освоении обновленной версии или ведет к потере уже введенных данных. Для преодоления трудностей в данной сфере следует организовать без отрыва от работы обучение сотрудников МО работе на компьютере, эксплуатации МИС, при каждом обновлении программного обеспечения – сотрудникам отделов IT-технологии организовывать семинары и мастер-классы по совершенствованию навыков работы с изменившимся интерфейсом МИС;

4. необходимость совершенствования нормативной базы МО в сфере функционирования информационных систем:

- в ряде МО нормативная база не включает процедуру доступа к персональной медицинской информации разного уровня, проведению телемедицинских консультаций, что ведет к тому, что у ряда уровней доступа (регистратор), существует возможность получения сведений о пациенте, составляющих врачебную тайну. Выявленные нарушения требуют разработки локальных нормативных актов, позволяющих обеспечить безопасную работу с персональными данными и проведение дистанционных методов консультирования.

Обсуждение. Полученные данные подтверждают, что методика DELPHI, использованная в данном исследовании, в ходе трех туров опроса экспертов позволила  выделить актуальные для сферы обсуждения проблемы и выбрать наилучшие варианты возможных управленческих решений, исключив, в ходе трех туров обсуждения, вопросы, значимость решения которых мала [11, 12, 13].

Применение для расчетов и анализа, сравнительно, ограниченного количества математических и статистических методов, обеспечило достаточную согласованность мнений членов экспертной группы и достоверность полученных оценок [1, 14, 15]. Следует отметить, что величина средневзвешенной групповой оценки экспертов для отдельных критериев (обучение медицинских работников работе с МИС, возможность электронного контроля качества оказанной медицинской помощи, возможность электронной регистрации новых случаев инфекционных заболеваний) не всегда соответствовала характеру индивидуальных оценок экспертов по тем же критериям,  поскольку в части МО, сотрудниками которых являлись члены экспертной группы, была решена, пусть и не в полном объеме (в противотуберкулезных диспансерах была внедрена система электронной регистрации формы 058/у, но отсутствует возможность осуществить таковую по форме 089/у). В связи с этим, для коррекции выявленного диссонанса, необходимо провести подобной социологическое исследование и анализ выявленных проблем в рамках отдельных медицинских организаций [15, 16], для обеспечения в полном объеме реализации цели – совершенствования действующих информационных систем медицинских организация и улучшения качества оказываемой медицинской помощи пациентам с социально-значимыми инфекционными заболеваниями.

Заключение. Таким образом, социологическое исследование с целью совершенствования действующих информационных систем в медицинских организациях, оказывающих помощь больным социально-значимыми инфекционными заболеваниями по методу DELPHI позволило выделить ряд проблем (а точнее, проблемных групп), требующих разработки и принятия управленческих решений: обеспечение технической поддержки и функционирования МИС, недостаточная интеграция действующей МИС «Барс-Здравоохранение» с параллельно функционирующими в МО МИС  (ЛИС «1С Лаборатория», «РАСS КОМЕТА», ЕГИСЗ), МИС медицинской службы учреждений ФСИН и подсистемами информационных систем Минздрава России, организация обучения персонала МО работе с МИС и обеспечение согласованности действий сотрудников отделов IT-технологий и пользователей МИС, необходимость совершенствования нормативной базы МО в сфере функционирования МИС. Решение этих проблем требуют значительных затрат для замены старой компьютерной техники, приобретения более современного программного обеспечения и модификации имеющегося для настройки под запросы заказчика, внедрение практики организации непрерывного обучения персонала медицинских организаций для формирования и совершенствования навыков работы с персональными компьютерами и меняющимся в ходе обновлений интерфейсом информационных систем, интеграции действующих информационных систем с регистрами больных по нозологиям, подсистемами МИС учреждений ФСИН, сторонних медицинских организаций и подсистемами информационных систем Министерства здравоохранения Российской Федерации.

Список литературы

1. Кнышов А.В. Применение групповых методов при принятии незапрограммированных управленческих решений. Вестник Российской Таможенной академии. 2018;4:95-102.

2. Жигарь О.В., Непогодина А.В. Об использовании творческого подхода в процессе разработки управленческих решений. Общество, экономика, управление. 2022, 7(4):48-53. DOI: 10.47475/2618-9852-2022-17408

3. Linston H., Turoff M. The Delphi Method: Techniques and Applications. Addison Wesley Longman Publishing Co, 1975.

4. Louise D.A., Fisher M., Lincoln N.K., Lisitsa F., Sandor M. Practical verification of decision-making in agent-based autonomous systems. Automated Software Engineering. 2016;23(3):305-359. DOI: 10.1007/s10515-014-0168-9

5. Tejay G., Dhillon G., Chin A.G. Data quality dimensions for information systems security: a theoretical exposition (invited  paper). Security management, Integrity, and Internal Control in Information system. 2006;193:21-39. DOI: 10.1007/0-387-31167-X_2

6. Давыдова М.В., Щерба М.П., Кононов В.Н., Меркулов А.В., Костенко Н.Л., Голубенко Р.А. Обоснование критериев выбора информационной системы управления ресурсами медицинского имущества в военно-медицинских организациях. Известия Российской Военно-медицинской академии. 2022; 41(1):69-75. DOI: 10.17816/rmmar96372

7. Сергеева Ю.В. Математические методы коллективных экспертных оценок. Вестник Нижегородского института управления РАНХиГС [Электронный научный журнал]  2016;1:33-40  Режим доступа: http://services.niu.ranepa.ru/nauka/?page_id=5768 (дата обращения 20.01.2023)

8. Умаров С.З., Зубов Н.Н., Кувакин В.И. Информационные технологии статистического анализа данных в медицинской науке и образовании. СПб.: ВМедА, 2020.

9. Медик В.А., Токмачев М.С. Математическая статистика в медицине. М.: Финансы и статистика; 2007.

10. Халафян А. А. STATISTICA 6. Статистический анализ данных. М. : ООО «Бином-Пресс»; 2007.

11. Веприкова М.Я. Коллективные  методы  принятия  решений  в  современных организациях, их эффективность. Экономика: вчера, сегодня, завтра. 2018; 8( 9А):353-360.

12. Путивцева Н.В., Игрунова С.В., Зайцева Т.В., Нестеров В.Г., Пусная О.П., Лисицкая А.Е. Многокритериальная процедура оценки личностных компетенций персонала предприятия в сфере здравоохранения. Международный журнал прикладных и фундаментальных исследований. 2016; 2:178-181.

13. Мешков Д.О., Безмельницына Л.Ю. Оказание медицинской помощи при раке молочной железы: динамика за 2009-2019 гг. Вестник Северо-восточного Федерального университета имени М.К. Аммосова. 2020;3(20):48-52. DOI: 10.25587/SVfu.2020.20.3.006

14. Барскова Г.Н., Лохтина Л.К., Князев А.А., Запорожченко В.Г. Оценка врачами оптимизационных изменений в профессиональной деятельности. Социальные аспекты здоровья населения [сетевое издание] 2018; 64(6). Режим доступа: URL: http://vestnik.mednet.ru/content/view/1026/30/lang,ru/ (дата обращения: 20.01.2023г.) DOI: 10.21045/2071-5021-2018-64-6-4

15. Баланцев Г.А., Никишова Е.И., Перхин Д.В., Марьяндышев Д.О. Оценка эффективности медицинской информационной системы с точки зрения пользователя. Врач и информационные технологии. 2012; 4:22-27.

16. Ажмухамедов И.М., Романова О.М. Сбор и обработка экспертных данных в методике оценки качества информационных систем «Ревизор». Моделирование, оптимизация и информационные технологии. 2020;8(1). Режим доступа: https://moit.vivt.ru/wp-content/uploads/2020/02/AzhmuhamedovRomanova_1_20_1.pdf (дата обращения: 20.01.2023) DOI:10.26102/2310-6018/2020.28.1.004

References

1. Knyshov A.V. Primenenie gruppovyh metodov pri prinjatii nezaprogrammirovannyh upravlencheskih reshenij [The application of group methods in making non-programmed managerial decisions]. Vestnik Rossijskoj Tamozhennoj akademii. [VESTNIK of Russian Customs Academy] 2018;4:95-102. (In Russian)

2. Zhigar' O.V., Nepogodina A.V. Ob ispol'zovanii tvorcheskogo podhoda v processe razrabotki upravlencheskih reshenij [On the use of a creative approach in the process of developing management decisions]. Obshhestvo, jekonomika, upravlenie [Society, economy, management] 2022, 7(4):48-53. DOI:10.47475/2618-9852-2022-17408 (In Russian)

3. Linston H., Turoff M. The Delphi Method: Techniques and Applications. Addison Wesley Longman Publishing Co, 1975.

4. Louise D.A., Fisher M., Lincoln N.K., Lisitsa F., Sandor M. Practical verification of decision-making in agent-based autonomous systems. Automated Software Engineering. 2016;23(3):305-359. DOI: 10.1007/s10515-014-0168-9

5. Tejay G., Dhillon G., Chin A.G. Data quality dimensions for information systems security: a theoretical exposition (invited  paper). Security management, Integrity, and Internal Control in Information system. 2006;193:21-39. DOI: 10.1007/0-387-31167-X_2

6. Davydova M.V., Shherba M.P., Kononov V.N., Merkulov A.V., Kostenko N.L., Golubenko R.A. Obosnovanie kriteriev vybora informacionnoj sistemy upravlenija resursami medicinskogo imushhestva v voenno-medicinskih organizacijah [Justification of the choice of a modeling tool for the architecture of an information system for managing medical property resources in military medical organizations] Izvestija Rossijskoj Voenno-medicinskoj akademii.[Proceedings of the Russian Military Medical Academy] 2022; 41(1):69-75.DOI: 10.17816/rmmar96372 (In Russian)

7. Sergeeva Ju.V. Matematicheskie metody kollektivnyh jekspertnyh ocenok [Mathematical methods of collective expert assessments]. Vestnik Nizhegorodskogo instituta upravlenija [Bulletin of the Nizhny Novgorod Institute of Management RANEPA] [online edition] 2016;1:33-40.  Avaliable at: http://services.niu.ranepa.ru/nauka/?page_id=5768  (accessed 20.01.2023) (In Russian)

8. Umarov S.Z., Zubov N.N., Kuvakin V.I. Informacionnye tehnologii statisticheskogo analiza dannyh v medicinskoj nauke i obrazovanii [Information technologies of statistical data analysis in medical science and education]. SPb.: VMedA, 2020. (In Russian)

9. Medik V.A., Tokmachev M.S. Matematicheskaja statistika v medicine [Mathematical statistics in medicine]. Moscow: Finance and statistics; 2007. (In Russian)

10. Khalafyan A.A. STATISTICA 6. Statisticheskiy analiz dannykh [STATISTICA 6. Statistical data analysis]. Moscow, Binom-Press LLC; 2007. (In Russian)

11. Veprikova  M.Yа. Kollektivnyye  metody  prinyatiya  resheniy  v  sovremennykh organizatsiyakh, ikh effektivnost' [Collective decision-making methods in modern organizations, their  effectiveness]. Ekonomika: vchera, segodnya, zavtra  (Economics: Yesterday, Today and Tomorrow); 8 (9А): 353-360. (In Russian)

12. Putivceva N.V., Igrunova S.V., Zajceva T.V., Nesterov V.G., Pusnaja O.P., Lisickaja A.E. Mnogokriterial'naja procedura ocenki lichnostnyh kompetencij personala predprijatija v sfere zdravoohranenija [Based procedures multicriterial evaluates the personal competencies of employees of enterprises in health care) Mezhdunarodnyj zhurnal prikladnyh i fundamental'nyh issledovanij [International Journal of Applied and Fundamental Research]. 2016; 2:178-181. (In Russian)

13.  Meshkov D.O., Bezmel'nicyna L.Ju. Okazanie medicinskoj pomoshhi pri rake molochnoj zhelezy: dinamika za 2009-2019 gg. [The organization of healthcare in patients with breast cancer: dynamics for 2009-2019] Vestnik Severo-vostochnogo Federal'nogo universiteta imeni M.K. Amosova [Vestnik of the North-Eastern Federal University]. 2020;3(20):48-52 DOI: 10.25587/SVfu.2020.20.3.006 (In Russian)

14. Barskova G.N., Lokhtina L.K., Knyazev A.A., Zaporozhchenko V.G. Ocenka vrachami optimizacionnyh izmenenij v professional'noj dejatel'nosti [Doctors’ evaluation of optimization changes in professional activity]. Social'nye aspekty zdorov'a naselenia [Social aspects of population health [serial online]. 2018; 64(6). Аvailable at: http://vestnik.mednet.ru/content/view/1026/30/lang,ru/. (accessed 20.01.2023) DOI:  10.21045/2071-5021-2018-64-6-4 (In Russian)

15. Balancev G.A., Nikishova E.I., Perhin D.V., Mar'jandyshev D.O. Ocenka jeffektivnosti medicinskoj informacionnoj sistemy s tochki zrenija pol'zovatelja [Assessment of electronic medical record system efficiency from the user's point of view]. Vrach i informatsionnyye tekhnologii [Doctor and information technology]. 2012; 4:22-27. (In Russian)

16. Azhmuhamedov I.M., Romanova O.M. Sbor i obrabotka jekspertnyh dannyh v metodike ocenki kachestva informacionnyh sistem «Revizor». [Collection and processing of expert data in the method of evaluating the quality of information systems «Inspector»]. Modelirovanie, optimizacija i informacionnye tehnologii [Modeling, optimization and information technology]. 2020;8(1). Available at: https://moit.vivt.ru/wp-ontent/uploads/2020/02/AzhmuhamedovRomanova_1_20_1.pdf (accessed 20.01.2023) DOI:  10.26102/2310-6018/2020.28.1.004 (In Russian)

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Acknowledgments. The study did not have sponsorship.

Conflict of interests. The authors declare no conflict of interest.

Сведения об авторах

Куликова Инна Борисовна – директорДепартамента организации экстренной медицинской помощи и управления рисками здоровью Министерства здравоохранения Российской Федерации. 127994, ГСП-4, г. Москва, Рахмановский пер, д. 3

Паролина Любовь Евгеньевна – доктор медицинских наук, профессор, главный научный сотрудник научного отдела дифференциальной диагностики и лечения туберкулеза и сочетанных инфекций ФГБУ «Национальный медицинский исследовательский центр фтизиопульмонологии и инфекционных заболеваний» Министерства здравоохранения Российской Федерации, 127473, г. Москва, ул. Достоевского, д. 4, кор. 2, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. ORCID: 0000-0003-4365-5894, SPIN-код: 2442-2963

Тестов Вадим Витальевич – кандидат медицинских наук, заместитель директора по организационно-методической работе ФГБУ «Национальный медицинский исследовательский центр фтизиопульмонологии и инфекционных заболеваний» Министерства здравоохранения Российской Федерации. 127473, г. Москва, ул. Достоевского, д. 4, кор. 2. e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. ORCID: 0000-0002-0123-1367 SPIN: 2306-7373.

Стерликов Сергей Александрович – доктор медицинских наук, главный научный сотрудник ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Министерства здравоохранения Российской Федерации. 127254, Россия, Москва, ул. Добролюбова, д. 11; e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.; ORCID: 0000-0001-8173-8055; SPIN-код: 8672-4853.

Васильева Ирина Анатольевна – доктор медицинских наук, профессор, директор ФГБУ «Национальный медицинский исследовательский центр фтизиопульмонологии и инфекционных заболеваний» Министерства здравоохранения Российской Федерации. 127473, г. Москва, ул. Достоевского, д. 4, кор. 2. e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. ; ORCID: 0000-0002-0637-7955

About the authors

Kulikova Inna Borisovna – Director of the Department of Emergency Medical Assistance and Health Risk Management of the Ministry of Health of the Russian Federation. 127994, GSP-4, Moscow, Rakhmanovsky lane, 3

Parolina Lyubov Evgenievna – Doctor of Medical Sciences, Professor, Chief Researcher of the Scientific Department of Differential Diagnosis and Treatment of Tuberculosis and Combined Infections, National Medical Research Center for Phthisiopulmonology and Infectious Diseases, Ministry of Health of the Russian Federation, 127473, Moscow, st. Dostoevsky, d. 4, cor. 2, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. ORCID: 0000-0003-4365-5894, SPIN: 2442-2963

Testov Vadim Vitalievich – Ph.D. in medical sciences, Deputy Director for Organizational and Methodological Work of the National Medical Research Center of Phthisiopulmonology and Infectious Diseases of the Ministry of Health of Russia. St. Dostoevsky, 4, Moscow, 127473, Russia, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра. ORCID: 0000-0002-0123-1367 SPIN: 2306-7373.

Sterlikov Sergey Aleksandrovich – Doctor of Medical Sciences, head Department of Epidemiology and Monitoring of Tuberculosis and HIV Infection of the National Medical Research Center of Phthisiopulmonology and Infectious Diseases of the Ministry of Health of Russia. St. Dostoevsky, 4, Moscow, 127473, Russia, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0001-8173-8055 SPIN: 8672-4853

Vasilyeva Irina Anatolyevna – Doctor of Medical Sciences, Professor, Director of the National Medical Research Center for Phthisiopulmonology and Infectious Diseases of the Ministry of Health of the Russian Federation. 127473, Moscow, st. Dostoevsky, d. 4, cor. 2. e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.; ORCID: 0000-0002-0637-7955

Статья получена: 27.01.2023 г.

Принята к публикации: 28.06.2023 г.