DOI 10.24412/2312-2935-2024-2-180-191

ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ОЦЕНКИ И ПРОГНОЗИРОВАНИЯ УСПЕВАЕМОСТИ СТУДЕНТОВ ФАКУЛЬТЕТА ВЫСШЕГО СЕСТРИНСКОГО ОБРАЗОВАНИЯ

Бегун Д.Н., Мирзаева Н.В., Заришняк Н.В., Головко О.В.

ФГБОУ ВО «Оренбургский государственный медицинский университет» Министерства здравоохранения Российской Федерации, г. Оренбург

Введение. Исследование в области интеллектуального анализа данных в образовании, известного также как Educational Data Mining (EDM), сосредоточено на выявлении скрытых закономерностей в различных образовательных ситуациях. В рамках этого исследования была разработана модель, которая предсказывает успеваемость студентов на основе их баллов по дисциплине «Сестринское дело в хирургии» с использованием двух методов машинного обучения: «Decision Tree» и «Random Forest». Обе выбранные модели демонстрируют высокую точность при прогнозировании успеваемости студентов и могут быть использованы для этой цели.

Цель исследования.  Разработать модели прогнозирования успеваемости студентов на следующий учебный год, на основе дисциплинарного рейтинга предшествующего учебного года (основная профессиональная образовательная программа высшего образования – программа бакалавриата по направлению подготовки 34.03.01 Сестринское дело (общий профиль)).

Материалы и методы исследования. Для прогнозирования успеваемости студентов 3 курса (2022-2023 учебный год) в следующем учебном году была взята дисциплина «Сестринское дело в хирургии» и рейтинги обучающихся из электронных журналов кафедры сестринского дела. Дата рождения студентов была взята из личного кабинета преподавателя информационной системы (ИС) Университета в разделе «Обучающиеся» и преобразована в возраст обучающихся. Объем выборки составил 822 студента.

Данные были проанализированы с помощью программы RapidMiner (компания Altair). Для прогноза успеваемости использовались несколько методов машинного обучения - «Decision Tree», «Random Forest».

Результаты и обсуждения. Для статистической обработки данных мы воспользовались программой RapidMiner и оператором «Statistica». Мы использовали метод машинного обучения «Decision Tree» для прогнозирования успеваемости студентов на следующий учебный год. Для оценки производительности модели мы использовали среднеквадратическую ошибку (MSE), которая составила 2,006. Коэффициент корреляции показывает, насколько независимые переменные объясняют изменчивость результирующего показателя. В нашей модели коэффициент корреляции составил 0,993, что означает, что предсказанные значения дисциплинарного рейтинга сильно соответствуют реальным значениям по дисциплине «Сестринское дело в хирургии». Средний предсказанный балл составил 64,5 ± 23,9. Мы также использовали метод машинного обучения «Random Forest» для прогнозирования успеваемости. «Random Forest» использует ансамбль деревьев решений. Точность этой модели составила 90,5%. Полученные прогнозы успеваемости позволят выявить студентов с потенциальным риском неудачи в обучении и разработать систему поддержки, которая поможет исправить текущую ситуацию студентов.

Заключение. Выбранные модели для прогноза успеваемости обучающихся по дисциплине «Сестринское дело в хирургии» регрессионная модель «Decision Tree» и «Random Forest» показали отличную точность и могут быть использованы для прогноза успеваемости обучающихся.

Ключевые слова: образование, анализ данных, прогноз успеваемости, машинное обучение.

APPLICATION OF MACHINE LEARNING METHODS FOR ASSESSING AND PREDICTING THE PERFORMANCE OF STUDENTS IN THE FACULTY OF HIGHER NURSING EDUCATION

Begun D.N., Mirzaeva N.V., Zarishnyak N.V., Golovko O.V.

Orenburg State Medical University of the Ministry of Health of the Russian Federation, Orenburg

Introduction. Research in the field of educational data mining, also known as Educational Data Mining (EDM), focuses on identifying hidden patterns in various educational situations. This study developed a model that predicts student performance based on their scores in the Surgical Nursing course using two machine learning methods: Decision Tree and Random Forest. Both selected models demonstrate high accuracy in predicting student performance and can be used for this purpose.

Purpose of the study. To develop models for predicting student performance for the next academic year, based on the disciplinary rating of the previous academic year (the main professional educational program of higher education is the undergraduate program in the field of study 34.03.01 Nursing (general profile)).

Materials and methods of research. To predict the performance of 3rd year students (2022-2023 academic year) in the next academic year, the discipline “Nursing in Surgery” and student ratings from electronic journals of the Department of Nursing were taken. The students’ date of birth was taken from the personal account of the University information system (IS) teacher in the “Students” section and converted to the age of the students. The sample size was 822 students.

Data were analyzed using RapidMiner software (Altair). To predict academic performance, several machine learning methods were used - “Decision Tree”, “Random Forest”.

Results and discussions. For statistical data processing, we used the RapidMiner program and the “Statistica” operator. We used the Decision Tree machine learning method to predict student performance for the next academic year. To evaluate the performance of the model, we used the mean square error (MSE), which was 2.006. The correlation coefficient shows how much the independent variables explain the variability of the resulting indicator. In our model, the correlation coefficient was 0.993, which means that the predicted values of the disciplinary ranking are highly consistent with the actual values in the discipline of Surgical Nursing. The mean predicted score was 64.5 ± 23.9. We also used the Random Forest machine learning method to predict academic performance. Random Forest uses an ensemble of decision trees. The accuracy of this model was 90.5%. The resulting performance predictions will allow us to identify students at potential risk of failure in their studies and develop a support system that will help correct the current situation of students.

Conclusion. The selected models for predicting the performance of students in the discipline “Nursing in Surgery”, the regression model “Decision Tree” and “Random Forest” showed excellent accuracy and can be used to predict the performance of students.

Keywords: education, data analysis, academic performance forecast, machine learning.

Актуальность. В последние годы наблюдается все большее применение методов интеллектуального анализа данных (Data Mining) в образовательной сфере. Интеллектуальный анализ данных (DM) заключается в обнаружении новой и значимой информации на основе больших объемов данных [1]. Он также направлен на выявление новых тенденций и шаблонов с использованием различных алгоритмов классификации [1].

Область исследований, связанная с интеллектуальным анализом данных в образовании (EDM), является относительно молодой. Она фокусируется на изучении скрытых закономерностей в различных образовательных ситуациях, таких как анализ знаний учащихся, их поведение, качество учебных программ и планирование курсов [2].

Аналитика обучения (Learning Analytics) представляет собой процесс сбора, измерения и представления данных о студентах и их учебной среде с целью понимания и оптимизации процесса обучения. Она также занимается разработкой новых стратегий обучения [3-6].

Исследования показывают, что необходимо улучшить качество образования путем прогнозирования успеваемости студентов и оказания поддержки тем, кто находится в группе риска [2].

Цель исследования – это разработка моделей прогнозирования успеваемости студентов на следующий учебный год, только на основе баллов, полученных по дисциплине предшествующего учебного года (основная профессиональная образовательная программа высшего образования – программа бакалавриата по направлению подготовки 34.03.01 Сестринское дело (общий профиль)).

Материалы и методы исследования. Для прогнозирования успеваемости студентов 3 курса (2022-2023 учебный год) в следующем учебном году (2023-2024 учебный год) была взята дисциплина «Сестринское дело в хирургии» (текущий, экзаменационный рейтинг, весенний семестр) и рейтинги обучающихся из электронных журналов кафедры сестринского дела. Дисциплинарный рейтинг (от 0 до 100) формируется из текущего рейтинга, который составляет от 0 до 70 баллов (данный рейтинг обучающего формируется из прохождения обучения по дисциплине); экзаменационного рейтинга – от 0 до 30 баллов (перерасчет процентов набранных на экзаменационном тестировании). Дата рождения студентов была взята из личного кабинета преподавателя информационной системы (ИС) университета в разделе «Обучающиеся». Дата рождения была преобразована в возраст обучающихся. Объем выборки составил 822 студента.

Данные были проанализированы с помощью программы RapidMiner (компания Altair). Для прогноза успеваемости использовались несколько методов машинного обучения - «Decision Tree», «Random Forest».

Результаты исследования и их обсуждение. Для статистической обработки данных мы воспользовались программой RapidMiner и оператором «Statistica». Возраст обучающихся 3 курса факультета высшего сестринского образования находился в пределах от 20 до 60 лет. При этом возрастные диапазоны 20-30, 31-40, 41-50 лет имели почти одинаковые значения и составили 1/3 от количества всех обучающихся.

Рисунок 1. Возрастная структура обучающихся 3 курса факультета высшего

сестринского образования, %

Классификация показателей текущего, экзаменационного и дисциплинарного рейтинга студентов по дисциплине «Сестринское дело в хирургии» была выполнена с использованием оператора «Filter Examples» и разделена на категории A, B, C и D, как показано в таблице 1. Студенты, набравшие 34 и менее баллов по текущему рейтингу, были отнесены к категории D. Также в категорию D попали студенты, набравшие менее 71 балла на экзамене, и те, кто не явился на экзамен или получил оценку «неудовлетворительно» по дисциплине.

Таблица 1

Категории обучающихся по текущему, экзаменационному, дисциплинарному рейтингу

Структура экзаменационного рейтинга дисциплины «Сестринское дело в хирургии» заметно отличается от текущего и дисциплинарного рейтинга – категория A составляет 78%, что в 15,6 раз больше, чем в текущем рейтинге и в 26,0 раз больше чем в дисциплинарном рейтинге.

Рисунок 2. Структура текущего, экзаменационного, дисциплинарного рейтинга дисциплины «Сестринское дело в хирургии» по категориям, %

Была создана корреляционная матрица с использованием оператора «CorrelationMatrix». Мы не обнаружили значимой связи между возрастом и баллами текущего, экзаменационного и дисциплинарного рейтинга по дисциплине «Сестринское дело в хирургии» (ρ=0,1, при P=0,05), поэтому атрибут «Возраст» был удален из набора данных.

Для прогнозирования успеваемости было использовано машинное обучение с помощью модели «Decision Tree». В наборе данных все значения «не выполнено» и «не явился» были заменены на 0. Данные были загружены в программу RapidMiner Studio с использованием оператора «Read Excel». Атрибуту «Дисциплинарный рейтинг» была назначена роль «label» (метка и цель прогноза) при построении модели «Decision Tree». Данные были разделены на обучающую и тестовую выборки с использованием оператора «Split Data» в соотношении 0,7:0,3. Для построения дерева решений был добавлен оператор «Decision Tree» с параметрами «least_square» (минимизация квадратного расстояния между средним значением в узле и истинным значением) и глубиной дерева 20. Модель была применена с помощью оператора «Apply Model», а оценка ее производительности была проведена с использованием оператора «Performance(Regression)».

Рисунок 3. Процесс построения «Decision Tree» в программе RapidMiner Studio

            В построенной модели «Decision Tree» глубина составила – 7 (Рис.4). Производительность модели оценивалась по среднеквадратической ошибке (MSE), которая характеризует полученные данные и их отличие от реальных значений дисциплинарного рейтинга. Чем меньше MSE, тем меньше модель допускает ошибок. Среднеквадратическая ошибка в нашей модели составила 2,006.  Квадрат коэффициента корреляция или коэффициент детерминации показывает, какая доля дисперсии результативного признака объясняется влиянием независимых переменных. В нашей модели квадрат коэффициента корреляции составил 0,993. То есть предсказанные данные дисциплинарного рейтинга мало отличались от реальных цифр дисциплинарного рейтинга по дисциплине «Сестринское дело в хирургии». Средний предсказанный балл - 64,5± 23,9.

Рисунок 4.  «Decision Tree» по дисциплине «Сестринское дело в хирургии»

Прогноз успеваемости может быть осуществлен с использованием метода машинного обучения, известного как «Random Forest» или «Случайный лес». Этот метод использует ансамбль деревьев решений, которые строятся на основе случайно разделенных данных и независимой случайной выборки. Набор таких деревьев-классификаторов образует лес. При создании каждого дерева применяются метрики отбора факторов, такие как индекс Джини, отношение прироста или критерий прироста информации. «Random Forest» является одним из наиболее простых и результативных методов нелинейной классификации по сравнению с другими алгоритмами.

Модель «случайного леса» имеет широкий спектр применения. Она может использоваться для прогнозирования изменений данных в различных областях, таких как экономика, медицина и научные исследования. Модель также позволяет проводить классификацию, отбор и сравнение существующих факторов.

В данном случае данные были разделены на обучающую и тестовую выборки в соотношении 70:30. Атрибут «Дисциплинарный рейтинг» был выбран в качестве метки (label). Параметры оператора «Random Forest» включают количество деревьев 100, gain ratio (метод получения информации для каждого атрибута, обеспечивающий широту и единообразие значений атрибута) и глубину каждого дерева 10.

Была построена модель, которая включала 100 деревьев, каждому из деревьев соответствовало как графическое представление, так и общее описание. Точность модели составила 90,5%. В таблице точности модели мы можем увидеть: class reccal (отзыв) = (истинные положительные предсказания) / (количество положительных примеров), каждое дерево (класс) имеет свой отзыв (true75 – 100%, true86 – 100% и т.д.) и class precision (точность класса) – точность определенного дерева (класса) может быть выше или ниже общей точности (pred.75 имеет точность 83,33%, pred.86 – 100% и т.д.).

Обсуждение. Мы использовали данные текущего, экзаменационного и дисциплинарного рейтинга одной дисциплины для прогнозирования успеваемости студентов 3 курса факультета высшего сестринского образования. Этот подход к прогнозированию успеваемости был предложен Yağcı M., 2022 [3] и может быть использован как для раннего прогноза успеваемости по дисциплине, так и для принятия решений относительно каждого студента на основе прогноза.

Данные прогноза успеваемости помогут выявить студентов, у которых есть потенциальный риск неудачи в учебе, и разработать систему поддержки, которая поможет им исправить ситуацию. Эта система может включать выполнение дополнительных заданий, изучение дополнительного теоретического материала и другие подобные меры. Такой подход позволит студентам активно взаимодействовать с учебным процессом, повысить свою успеваемость и достичь лучших результатов.

Заключение. Для прогнозирования успеваемости студентов по дисциплине «Сестринское дело в хирургии» были выбраны две модели регрессии: «Decision Tree» и «Random Forest». Эти модели показали высокую точность в прогнозировании успеваемости студентов и могут быть успешно применены для данной цели.

Модель «Decision Tree» основана на древовидной структуре принятия решений, где каждый узел представляет собой тест на определенный признак, а каждая ветвь соответствует возможному результату теста. Таким образом, модель создает последовательность вопросов и условий, которые позволяют определить прогноз успеваемости студента.

Модель «Random Forest» является ансамблем решающих деревьев. Она создает множество деревьев, каждое из которых обучается на случайной подвыборке данных. Затем, при прогнозировании, каждое дерево дает свой прогноз, и итоговый прогноз определяется путем усреднения прогнозов всех деревьев. Этот подход позволяет улучшить точность прогнозирования и справиться с возможными переобучениями.

Выбор данных моделей для прогнозирования успеваемости студентов по дисциплине «Сестринское дело в хирургии» основывается на их отличной точности и способности предсказывать успеваемость студентов. Эти модели могут быть использованы для определения потенциальных рисков неудачи в учебе и разработки системы поддержки, которая поможет студентам исправить свою текущую ситуацию и достичь лучших результатов.

Список литературы

1. Ширинкина Е.В. Методы интеллектуального анализа данных и образовательной аналитики. Современное образование. 2022; (1):51-67
2. Yupei Z., Yue Y., Rui A., et al. Educational Data Mining Techniques for Student Performance Prediction: Method Review and Comparison Analysis.  Frontiers in Psychology. 2021; 12:1-19 DOI: 10.3389/fpsyg.2021.698490
3. Yağcı, M. Educational data mining: prediction of students' academic performance using machine learning algorithms. Smart Learning Environments. 2022; 9(11):159-171 DOI:10.1186/s40561-022-00192-z
4. Есин Р.В., Кустицкая Т.А., Носков М.В. Прогнозирование успешности обучения по дисциплине на основе универсальных показателей цифрового следа LMS Moodle. Информатика и образование. 2023; 38(3):31-41 DOI: 10.32517/0234-0453-2023-38- 3-31-41
5. Fahd K., Venkatraman, S., Miah, S.J., et al. Application of machine learning in higher education to assess student academic performance, at-risk, and attrition: A meta-analysis of literature. Education and Information Technologies. 2022; 27(3):3743–3775 doi.org/10.1007/s10639-021-10741-7
6. Shabnam Ara S.J., Tanuja R., Manjul S.H., et al. A Comprehensive Survey on Usage of Learning Analytics for Enhancing Learner’s Performance in Learning Portals. Journal of Educational Technology Systems. 2023; 52(2):245-273 doi.org/10.1177/00472395231185843

References

1. Shirinkina E.V. Methods of data mining and educational analytics [Modern education]. 2022; (1):51-67 (In Russian)

2. Yupei Z., Yue Y., Rui A., et al. Educational Data Mining Techniques for Student Performance Prediction: Method Review and Comparison Analysis.  Frontiers in Psychology. 2021; 12:1-19 DOI: 10.3389/fpsyg.2021.698490

3. Yağcı, M. Educational data mining: prediction of students' academic performance using machine learning algorithms. Smart Learning Environments. 2022; 9(11):159-171 DOI:10.1186/s40561-022-00192-z

4. Esin R.V., Kustitskaya T.A., Noskov M.V. Predicting academic performance in a course by universal features of LMS Moodle digital footprint [Informatics and education]. 2023; 38(3):31-41. (In Russian) doi.org/10.32517/0234-0453-2023-38-3-31-41

5. Fahd K., Venkatraman, S., Miah, S.J., et al. Application of machine learning in higher education to assess student academic performance, at-risk, and attrition: A meta-analysis of literature. Education and Information Technologies. 2022; 27(3):3743–3775 doi.org/10.1007/s10639-021-10741-7

6. Shabnam Ara S.J., Tanuja R., Manjul S.H., et al. A Comprehensive Survey on Usage of Learning Analytics for Enhancing Learner’s Performance in Learning Portals. Journal of Educational Technology Systems. 2023; 52(2):245-273 doi.org/10.1177/00472395231185843

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Acknowledgments. The study did not have sponsorship.

Conflict of interests. The authors declare no conflict of interest.

Сведения об авторах

Бегун Дмитрий Николаевич – доктор медицинских наук, доцент, заведующий кафедрой сестринского дела, ФГБОУ ВО «Оренбургский государственный медицинский университет» Министерства здравоохранения Российской Федерации, ул.  Советская, д.  6, г. Оренбург, 460000, Российская Федерация, email: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.,  ORCID: 0000-0002-8920-6675, SPIN-код 8443-4400

Мирзаева Нелли Владимировна – ассистент кафедры сестринского дела, федеральное государственное бюджетное образовательное учреждение высшего образования «Оренбургский государственный медицинский университет» Министерства здравоохранения Российской Федерации, г. Оренбург, Россия, г. Оренбург, ул. Советская, 6, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0009-0000-0832-2192,  SPIN-код 1399-1429

Заришняк Наталья Владимировна – кандидат медицинских наук, ассистент кафедры сестринского дела, ФГБОУ ВО «Оренбургский государственный медицинский университет» Минздрава России, ул.  Советская, д.  6, г. Оренбург, 460000, Российская Федерация, email: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0003-2742-3161, SPIN-код: 1307-1759

Головко Ольга Валентиновна – старший преподаватель кафедры сестринского дела, ФГБОУ ВО «Оренбургский государственный медицинский университет» Минздрава России, ул.  Советская, д. 6, г. Оренбург, 460000, Российская Федерация, email: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0001-6515-8683, SPIN-код: 3672-2138

About the authors

Begun Dmitry Nikolaevich – doctor of Medical Sciences, Associate Professor, Head of the Department of Nursing, Federal State Budgetary Educational Institution of Higher Education "Orenburg State Medical University" of the Ministry of Health of the Russian Federation, Russia, Orenburg, st. Sovetskaya, 6, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID 0000-0002-8920-6675, SPIN-код 8443-4400

Mirzaeva Nelli Vladimirovna – assistant of the Department of Nursing, Federal State Budgetary Educational Institution of Higher Education "Orenburg State Medical University" of the Ministry of Health of the Russian Federation, Orenburg, Russia, Orenburg, st. Sovetskaya, 6, e-mail: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID 0009-0000-0832-2192, SPIN-код 1399-1429

Zarishnyak Natalya Vladimirovna – candidate of medical sciences, assistant of the department of nursing, Orenburg State Medical University, Ministry of Health of Russia, st. Sovetskaya, 6, Orenburg, 460000, Russian Federation, email: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0003-2742-3161, SPIN: 1307-1759

Golovko Olga Valentinovna – senior lecturer of the Department of Nursing, Federal State Budgetary Educational Institution of Higher Education “Orenburg State Medical University” of the Ministry of Health of Russia, st. Sovetskaya, 6, Orenburg, 460000, Russian Federation, email: Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0001-6515-8683, SPIN: 3672-2138

Статья получена: 23.01.2024 г.

Принята к публикации: 25.06.2024 г.