Нейромережеві методи автоматичного визначення пози людини, яка виконує вправи з художньої гімнастики

Автор(и)

DOI:

https://doi.org/10.31558/2786-9482.2023.1.4

Ключові слова:

трансформер, класифікація, художня гімнастика, персептрон, розпізнавання пози, відеопотік.

Анотація

У художній гімнастиці оцінювання виступів спортсменок є складним суб’єктивним завданням через необхідність врахувати технічні характеристики динамічних вправ, та естетичну досконалість окремих сцен і композиції загалом. У статті представлено результати дослідження, яке спрямоване на розробку програми автоматичного визначення поз спортсменок під час виконання вправ із художньої гімнастики. Розробці моделі передує вивчення поточних правил підрахунку балів з урахуванням складності рухів спортсменки. Для дослідження створено спеціальний набір даних із визначення поз гімнасток, який включає оцінювані елементи та неоцінювані позиції. Набір даних містить стоп-кадри з відео змагань та фотозвітів. Для визначення поз використовуються 2 методи комп’ютерного зору: MediaPipe Pose та ViTPose. MediaPipe Pose завдяки високій продуктивності дає змогу у реальному часі визначати 33 3D-орієнтири. ViTPose забезпечує високу точність завдяки використанню зорових трансформерів. Здійснено порівняльний аналіз цих двох методів із виділенням сильних сторін та обмежень кожної з них. Для класифікації спортивних елементів на основі розпізнаних поз розроблено модель типу “багатошаровий персептрон”. Навчання моделі здійснено за зворотним розповсюдженням помилки на основі методу градієнтного спуску Адама. Після навчання моделі на авторському наборі даних досягається висока точність класифікації поз гімнасток. Проведене дослідження є інтелектуальним складником майбутньої системи автоматичного визначення в реальному часі пози спортсменки для більш достовірного та оперативного оцінювання виступів у художній гімнастиці. Запропонований підхід до поєднання методів комп’ютерного зору та машинного навчання може бути поширений для вдосконалення спортивного аналізу і в інших споріднених дисциплінах.

Посилання

Fédération Internationale de Gymnastique. URL: https://www.gymnastics.sport/site/ (дата звернення: 28.05.2023).

2022 – 2024 Code of Points. URL: https://www.gymnastics.sport/publicdir/rules/files/en_2022-2024%20RG%20Code%20of%20Points.pdf (дата звернення: 27.05.2023).

Sierra-Palmeiro, E., Bobo-Arce, M., Pérez-Ferreirós, A., & Fernández-Villarino, M. A. (2019). Longitudinal Study of Individual Exercises in Elite Rhythmic Gymnastics. Frontiers in Psychology, 10. DOI: 10.3389/fpsyg.2019.01496.

Díaz-Pereira, M. P., Gómez-Conde, I., Escalona, M., & Olivieri, D. N. (2014). Automatic recognition and scoring of Olympic rhythmic gymnastics movements. Human Movement Science, 34(1), 63–80. DOI: 10.1016/j.humov.2014.01.001.

Bearman, A., & Dong, C. (2015). Human pose estimation and activity classification using convolutional neural networks. CS231n Course Project Reports.

Verma, M., et al. (2020). Yoga-82: A new dataset for fine-grained classification of human poses. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops, pp. 1038–1039.

Olympics Gymnastics: Rhythmic Gymnastics – Individual All-Around-Qualification 1&2 (2020). Tokyo 2020. YouTube. URL: https://www.youtube.com/watch?v=uRzmkLF8MVI (дата звернення: 27.05.2023).

Olympics: FULL Rhythmic Gymnastics Individual All Around Final at Tokyo 2020 (2020). YouTube. URL: https://www.youtube.com/watch?v=v6ZuroWdLTs (дата звернення: 27.05.2023).

Альбоми зі зйомок на спортивних турнірах фотографа Марії Музиченко. URL: https://muzychenko.photos/our-services/sports-photography (дата звернення: 27.05.2023).

Портфоліо Ігоря Сахацкого. URL: https://sakhatskyi.com/portfolio/ (дата звернення: 27.05.2023).

Ukrainian RG Federation: Viktoriia Onopriienko Ball Qual 26,200 – World Championships Kitakyushu 2021 (2021). YouTube. URL: https://www.youtube.com/watch?v=IKzuWUIe8Rc (дата звернення: 27.05.2023).

GitHub – Google / Media Pipe: Cross-platform, customizable ML solutions for live and streaming media. GitHub. URL: https://github.com/google/mediapipe (дата звернення: 27.05.2023).

Xu, Y., Zhang, J., Zhang, Q., & Tao, D. (2022). Vitpose: Simple vision transformer baselines for human pose estimation. Advances in Neural Information Processing Systems, 35, 38571–38584.

Bielecki, A. (2019). Models of neurons and perceptrons: Selected problems and challenges. Studies in Computational Intelligence. Vol. 770. Springer Cham, 156 p. DOI: 10.1007/978-3-319-90140-4.

А. Р. Нескородєва (Україна). А. C. 116622 Україна, УКРНОІВІ. Комп’ютерна програма “Pose estimation for sports (Rhythmic gymnastics)”. № с202300058; заявка 06.01.2023; опубл. 01.03.2023.

ML Kit. URL: https://developers.google.com/ml-kit/vision/pose-detection?hl=en (date of access: 27.05.2023).

##submission.downloads##

Опубліковано

2023-12-24

Як цитувати

[1]
Нескородєва, А. 2023. Нейромережеві методи автоматичного визначення пози людини, яка виконує вправи з художньої гімнастики. Ukrainian Journal of Information Systems and Data Science. 1, 1 (Груд 2023), 53-65. DOI:https://doi.org/10.31558/2786-9482.2023.1.4.

Номер

Розділ

МАШИННЕ НАВЧАННЯ