Інженерія MLOps: метасинтез інструментів, практик та архітектур для автоматизації машинного навчання
DOI:
https://doi.org/10.31558/2786-9482.2024.2.3Ключові слова:
MLOps, автоматизація, інструменти, фреймворки, архітектура, розгортання моделей, конвеєри машинного навчання, метасинтезАнотація
Автоматизація повного життєвого циклу моделей машинного навчання критично важлива для їх ефективного впровадження в робочому середовищі. За останні роки з’явилися різноманітні інструменти, фреймворки та архітектури для підтримки практик Machine Learning Operations (MLOps). У цій статті представлено метасинтез оглядів для комплексного аналізу технологій, що забезпечують реалізацію MLOps. Проведено порівняння можливостей та функцій, що пропонуються популярними комерційними та відкритими MLOps-платформами. Ідентифіковано шаблони в архітектурі MLOps та філософіях проєктування. Розглянуто роль контейнеризації, оркестрації, управління конфігурацією та автоматизації інфраструктури в ML-конвеєрах. Також обговорюються підходи до розгортання моделей у хмарі та на периферійних пристроях. Основні отримані результати: 1) проведено метасинтез систематичних оглядів для узагальнення знань щодо практик MLOps та визначено, що MLOps є перспективним підходом для ефективного розгортання моделей машинного навчання, який вимагає подальших досліджень; 2) проаналізовано зв’язки між принципами, процесами та практиками MLOp та запропоновано схему взаємозв’язків між ключовими принципами, етапами розробки і впровадження моделей та основними практиками MLOps; 3) визначено найбільш ефективні практики MLOps для розгортання моделей – безперервна інтеграція / доставка, версіонування моделей і даних, автоматизація конвеєрів машинного навчання, моніторинг продуктивності, управління експериментами, життєвим циклом, безпека та конфіденційність даних, пояснюваність моделей, управління якістю даних, конфігурацією, стратегії розгортання, автоматизація інфраструктури, співпраця, управління ризиками. Отримані результати мають теоретичну значущість в узагальненні та систематизації знань про практики MLOps і практичну значущість для впровадження та вдосконалення процесів MLOps в організаціях.
Посилання
Zahorodko, P. V., Semerikov, S. O., Soloviev, V. N., Striuk, A. M., Striuk, M. I., & Shalatska, H. M. (2021). Comparisons of performance between quantum-enhanced and classical machine learning algorithms on the IBM Quantum Experience. Journal of Physics: Conference Series, 1840, 012021. https://doi.org/10.1088/1742-6596/1840/1/012021
Kreuzberger, D., Kühl, N., & Hirschl, S. (2023). Machine learning operations (MLOps): overview, definition, and architecture. IEEE Access, 11, 31866–31879. https://doi.org/10.1109/ACCESS.2023.3262138
Symeonidis, G., Nerantzis, E., Kazakis, A., & Papakostas, G. A. (2022). MLOps – definitions, tools and challenges. In 2022 IEEE 12th Annual Computing and Communication Workshop and Conference (CCWC) (pp. 0453–0460). https://doi.org/10.1109/CCWC54503.2022.9720902
Testi, M., Ballabio, M., Frontoni, E., Iannello, G., Moccia, S., Soda, P., & Vessio, G. (2022). MLOps: A taxonomy and a methodology. IEEE Access, 10, 63606–63618. https://doi.org/10.1109/ACCESS.2022.3181730
Diaz-de Arcaya, J., Torre-Bastida, A. I., Zárate, G., Miñón, R., & Almeida, A. (2023). A joint study of the challenges, opportunities, and roadmap of MLOps and AIOps: A systematic survey. ACM Computing Surveys, 56, 84. https://doi.org/10.1145/3625289
Recupito, G., Pecorelli, F., Catolino, G., Moreschini, S., Nucci, D. D., Palomba, F., & Tamburri, D. A. (2022). A multivocal literature review of mlops tools and features. In 2022 48th Euromicro Conference on Software Engineering and Advanced Applications (SEAA) (pp. 84–91). https://doi.org/10.1109/SEAA56994.2022.00021
Steidl, M., Felderer, M., & Ramler, R. (2023). The pipeline for the continuous development of artificial intelligence models – current state of research and practice. Journal of Systems and Software, 199, 111615. https://doi.org/10.1016/j.jss.2023.111615
Lima, A., Monteiro, L., & Furtado, A. P. (2022). MLOps: practices, maturity models, roles, tools, and challenges – a systematic literature review. In Proceedings of the 24th International Conference on Enterprise Information Systems – Volume 1: ICEIS (pp. 308–320). https://doi.org/10.5220/0010997300003179
Haller, K. (2022). Managing AI in the enterprise: Succeeding with AI projects and MLOps to build sustainable AI organizations. Apress Berkeley, CA. https://doi.org/10.1007/978-1-4842-7824-6
e Oliveira, E., Rodrigues, M., Pereira, J. P., Lopes, A. M., Mestric, I. I., & Bjelogrlic, S. (2024). Unlabeled learning algorithms and operations: overview and future trends in defense sector. Artificial Intelligence Review, 57, 66. https://doi.org/10.1007/s10462-023-10692-0
Kolltveit, A. B., & Li, J. (2023). Operationalizing machine learning models: A systematic literature review. In Proceedings of the 1st Workshop on Software Engineering for Responsible AI (pp. 1–8). https://doi.org/10.1145/3526073.3527584
Calefato, F., Lanubile, L., & Quaranta, L. (2022). A preliminary investigation of MLOps practices in GitHub. In Proceedings of the 16th ACM / IEEE International Symposium on Empirical Software Engineering and Measurement (pp. 283–288). https://doi.org/10.1145/3544902.3546636
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., … Moher, D. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71
Haertel, C., Staegemann, D., Daase, C., Pohl, M., Nahhas, A., & Turowski, K. (2023). MLOps in data science projects: A review. In 2023 IEEE International Conference on Big Data (BigData) (pp. 2396–2404). https://doi.org/10.1109/BigData59044.2023.10386139
Cohen, R. (2023). Digital strategy, machine learning, and industry survey of MLOps. In Digital Strategies and Organizational Transformation (pp. 137–150). https://doi.org/10.1142/9789811271984_0008
Sipe, T. A., & Curlette, W. L. (1996). A meta-synthesis of factors related to educational achievement: A methodological approach to summarizing and synthesizing meta-analyses. International Journal of Educational Research, 25, 583–698. https://doi.org/10.1016/S0883-0355(96)80001-2
Chrastina, J. (2018). Meta-synthesis of qualitative studies: Background, methodology and applications. In NORDSCI Conference proceedings (Vol. 1). https://doi.org/10.32008/nordsci2018/b1/v1/13
Amershi, S., Begel, A., Bird, C., DeLine, R., Gall, H., Kamar, E., Nagappan, N., Nushi, B., & Zimmermann, T. (2019). Software engineering for machine learning: A case study. In 2019 IEEE/ACM 41st International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP) (pp. 291–300). https://doi.org/10.1109/ICSE-SEIP.2019.00042
Dhanorkar, S., Wolf, C. T., Qian, K., Xu, A., Popa, L., & Li, Y. (2021). Who needs to know what, when?: Broadening the explainable AI (XAI) design space by looking at explanations across the AI lifecycle. In Proceedings of the 2021 ACM Designing Interactive Systems Conference (pp. 1591–1602). https://doi.org/10.1145/3461778.3462131
Lwakatare, L. E., Crnkovic, I., & Bosch, J. (2020). DevOps for AI – challenges in development of AI-enabled applications. In 2020 International Conference on Software, Telecommunications and Computer Networks (SoftCOM) (pp. 1–6). https://doi.org/10.23919/SoftCOM50211.2020.9238323
Akkiraju, R., Sinha, V., Xu, A., Mahmud, J., Gundecha, P., Liu, Z., Liu, X., & Schumacher, J. (2020). Characterizing machine learning processes: A maturity framework. In D. Fahland, C. Ghidini, J. Becker, & M. Dumas (eds.), Business Process Management (Vol. 12168, pp. 17–31). Springer International Publishing. https://doi.org/10.1007/978-3-030-58666-9_2
Min, C., Mathur, A., Acer, U. G., Montanari, A., & Kawsar, F. (2023). SensiX++: Bringing MLOps and multi-tenant model serving to sensory edge devices. ACM Transactions on Embedded Computing Systems, 22, 98. https://doi.org/10.1145/3617507
Bachinger, F., Zenisek, J., & Affenzeller, M. (2024). Automated machine learning for industrial applications – challenges and opportunities. Procedia Computer Science, 232, 1701–1710. https://doi.org/10.1016/j.procs.2024.01.168
Filippou, K., Aifantis, G., Papakostas, G. A., & Tsekouras, G. E. (2023). Structure learning and hyperparameter optimization using an automated machine learning (AutoML) Pipeline. Information, 14, 232. https://doi.org/10.3390/info14040232
Bodor, A., Hnida, M., & Daoudi, N. (2023). Machine learning models monitoring in MLOps context: Metrics and tools. International Journal of Interactive Mobile Technologies (iJIM), 17, 125–139. https://doi.org/10.3991/ijim.v17i23.43479
Singh, P. (2023). Systematic review of data-centric approaches in artificial intelligence and machine learning. Data Science and Management, 6, 144–157. https://doi.org/10.1016/j.dsm.2023.06.001
Czakon, J., & Kluge, K. (2024). ML experiment tracking: What it is, why it matters, and how to implement it. https://neptune.ai/blog/ml-experiment-tracking
Peltonen, E., & Dias, S. (2023). LinkEdge: Open-sourced MLOps integration with IoT edge. In Proceedings of the 3rd Eclipse Security, AI, Architecture and Modelling Conference on Cloud to Edge Continuum (pp. 67–76). https://doi.org/10.1145/3624486.3624496
Melgar, L. A., Dao, D., Gan, S., Gürel, N. M., Hollenstein, N., Jiang, J., … Zhang, C. (2021). Ease.ML: A lifecycle management system for MLDev and MLOps. In 11th Conference on Innovative Data Systems Research, CIDR 2021. https://www.cidrdb.org/cidr2021/papers/cidr2021_paper26.pdf
Chen, H., & Babar, M. A. (2024). Security for machine learning-based software systems: A survey of threats, practices, and challenges. ACM Computing Surveys, 56, 151. https://doi.org/10.1145/3638531
Gopalakrishna, N. K., Anandayuvaraj, D., Detti, A., Bland, F. L., Rahaman, S., & Davis, J. C. (2023). “If security is required”: engineering and security practices for machine learning-based IoT devices. In Proceedings of the Fourth International Workshop on Software Engineering Research and Practice for the IoT (pp. 1–8). https://doi.org/10.1145/3528227.3528565
Miller, T. (2019). Explanation in artificial intelligence: Insights from the social sciences. Artificial Intelligence, 267, 1–38. https://doi.org/10.1016/j.artint.2018.07.007
Rezazadeh, F., Chergui, H., Alonso, L., & Verikoukis, C. (2024). SliceOps: Explainable MLOps for streamlined automation-native 6G networks. IEEE Wireless Communications, 31, 224–230. https://doi.org/10.1109/MWC.007.2300144
Godwin, R. C., & Melvin, R. L. (2024). Toward efficient data science: A comprehensive MLOps template for collaborative code development and automation. SoftwareX, 26, 101723. https://doi.org/10.1016/j.softx.2024.101723
Yongqiang, D., Xin, W., Yongbo, L., & Wang, Y. (2020). Building network domain knowledge graph from heterogeneous YANG models. Journal of Computer Research and Development, 57, 699–708. https://doi.org/10.7544/issn1000-1239.2020.20190882
Neptune Labs. (2024). MLOps landscape in 2024: Top tools and platforms. https://neptune.ai/blog/mlops-tools-platforms-landscape
Gunny, A., Rankin, D., Harris, P., Katsavounidis, E., Marx, E., Saleem, M., Coughlin, M., & Benoit, W. (2022). A software ecosystem for deploying deep learning in gravitational wave physics. In Proceedings of the 12th Workshop on AI and Scientific Computing at Scale Using Flexible Computing Infrastructures (pp. 9–17). https://doi.org/10.1145/3526058.3535454
Vuppalapati, C., Ilapakurti, A., Chillara, K., Kedari, S., & Mamidi, V. (2020). Automating tiny ML intelligent sensors DevOPS using Microsoft Azure. In 2020 IEEE International Conference on Big Data (Big Data) (pp. 2375–2384). https://doi.org/10.1109/BigData50022.2020.9377755
Sothilingam, R., Pant, V., & Yu, E. S. K. (2022). Using i* to analyze collaboration challenges in MLOps project teams. In A. Maté, T. Li, & E. J. T. Gonçalves (eds.), Proceedings of the 15th International iStar Workshop (iStar 2022) co-located with 41th International Conference on Conceptual Modeling (ER 2022) (pp. 1–6). https://ceur-ws.org/Vol-3231/iStar22_paper_1.pdf
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія

Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.