ПОРІВНЯННЯ НАВЧАННЯ З ПІДКРІПЛЕННЯМ В ІГРОВИХ РУШІЯХ  UNREAL ENGINE 5 ТА UNITY

Іван Лайтарук; Тетяна Гришанович; Оксана Онищук

Автор(и)

Іван Лайтарук Волинський національний університет імені Лесі Українки https://orcid.org/0009-0002-9832-7759
Тетяна Гришанович Волинський національний університет імені Лесі Українки https://orcid.org/0000-0002-3595-6964
Оксана Онищук Волинський національний університет імені Лесі Українки https://orcid.org/0000-0002-8342-3011

Ключові слова:

Unreal Engine 5, Unity, Blueprints, C#, машинне навчання, агент, Навчання з підкріпленням

Анотація

У роботі представлено порівняльний аналіз реалізації навчання з підкріпленням у двох провідних ігрових рушіях: Unreal Engine 5 та Unity. Дослідження оцінює простоту інтеграції, ефективність навчання та підтримку інструментів на кожній платформі шляхом вивчення схожих відкритих проєктів з відкритим кодом, у яких автономні автомобільні агенти навчаються проходити гоночні траси за допомогою алгоритму Proximal Policy Optimization (PPO). В Unreal Engine 5 навчання здійснюється за допомогою нового плагіна Learning Agents, що використовує скриптування на Blueprint та симуляцію на основі фізики в реальному часі, тоді як у Unity використовується ML-Agents Toolkit зі скриптуванням на C# та зовнішнім навчанням на базі Python. Аналіз охоплює налаштування середовища, структури винагород, системи сприйняття агентів та інструменти для налагодження. Додатково оцінюється досвід користувача та якість технічної документації. Результати надають корисну інформацію для розробників і дослідників, які прагнуть обрати оптимальну платформу для інтеграції навчання з підкріпленням в інтерактивні симуляції або ігри.

Посилання (Бібліографія)

TD-Gammon / W. Uther et al. Encyclopedia of machine learning. Boston, MA, 2011. P. 955–956. URL: https://doi.org/10.1007/978-0-387-30164-8_813.

Gronauer S., Diepold K. Multi-agent deep reinforcement learning: a survey. Artificial intelligence review. 2021. URL: https://doi.org/10.1007/s10462-021-09996-w.

Egri-Nagy A., Törmänen A. The cost of passing - using deep learning AIs to expand our understanding of the ancient game of Go. International journal of networking and computing. 2023. Vol. 13, no. 2. P. 258–272. URL: https://doi.org/10.15803/ijnc.13.2_258.

Yadav A. Reinforcement Learning in Games: A Complete Guide. Medium. URL: https://medium.com/@amit25173/reinforcement-learning-in-games-a-complete-guide-24d1cab79317.

Risi S., Preuss M. Behind DeepMind’s AlphaStar AI that Reached Grandmaster Level in StarCraft II. KI - Künstliche Intelligenz. 2020. Vol. 34, no. 1. P. 85–86. URL: https://doi.org/10.1007/s13218-020-00642-1.

Welcome to AirSim. AirSim. URL: https://microsoft.github.io/AirSim/.

Mulcahy B. Learning agents (5.5). Unreal Engine Dev Community. URL: https://dev.epicgames.com/community/learning/courses/GAR/unreal-engine-learning-agents-5-5/7dmy/unreal-engine-learning-to-drive-5-5.

Mulcahy B. Learning Agents Introduction (5.3). Unreal Engine Dev Community. URL: https://dev.epicgames.com/community/learning/tutorials/8OWY/unreal-engine-learning-agents-introduction-5-3.

ML-Agents Overview. Unity ML-Agents Toolkit. URL: https://unity-technologies.github.io/ml-agents/ML-Agents-Overview/.

JulesVerny/MLAgentsAtSpa: Unity ML Agent Racing Car learns to Drive at Spa !. GitHub. URL: https://github.com/JulesVerny/MLAgentsAtSpa.