Глубокое обучение с подкреплением (Deep Reinforcement Learning, Deep RL) является одним из наиболее перспективных направлений машинного обучения. Глубокое обучение с подкреплением является важным направлением машинного обучения, находящим применение в автономном управлении, робототехнике и игровых системах. В работе представлена реализация алгоритма Deep Q-Network (DQN) для обучения агента управлению в игре Змейка. Методика включает формирование компактного векторного представления состояния среды из 11 бинарных признаков, применение полносвязной нейронной сети для аппроксимации Q-функции, использование механизма воспроизведения опыта (Experience Replay) с буфером на 100 000 записей и стратегии эпсилон-жадного выбора (ε-greedy) для обеспечения баланса между исследованием среды и эксплуатацией полученных знаний. В ходе исследования проведено обучение агента на протяжении 500 игровых эпизодов с различными конфигурациями среды. Результаты показали устойчивый рост среднего счёта с 0 до 23.7 в процессе обучения и достижение среднего счёта 25.5 при тестировании, что на 7.6% выше финального показателя обучения. Максимальный достигнутый счёт составил 74 очка. Результаты подтверждают применимость Deep RL для решения задач управления в стохастических средах и демонстрируют способность DQN-агента к обобщению выученной стратегии.
Deep reinforcement learning (Deep RL) is one of the most promising areas of machine learning. Deep reinforcement learning is an important area of machine learning that finds application in autonomous control, robotics, and gaming systems. This paper presents the implementation of the Deep Q-Network (DQN) algorithm for training an agent to control the Snake game. The methodology includes the formation of a compact vector representation of the environment state from 11 binary features, the use of a fully connected neural network to approximate the Q-function, the use of an experience replay mechanism with a buffer of 100,000 records, and an ε-greedy strategy to ensure a balance between exploring the environment and exploiting the knowledge gained. During the study, the agent was trained over 500 game episodes with different environment configurations. The results showed a steady increase in the average score from 0 to 23.7 during training and an average score of 25.5 during testing, which is 7.6% higher than the final training score. The maximum score achieved was 74 points. The results confirm the applicability of Deep RL for solving control problems in stochastic environments and demonstrate the ability of the DQN agent to generalize the learned strategy.