Stimulētā mācīšanās aģenta lēmumpieņemšanas simulācijai Unity vidē

Abstract

Bakalaura darba ietvaros tiek apskatīta stimulētās mācīšanās metode, kas tiek izmantota, lai apmācītu lēmumpieņemšanas simulācijas aģentu Unity vidē. Darba mērķis ir izpētīt, kā šī metode var tikt pielietota, lai izstrādātu efektīvu lēmumpieņemšanas aģentu, kā arī kā, izmantojot šo metodi, vides izmaiņas ietekmē aģenta lēmumpieņemšanu. Darba ietvaros tiek izveidota aģenta lēmumpieņemšanas simulācijas vide, kurā tiek apmācīts aģents, izmantojot stimulētās mācīšanās metodi. Šī vide tiek veidota Unity spēļu dzinēja izstrādes vidē, izmantojot pievienojumprogrammu ML-Agents, kas dod iespēju pielietot stimulētās mācīšanās metodes Unity vidē. Aģents vairākas reizes tiek apmācīts veikt definēto uzdevumu izveidotajā vidē, lai noteiktu, cik sērijas apjoms (angļu: batch size) ietekmē apmācības procesu. Vide, aģents, kā arī aģenta mērķis un uzdevums tika definēti kursa darbā, uz kura balstās šis bakalaura darbs. Pēc aģenta apmācības tiek veikta izmēģinājuma simulācija, kur aģents parāda, cik veiksmīgi viņam sanāk pildīt definēto uzdevumu, lai novērtētu tā efektivitāti un ātrumu. Papildus tam tiek veikts eksperiments, pārbaudot, cik veiksmīgi aģents spēj izpildīt to pašu uzdevumu izmainītajā vidē. Šis bakalaura darbs ir noderīgs ikvienam, kas vēlas iegūt padziļinātas zināšanas par stimulētās mācīšanās metodēm un to pielietošanu aģenta lēmumpieņemšanas simulācijā Unity spēļu dzinēja vidē.

The bachelor’s thesis examines the reinforcement learning method, which is used to train a decision-making simulation agent in the Unity environment. The aim of the work is to investigate how this method can be applied to build an effective decision-making agent, as well as how, using this method, environmental changes affect the agent’s decision-making. As part of the bachelor’s thesis, an agent’s decision-making simulation environment is created, in which the agent is trained using the reinforcement learning method. This environment is built on the development environment of the Unity game engine using the ML-Agents plugin, which allows the application of stimulated learning methods in the Unity environment. The agent is trained to perform the defined task several times in the created environment to determine how much the batch size affects the training process. The environment, the agent, and the agent’s goal and task were defined in the course paper on which this bachelor's thesis is based. After training the agent, a trial simulation is performed, where the agent demonstrates how successfully it manages to perform the defined task in order to evaluate its efficiency and speed. In addition, an experiment is conducted, testing how successfully the agent is able to perform the same task in the changed environment. This bachelor’s thesis is useful for anyone who wants to gain in-depth knowledge of reinforcement learning techniques and their application to the simulation of agent decision-making in the Unity game engine environment.