CH9. 정책기반 Agent

바닥부터 배우는 강화 학습(노승은) 을 읽고 정리한 페이지 내용입니다.

코드는 https://github.com/seungeunrho를 참고하였습닌다.

정책기반 Agent 예시 코드

import gym
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.distributions import Categorical
 
#Hyperparameters
learning_rate = 0.0002
gamma         = 0.98
 
class Policy(nn.Module):
    def __init__(self):
        super(Policy, self).__init__()
        self.data = []
        
        self.fc1 = nn.Linear(4, 128)
        self.fc2 = nn.Linear(128, 2)
        self.optimizer = optim.Adam(self.parameters(), lr=learning_rate)
        
    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = F.softmax(self.fc2(x), dim=0)
        return x
      
    def put_data(self, item):
        self.data.append(item)
        
    def train_net(self): # 에피소드가 끝나면 모인 data로 업데이트, data는 에피소드마다 초기화
        R = 0
        self.optimizer.zero_grad()
        for r, prob in self.data[::-1]: # 뒤에서 부터 하나씩 꺼냅니다.
            R = r + gamma * R # 뒤에서 부터 꺼내면서 총 리워드 계산
            loss = -torch.log(prob) * R # - 는 gardient ascent라서 붙여준다. 비슷해 져야 하거든
            loss.backward() # 자동미분
        self.optimizer.step() # 고! 실행!
        self.data = []
 
def main():
    env = gym.make('CartPole-v1')
    pi = Policy()
    score = 0.0
    print_interval = 20
    
    for n_epi in range(10000):
        s = env.reset()
        done = False
        
        while not done: # CartPole-v1 forced to terminates at 500 step.
            prob = pi(torch.from_numpy(s).float()) # 상태에 대한 action의 확률
            m = Categorical(prob)
            a = m.sample() # action sampling
            s_prime, r, done, info = env.step(a.item()) # 다음 한 액션 진행
            pi.put_data((r,prob[a])) # 바로받는 리워드와 a의 확률
            s = s_prime # 이동합니다
            score += r # 점수는 계속 더해줍니다.
            
        pi.train_net() # 에피소드가 끝나면 업데이트 해줍니다.
        
        if n_epi%print_interval==0 and n_epi!=0:
            print("# of episode :{}, avg score : {}".format(n_epi, score/print_interval))
            score = 0.0
    env.close()
    
if __name__ == '__main__':
    main()