[NDC22-프로그래밍] 리니지: 거울전쟁

● 발표분야: 프로그래밍

● 발표자: 엔씨소프트 한태경, 박현수 / NCSOFT Tea Kyung Han, Hyunsoo Park

● 권장 대상: AI Engineer

● 키워드: #포스트모템 #강화학습 #AI_라이브_서비스

 

1. 리니지 : 거울전쟁 소개

 

2. 강화학습에서 도전과제와 해결방법

2-1 계층형 의사결정 구조

- 기존대로 하면 경우의 수가 너무 많아짐

- 강화학습을 하기 위해 많은 자원이 필요하게 됨

- 복잡한 지형때문에 장거리 탐색이 힘듦

2-2 고수준 액션 사용

 

2-3 AI 행동 조정

 

---------

Hierarchical RL을 이용한 고수준 policy 학습 필요

- HRL은 이 문제에 대한 대표적인 방법

- 배치 policy 관련 많은 문제는 기계학습/강화학습 기술로 완화 가능

 

3. 강화학습 프레임워크

온라인 게임의 강화학습 문제

- Game Environment가 끊임없이 변함 (스킬추가, 아이템, 스텟 등)

- 업데이트 반영이 늦을 경우 Agent 성능 저하

- 반복적인 작업으로 생산정 저하

-> 평균 20일 동안 110회의 데이터 및 코드 업데이트

 

4. 결론