1장. 강화학습의 개요 __강화학습 소개 ______강화학습과 지도학습의 비교 ____강화학습의 역사 ____딥 강화학습 __강화학습의 구성 요소 ____폴리시 ____가치함수 ____보상 ____모델 __강화학습 애플리케이션 ____게임 ____로봇과 인더스트리 4.0 ____기계학습 ____경제와 금융 ____헬스케어 ____지능형 교통시스템 ____에너지 최적화와 스마트 그리드 __요약 __질문 __심화학습 자료
2장. 강화학습 사이클과 OpenAI Gym 구현하기 __환경 설정하기 ____OpenAI Gym 설치하기 ____로보스쿨 설치하기 __OpenAI Gym과 강화학습 사이클 ____강화학습 사이클 개발하기 ____공간에 익숙해지기 ____텐서플로우 2.X ________즉시 실행 ________오토그래프 __텐서플로우 기반 기계학습 모델 개발 ____텐서 ________상수 ________변수 ________그래프 생성하기 ____간단한 선형회귀 예제 ____텐서보드 도입하기 __강화학습 환경의 유형 ____왜 다른 환경인가? ____오픈소스 환경 __요약 __질문 __심화학습 자료
3장. 동적 프로그래밍DP으로 문제 해결하기 __MDP ____폴리시 ____감가율과 리턴 ____가치함수 ____벨만 방정식 __강화학습 알고리듬 분류 ____모델 프리 알고리듬 ________가치 기반 알고리듬 ________폴리시 그래디언트 알고리듬 ________액터 크리틱 알고리듬 ________하이브리드 알고리듬 ____모델 기반 강화학습 ____알고리듬 다양화 __DP ____폴리시 평가와 폴리시 개선 ____폴리시 이터레이션 ________프로즌레이크에 적용된 폴리시 이터레이션 ____가치 이터레이션 ________프로즌레이크에 적용한 가치 이터레이션 __요약 __질문 __심화학습 자료
2부. 모델 프리 강화학습 알고리듬
4장. Q-러닝과 SARSA 애플리케이션 __모델없이 학습하기 ____사용자 경험 ____폴리시 평가 ____탐색 문제 ________왜 탐색해야 하는가? ________탐색 방법 __시간차 학습 ____시간차 업데이트 ____폴리시 개선 ____몬테카를로와 시간차 비교 __SARSA ____알고리듬 __Taxi-v2에 SARSA 적용하기 __Q-러닝 ____이론 ____알고리듬 __Taxi-v2에 Q-러닝 적용하기 ____SARSA와 Q-러닝 비교 __요약 __질문
5장. Deep Q-Network __심층신경망과 Q-러닝 ____함수 근사 ____신경망을 이용한 Q-러닝 ____딥 Q-러닝의 불안정성 __DQN ____해결책 ________리플레이 메모리 ________타깃 네트워크 ____DQN 알고리듬 ________손실함수 ________의사코드 ____모델 아키텍처 __DQN을 퐁에 적용하기 ____아타리 게임 ____전 처리 ____DQN 구현 ________DNN ________경험 버퍼 ________계산 그래프와 훈련 루프 ____결과 __DQN 개선 알고리듬 ____Double DQN ________DDQN 구현 ________결과 ____DQN 듀얼링하기 ________듀얼링 DQN 구현 ________결과 ____N-스텝 DQN ________구현 ________결과 __요약 __질문 __심화학습 자료
6장. 확률 기반 PG 최적화 학습 __폴리시 그래디언트 메소드 ____폴리시의 그래디언트 ____폴리시 그래디언트 정리 ____그래디언트 계산하기 ____폴리시 ____온-폴리시 PG __REINFORCE 알고리듬 이해하기 ____REINFORCE 구현하기 ____REINFORCE를 이용해 탐사선 착륙시키기 ________결과 분석하기 __베이스라인이 있는 REINFORCE ____베이스라인으로 REINFORCE 구현하기 __AC 알고리듬 학습하기 ____액터가 학습하도록 돕기 위해 크리틱 사용하기 ____n-step AC 모델 ____AC 구현 ____AC를 사용해 탐사선spacecraft 착륙시키기 ____고급 AC 팁과 트릭 __요약 __질문 __심화학습 자료
7장. TRPO와 PPO 구현 __로보스쿨 ____연속 시스템 제어 __Natural Policy Gradient ____NPG에 대한 아이디어 ____수학적 개념 ________FIM과 KL 발산 ____NG 문제 __TRPO ____TRPO 알고리듬 ____TRPO 알고리듬 구현 ____TRPO 애플리케이션 __Proximal Policy Optimization ____PPO의 개요 ____PPO 알고리듬 ____PPO의 구현 ____PPO 애플리케이션 __요약 __질문 __심화학습 자료
9장. 모델 기반 강화학습 __모델 기반 메소드 ____모델 기반 학습에 대한 폭넓은 관점 ________알려진 모델 ________미지의 모델 ____장단점 __모델 기반 학습과 모델 프리 학습 결합하기 ____모델 기반과 모델 프리 접근법의 유용한 조합 ____이미지에서 모델 만들기 __역진자에 적용한 ME-TRPO 모델 ____ME-TRPO 이해하기 ____ME-TRPO 구현하기 ____로보스쿨 실험하기 ________로보스쿨 역진자 실험 결과 __요약 __질문 __심화학습 자료
10장. DAgger 알고리듬으로 모방 학습하기 __기술적 요구 사항 ____Flappy Bird 설치 __모방 접근 ____운전 보조 사례 ____IL과 RL 비교하기 ____모방 학습에서 전문가의 역할 ____IL 구조 ________수동 모방과 능동 모방 비교하기 __Flappy Bird 게임하기 ____환경을 이용하는 방법 __데이터 집합dataset 집계 알고리듬 이해하기 ____DAgger 알고리듬 ____DAgger의 구현 ________전문가 추론 모델 적재 ________학습자의 계산 그래프 만들기 ________DAgger loop 만들기 ____Flappy Bird 결과 분석 __IRL __요약 __질문 __심화학습 자료
11장. 블랙박스 최적화 알고리듬 이해하기 __강화학습의 대안 ____강화학습에 대한 간단한 요약 ____대안 ________EAs __EA의 핵심 ____유전자 알고리듬GA ____진화 전략 ________CMA-ES ________ES 대 RL __확장 가능한 진화 전략 ____핵심 ________ES 병렬화하기 ________다른 트릭 ________의사 코드 ____확장 가능한 구현 ________메인 함수 ________작업자 __확장 가능한 ES를 LunarLander에 적용하기 __요약 __질문 __심화학습 자료
12장. ESBAS 알고리듬 개발하기 __탐색 대 활용 ____멀티 암드 밴딧 __탐색 접근법 ____탐욕 전략 ____UCB 알고리듬 ________UCB1 ____탐색 복잡도 __ESBAS ____알고리듬 선택 알아보기 ____ESBAS 내부 구조 ____구현 ____Acrobot 실행하기 ________결과 __요약 __질문 __심화학습 자
13장. 강화학습 문제를 해결하기 위한 실제 구현 __딥 강화학습의 모범 사례 ____적합한 알고리듬 선택하기 ____강화학습 알고리듬 개발하기 __딥 강화학습의 도전 과제 ____안정성과 재현성 ____효율성 ____일반화 __고급 기술 ____비지도 강화학습 ________내재적 보상 ____전이 학습 ________전이 학습의 유형 __현실에서의 강화학습 ____강화학습을 현실에 적용할 때 해결해야 할 문제 ____시뮬레이션과 현실 사이의 차이 줄이기 ____자기만의 환경 만들기 __강화학습의 미래와 사회에 미치는 영향 __요약 __질문 __심화학습 자료
★ 지은이의 말 ★
강화학습은 변화하는 요구 사항에 근거해 이상적 행동을 자동으로 결정할 수 있는 스마트한 모델과 에이전트를 만드는 인기 있고 유망한 인공지능 분야다. 이 책은 에이전트를 개발할 때 강화학습 알고리듬을 마스터하고 구현하는 것을 이해할 수 있도록 도와준다. 강화학습 환경에서 작업해야 하는 도구, 라이브러리, 셋업 소개를 시작으로 강화학습의 빌딩 블록을 다루고 Q-러닝과 SARSA 알고리듬을 응용하는 (등의) 가치 기반 메소드를 상세하게 알아본다. 복잡한 문제를 해결하기 위해 Q-러닝과 신경망의 조합을 이용하는 방법을 소개한다. DDPG와 TD3 같은 결정적 알고리듬을 학습하기 전에 성능과 안정성을 개선하기 위한 폴리시 그래디언트 메소드, TRPO, PPO를 학습할 것이다. 또한 이미테이션 학습 기술이 작동하는 방법과 DAgger가 에이전트를 훈련시키는 방법을 다룬다. 진화 전략과 블랙박스 최적화 기술을 다룬 다음, UCB와 UCB1 같은 탐색 접근법을 학습하고 ESBAS라는 메타 알고리듬을 개발해본다. 이 책을 마칠 시점에는 현실 문제를 해결하기 위해 강화학습 알고리듬을 활용할 수 있는 역량을 갖추고 강화학습 연구 모임에 참여할 수 있을 것이다
총 
바보 빅터
