マルコフ意志決定過程
Markov Decision Process (MDP)

MDPとは?


アクセス可能で不確実な環境において，状態遷移モデルが既知のときに 最適戦略(方策)を計算する問題．

1. アクセス可能とは?

2. マルコフ性とは?

強化学習の環境


MDP では以下が規定されている．

1. エージェントは環境の状態集合 S(有限) を知覚する
2. アクション集合 A(有限) を環境に対して遂行できる
3. 2の結果，環境から報酬を受取る
4. 時間軸として離散時間を用いる



状態，行為，報酬の規定


表記および定義

状態 s_t: 時刻 t におけるエージェントの状態
行為 a_t: 時刻 t で実行され るエージェントの行為
次状態 s_t+1 (=δ (s_t, a_t)): 状態s_tで行為 a_t を実行することで得られる次状態
報酬 r_t (= r(s_t, a_t)): 状態s_tで行為 a_t を実行することで得られる報酬


関数δとrは環境の一部と考え，必ずしもエージェントに知られていないと仮定．

δ(s_t, a_t) とr(s_t, a_t)は現在の状態 (s_t)と現在の行為(a_t) に依存し，それ以前の状態や行為には依存しないと仮定．

MDPの例とエージェントのタスク


(MDPの例)



エージェントのタスク: この世界で報酬を最大化する行動系列 (現在の観 察された状態 s_tに基づいて行為 a_tを決めるための 制御ポリシーπ(s_t) = a_t を学習すること．

...Return

• 講義の詳細