notebooks/chapter_02/chapter-02.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# MDPs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 0, 0.0, True)]},\n",
       " 1: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 2, 1.0, True)]},\n",
       " 2: {0: [(1.0, 2, 0.0, True)], 1: [(1.0, 2, 0.0, True)]}}"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Bandit Walk: \n",
    "# deterministic environment (100% action success)\n",
    "# 1 non-terminal states, 2 terminal states\n",
    "# only reward is still at the right-most cell in the \"walk\"\n",
    "# episodic environment, the agent terminates at the left- or right-most cell (after 1 action selection -- any action)\n",
    "# agent starts in state 1 (middle of the walk) T-1-T\n",
    "# actions left (0) or right (1)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 0, 0.0, True)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 2, 1.0, True)]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(1.0, 2, 0.0, True)],\n",
    "        1: [(1.0, 2, 0.0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_walk\n",
    "# P = gym.make('BanditWalk-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 0, 0.0, True)]},\n",
       " 1: {0: [(0.8, 0, 0.0, True), (0.2, 2, 1.0, True)],\n",
       "  1: [(0.8, 2, 1.0, True), (0.2, 0, 0.0, True)]},\n",
       " 2: {0: [(1.0, 2, 0.0, True)], 1: [(1.0, 2, 0.0, True)]}}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Bandit Slippery Walk: \n",
    "# stochastic environment (80% action success, 20% backwards)\n",
    "# 1 non-terminal states, 2 terminal states\n",
    "# only reward is still at the right-most cell in the \"walk\"\n",
    "# episodic environment, the agent terminates at the left- or right-most cell\n",
    "# agent starts in state 1 (middle of the walk) T-1-T\n",
    "# actions left (0) or right (1)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 0, 0.0, True)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(0.8, 0, 0.0, True), (0.2, 2, 1.0, True)],\n",
    "        1: [(0.8, 2, 1.0, True), (0.2, 0, 0.0, True)]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(1.0, 2, 0.0, True)],\n",
    "        1: [(1.0, 2, 0.0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_walk\n",
    "# P = gym.make('BanditSlipperyWalk-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 0, 0.0, True)]},\n",
       " 1: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 2, 0.0, False)]},\n",
       " 2: {0: [(1.0, 1, 0.0, False)], 1: [(1.0, 3, 0.0, False)]},\n",
       " 3: {0: [(1.0, 2, 0.0, False)], 1: [(1.0, 4, 1.0, True)]},\n",
       " 4: {0: [(1.0, 4, 0.0, True)], 1: [(1.0, 4, 0.0, True)]}}"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Walk three: \n",
    "# deterministic environment\n",
    "# 3 non-terminal states, 2 terminal states\n",
    "# only reward is at the right-most cell in the walk\n",
    "# episodic environment, the agent terminates at the left- or right-most cell\n",
    "# agent starts in state 2 (middle of the walk) T-1-2-3-T\n",
    "# actions left (0) or right (1)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 0, 0.0, True)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 2, 0.0, False)]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(1.0, 1, 0.0, False)],\n",
    "        1: [(1.0, 3, 0.0, False)]\n",
    "    },\n",
    "    3: {\n",
    "        0: [(1.0, 2, 0.0, False)],\n",
    "        1: [(1.0, 4, 1.0, True)]\n",
    "    },\n",
    "    4: {\n",
    "        0: [(1.0, 4, 0.0, True)],\n",
    "        1: [(1.0, 4, 0.0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_walk\n",
    "# P = gym.make('WalkThree-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 0, 0.0, True)]},\n",
       " 1: {0: [(0.5000000000000001, 0, 0.0, True),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.16666666666666666, 2, 0.0, False)],\n",
       "  1: [(0.5000000000000001, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.16666666666666666, 0, 0.0, True)]},\n",
       " 2: {0: [(0.5000000000000001, 1, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.16666666666666666, 3, 0.0, False)],\n",
       "  1: [(0.5000000000000001, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.16666666666666666, 1, 0.0, False)]},\n",
       " 3: {0: [(0.5000000000000001, 2, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.16666666666666666, 4, 1.0, True)],\n",
       "  1: [(0.5000000000000001, 4, 1.0, True),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.16666666666666666, 2, 0.0, False)]},\n",
       " 4: {0: [(1.0, 4, 0.0, True)], 1: [(1.0, 4, 0.0, True)]}}"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Slippery Walk Three: \n",
    "# stochastic environment (50% action success, 33.33% stays, 16.66% backwards)\n",
    "# 3 non-terminal states, 2 terminal states\n",
    "# only reward is still at the right-most cell in the walk\n",
    "# episodic environment, the agent terminates at the left- or right-most cell\n",
    "# agent starts in state 2 (middle of the walk) T-1-2-3-T\n",
    "# actions left (0) or right (1)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 0, 0.0, True)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(0.5000000000000001, 0, 0.0, True),\n",
    "            (0.3333333333333333, 1, 0.0, False),\n",
    "            (0.16666666666666666, 2, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.5000000000000001, 2, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False),\n",
    "            (0.16666666666666666, 0, 0.0, True)\n",
    "        ]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(0.5000000000000001, 1, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.16666666666666666, 3, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.5000000000000001, 3, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.16666666666666666, 1, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    3: {\n",
    "        0: [(0.5000000000000001, 2, 0.0, False),\n",
    "            (0.3333333333333333, 3, 0.0, False),\n",
    "            (0.16666666666666666, 4, 1.0, True)\n",
    "        ],\n",
    "        1: [(0.5000000000000001, 4, 1.0, True),\n",
    "            (0.3333333333333333, 3, 0.0, False),\n",
    "            (0.16666666666666666, 2, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    4: {\n",
    "        0: [(1.0, 4, 0.0, True)],\n",
    "        1: [(1.0, 4, 0.0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_walk\n",
    "# P = gym.make('SlipperyWalkThree-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(1.0, 0, 0.0, True)], 1: [(1.0, 0, 0.0, True)]},\n",
       " 1: {0: [(0.5, 0, 0.0, True), (0.5, 2, 0.0, False)],\n",
       "  1: [(0.5, 2, 0.0, False), (0.5, 0, 0.0, True)]},\n",
       " 2: {0: [(0.5, 1, 0.0, False), (0.5, 3, 0.0, False)],\n",
       "  1: [(0.5, 3, 0.0, False), (0.5, 1, 0.0, False)]},\n",
       " 3: {0: [(0.5, 2, 0.0, False), (0.5, 4, 0.0, False)],\n",
       "  1: [(0.5, 4, 0.0, False), (0.5, 2, 0.0, False)]},\n",
       " 4: {0: [(0.5, 3, 0.0, False), (0.5, 5, 0.0, False)],\n",
       "  1: [(0.5, 5, 0.0, False), (0.5, 3, 0.0, False)]},\n",
       " 5: {0: [(0.5, 4, 0.0, False), (0.5, 6, 1.0, True)],\n",
       "  1: [(0.5, 6, 1.0, True), (0.5, 4, 0.0, False)]},\n",
       " 6: {0: [(1.0, 6, 0.0, True)], 1: [(1.0, 6, 0.0, True)]}}"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Random Walk: \n",
    "# highly stochastic environment (50% action success, 50% backwards)\n",
    "# 5 non-terminal states, 2 terminal states\n",
    "# only reward is still at the right-most cell in the \"walk\"\n",
    "# episodic environment, the agent terminates at the left- or right-most cell\n",
    "# agent starts in state 3 (middle of the walk) T-1-2-3-4-5-T\n",
    "# actions left (0) or right (1), which don't really make a difference since walk is random\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(1.0, 0, 0.0, True)],\n",
    "        1: [(1.0, 0, 0.0, True)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(0.5, 0, 0.0, True), (0.5, 2, 0.0, False)],\n",
    "        1: [(0.5, 2, 0.0, False), (0.5, 0, 0.0, True)]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(0.5, 1, 0.0, False), (0.5, 3, 0.0, False)],\n",
    "        1: [(0.5, 3, 0.0, False), (0.5, 1, 0.0, False)]\n",
    "    },\n",
    "    3: {\n",
    "        0: [(0.5, 2, 0.0, False), (0.5, 4, 0.0, False)],\n",
    "        1: [(0.5, 4, 0.0, False), (0.5, 2, 0.0, False)]\n",
    "    },\n",
    "    4: {\n",
    "        0: [(0.5, 3, 0.0, False), (0.5, 5, 0.0, False)],\n",
    "        1: [(0.5, 5, 0.0, False), (0.5, 3, 0.0, False)]\n",
    "    },\n",
    "    5: {\n",
    "        0: [(0.5, 4, 0.0, False), (0.5, 6, 1.0, True)],\n",
    "        1: [(0.5, 6, 1.0, True), (0.5, 4, 0.0, False)]\n",
    "    },\n",
    "    6: {\n",
    "        0: [(1.0, 6, 0.0, True)],\n",
    "        1: [(1.0, 6, 0.0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_walk\n",
    "# P = gym.make('RandomWalk-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(0.9, 0, -0.04, False), (0.1, 4, -0.04, False)],\n",
       "  1: [(0.1, 0, -0.04, False), (0.8, 4, -0.04, False), (0.1, 1, -0.04, False)],\n",
       "  2: [(0.1, 4, -0.04, False), (0.8, 1, -0.04, False), (0.1, 0, -0.04, False)],\n",
       "  3: [(0.1, 1, -0.04, False), (0.8, 0, -0.04, False), (0.1, 0, -0.04, False)]},\n",
       " 1: {0: [(0.2, 1, -0.04, False), (0.8, 0, -0.04, False)],\n",
       "  1: [(0.1, 0, -0.04, False), (0.8, 1, -0.04, False), (0.1, 2, -0.04, False)],\n",
       "  2: [(0.1, 1, -0.04, False), (0.8, 2, -0.04, False), (0.1, 1, -0.04, False)],\n",
       "  3: [(0.1, 2, -0.04, False), (0.8, 1, -0.04, False), (0.1, 0, -0.04, False)]},\n",
       " 2: {0: [(0.1, 2, -0.04, False),\n",
       "   (0.8, 1, -0.04, False),\n",
       "   (0.1, 6, -0.04, False)],\n",
       "  1: [(0.1, 1, -0.04, False), (0.8, 6, -0.04, False), (0.1, 3, 0.96, True)],\n",
       "  2: [(0.1, 6, -0.04, False), (0.8, 3, 0.96, True), (0.1, 2, -0.04, False)],\n",
       "  3: [(0.1, 3, 0.96, True), (0.8, 2, -0.04, False), (0.1, 1, -0.04, False)]},\n",
       " 3: {0: [(1.0, 3, 0, True)],\n",
       "  1: [(1.0, 3, 0, True)],\n",
       "  2: [(1.0, 3, 0, True)],\n",
       "  3: [(1.0, 3, 0, True)]},\n",
       " 4: {0: [(0.1, 0, -0.04, False),\n",
       "   (0.8, 4, -0.04, False),\n",
       "   (0.1, 8, -0.04, False)],\n",
       "  1: [(0.2, 4, -0.04, False), (0.8, 8, -0.04, False)],\n",
       "  2: [(0.1, 8, -0.04, False), (0.8, 4, -0.04, False), (0.1, 0, -0.04, False)],\n",
       "  3: [(0.2, 4, -0.04, False), (0.8, 0, -0.04, False)]},\n",
       " 5: {0: [(1.0, 5, 0, True)],\n",
       "  1: [(1.0, 5, 0, True)],\n",
       "  2: [(1.0, 5, 0, True)],\n",
       "  3: [(1.0, 5, 0, True)]},\n",
       " 6: {0: [(0.1, 2, -0.04, False),\n",
       "   (0.8, 6, -0.04, False),\n",
       "   (0.1, 10, -0.04, False)],\n",
       "  1: [(0.1, 6, -0.04, False), (0.8, 10, -0.04, False), (0.1, 7, -1.04, True)],\n",
       "  2: [(0.1, 10, -0.04, False), (0.8, 7, -1.04, True), (0.1, 2, -0.04, False)],\n",
       "  3: [(0.1, 7, -1.04, True), (0.8, 2, -0.04, False), (0.1, 6, -0.04, False)]},\n",
       " 7: {0: [(1.0, 7, 0, True)],\n",
       "  1: [(1.0, 7, 0, True)],\n",
       "  2: [(1.0, 7, 0, True)],\n",
       "  3: [(1.0, 7, 0, True)]},\n",
       " 8: {0: [(0.1, 4, -0.04, False), (0.9, 8, -0.04, False)],\n",
       "  1: [(0.9, 8, -0.04, False), (0.1, 9, -0.04, False)],\n",
       "  2: [(0.1, 8, -0.04, False), (0.8, 9, -0.04, False), (0.1, 4, -0.04, False)],\n",
       "  3: [(0.1, 9, -0.04, False), (0.8, 4, -0.04, False), (0.1, 8, -0.04, False)]},\n",
       " 9: {0: [(0.2, 9, -0.04, False), (0.8, 8, -0.04, False)],\n",
       "  1: [(0.1, 8, -0.04, False), (0.8, 9, -0.04, False), (0.1, 10, -0.04, False)],\n",
       "  2: [(0.2, 9, -0.04, False), (0.8, 10, -0.04, False)],\n",
       "  3: [(0.1, 10, -0.04, False),\n",
       "   (0.8, 9, -0.04, False),\n",
       "   (0.1, 8, -0.04, False)]},\n",
       " 10: {0: [(0.1, 6, -0.04, False),\n",
       "   (0.8, 9, -0.04, False),\n",
       "   (0.1, 10, -0.04, False)],\n",
       "  1: [(0.1, 9, -0.04, False),\n",
       "   (0.8, 10, -0.04, False),\n",
       "   (0.1, 11, -0.04, False)],\n",
       "  2: [(0.1, 10, -0.04, False),\n",
       "   (0.8, 11, -0.04, False),\n",
       "   (0.1, 6, -0.04, False)],\n",
       "  3: [(0.1, 11, -0.04, False),\n",
       "   (0.8, 6, -0.04, False),\n",
       "   (0.1, 9, -0.04, False)]},\n",
       " 11: {0: [(0.1, 7, -1.04, True),\n",
       "   (0.8, 10, -0.04, False),\n",
       "   (0.1, 11, -0.04, False)],\n",
       "  1: [(0.1, 10, -0.04, False), (0.9, 11, -0.04, False)],\n",
       "  2: [(0.9, 11, -0.04, False), (0.1, 7, -1.04, True)],\n",
       "  3: [(0.1, 11, -0.04, False),\n",
       "   (0.8, 7, -1.04, True),\n",
       "   (0.1, 10, -0.04, False)]}}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Russell and Norvig's Gridworld: \n",
    "# stochastic environment (80% action success, 20.00% split evenly in right angles)\n",
    "# 3x4 grid, 12 states 0-11\n",
    "# -0.04 time step penalty, \n",
    "# +1 for landing in state 3 (top right corner), \n",
    "# -1 for landing in state 7 (below state 3)\n",
    "# state 5 is a wall, agents attempting to get in that cell will bounce back\n",
    "# episodic environment, the agent terminates when it lands in state 3 or 7\n",
    "# agent starts in state 0 (top left corner)\n",
    "# actions left (0), down (1), right (2), up (3)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(0.9, 0, -0.04, False),\n",
    "            (0.1, 4, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 0, -0.04, False), (0.8, 4, -0.04, False), (0.1, 1, -0.04, False)],\n",
    "        2: [(0.1, 4, -0.04, False), (0.8, 1, -0.04, False), (0.1, 0, -0.04, False)],\n",
    "        3: [(0.1, 1, -0.04, False), (0.8, 0, -0.04, False), (0.1, 0, -0.04, False)]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(0.2, 1, -0.04, False),\n",
    "            (0.8, 0, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 0, -0.04, False), (0.8, 1, -0.04, False), (0.1, 2, -0.04, False)],\n",
    "        2: [(0.1, 1, -0.04, False), (0.8, 2, -0.04, False), (0.1, 1, -0.04, False)],\n",
    "        3: [(0.1, 2, -0.04, False), (0.8, 1, -0.04, False), (0.1, 0, -0.04, False)]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(0.1, 2, -0.04, False),\n",
    "            (0.8, 1, -0.04, False),\n",
    "            (0.1, 6, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 1, -0.04, False), (0.8, 6, -0.04, False), (0.1, 3, 0.96, True)],\n",
    "        2: [(0.1, 6, -0.04, False), (0.8, 3, 0.96, True), (0.1, 2, -0.04, False)],\n",
    "        3: [(0.1, 3, 0.96, True), (0.8, 2, -0.04, False), (0.1, 1, -0.04, False)]\n",
    "    },\n",
    "    3: {\n",
    "        0: [(1.0, 3, 0, True)],\n",
    "        1: [(1.0, 3, 0, True)],\n",
    "        2: [(1.0, 3, 0, True)],\n",
    "        3: [(1.0, 3, 0, True)]\n",
    "    },\n",
    "    4: {\n",
    "        0: [(0.1, 0, -0.04, False),\n",
    "            (0.8, 4, -0.04, False),\n",
    "            (0.1, 8, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.2, 4, -0.04, False), (0.8, 8, -0.04, False)],\n",
    "        2: [(0.1, 8, -0.04, False), (0.8, 4, -0.04, False), (0.1, 0, -0.04, False)],\n",
    "        3: [(0.2, 4, -0.04, False), (0.8, 0, -0.04, False)]\n",
    "    },\n",
    "    5: {\n",
    "        0: [(1.0, 5, 0, True)],\n",
    "        1: [(1.0, 5, 0, True)],\n",
    "        2: [(1.0, 5, 0, True)],\n",
    "        3: [(1.0, 5, 0, True)]\n",
    "    },\n",
    "    6: {\n",
    "        0: [(0.1, 2, -0.04, False),\n",
    "            (0.8, 6, -0.04, False),\n",
    "            (0.1, 10, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 6, -0.04, False), (0.8, 10, -0.04, False), (0.1, 7, -1.04, True)],\n",
    "        2: [(0.1, 10, -0.04, False), (0.8, 7, -1.04, True), (0.1, 2, -0.04, False)],\n",
    "        3: [(0.1, 7, -1.04, True), (0.8, 2, -0.04, False), (0.1, 6, -0.04, False)]\n",
    "    },\n",
    "    7: {\n",
    "        0: [(1.0, 7, 0, True)],\n",
    "        1: [(1.0, 7, 0, True)],\n",
    "        2: [(1.0, 7, 0, True)],\n",
    "        3: [(1.0, 7, 0, True)]\n",
    "    },\n",
    "    8: {\n",
    "        0: [(0.1, 4, -0.04, False),\n",
    "            (0.9, 8, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.9, 8, -0.04, False), (0.1, 9, -0.04, False)],\n",
    "        2: [(0.1, 8, -0.04, False), (0.8, 9, -0.04, False), (0.1, 4, -0.04, False)],\n",
    "        3: [(0.1, 9, -0.04, False), (0.8, 4, -0.04, False), (0.1, 8, -0.04, False)]\n",
    "    },\n",
    "    9: {\n",
    "        0: [(0.2, 9, -0.04, False),\n",
    "            (0.8, 8, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 8, -0.04, False), (0.8, 9, -0.04, False), (0.1, 10, -0.04, False)],\n",
    "        2: [(0.2, 9, -0.04, False), (0.8, 10, -0.04, False)],\n",
    "        3: [(0.1, 10, -0.04, False),\n",
    "            (0.8, 9, -0.04, False),\n",
    "            (0.1, 8, -0.04, False)\n",
    "        ]\n",
    "    },\n",
    "    10: {\n",
    "        0: [(0.1, 6, -0.04, False),\n",
    "            (0.8, 9, -0.04, False),\n",
    "            (0.1, 10, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 9, -0.04, False),\n",
    "            (0.8, 10, -0.04, False),\n",
    "            (0.1, 11, -0.04, False)\n",
    "        ],\n",
    "        2: [(0.1, 10, -0.04, False),\n",
    "            (0.8, 11, -0.04, False),\n",
    "            (0.1, 6, -0.04, False)\n",
    "        ],\n",
    "        3: [(0.1, 11, -0.04, False),\n",
    "            (0.8, 6, -0.04, False),\n",
    "            (0.1, 9, -0.04, False)\n",
    "        ]\n",
    "    },\n",
    "    11: {\n",
    "        0: [(0.1, 7, -1.04, True),\n",
    "            (0.8, 10, -0.04, False),\n",
    "            (0.1, 11, -0.04, False)\n",
    "        ],\n",
    "        1: [(0.1, 10, -0.04, False),\n",
    "            (0.9, 11, -0.04, False)\n",
    "        ],\n",
    "        2: [(0.9, 11, -0.04, False), (0.1, 7, -1.04, True)],\n",
    "        3: [(0.1, 11, -0.04, False),\n",
    "            (0.8, 7, -1.04, True),\n",
    "            (0.1, 10, -0.04, False)\n",
    "        ]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym, gym_aima\n",
    "# P = gym.make('RussellNorvigGridworld-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(0.6666666666666666, 0, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.6666666666666666, 0, 0.0, False)]},\n",
       " 1: {0: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)]},\n",
       " 2: {0: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)]},\n",
       " 3: {0: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, True),\n",
       "   (0.3333333333333333, 3, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 7, 0.0, True), (0.6666666666666666, 3, 0.0, False)],\n",
       "  3: [(0.6666666666666666, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)]},\n",
       " 4: {0: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 0, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)]},\n",
       " 5: {0: [(1.0, 5, 0, True)],\n",
       "  1: [(1.0, 5, 0, True)],\n",
       "  2: [(1.0, 5, 0, True)],\n",
       "  3: [(1.0, 5, 0, True)]},\n",
       " 6: {0: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, True),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 7, 0.0, True),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True)]},\n",
       " 7: {0: [(1.0, 7, 0, True)],\n",
       "  1: [(1.0, 7, 0, True)],\n",
       "  2: [(1.0, 7, 0, True)],\n",
       "  3: [(1.0, 7, 0, True)]},\n",
       " 8: {0: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, True),\n",
       "   (0.3333333333333333, 9, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 12, 0.0, True),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)]},\n",
       " 9: {0: [(0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, True),\n",
       "   (0.3333333333333333, 8, 0.0, False)]},\n",
       " 10: {0: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, True),\n",
       "   (0.3333333333333333, 6, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 11, 0.0, True),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)]},\n",
       " 11: {0: [(1.0, 11, 0, True)],\n",
       "  1: [(1.0, 11, 0, True)],\n",
       "  2: [(1.0, 11, 0, True)],\n",
       "  3: [(1.0, 11, 0, True)]},\n",
       " 12: {0: [(1.0, 12, 0, True)],\n",
       "  1: [(1.0, 12, 0, True)],\n",
       "  2: [(1.0, 12, 0, True)],\n",
       "  3: [(1.0, 12, 0, True)]},\n",
       " 13: {0: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, True),\n",
       "   (0.3333333333333333, 13, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 12, 0.0, True),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, True)]},\n",
       " 14: {0: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 15, 1.0, True)],\n",
       "  2: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 15, 1.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 15, 1.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)]},\n",
       " 15: {0: [(1.0, 15, 0, True)],\n",
       "  1: [(1.0, 15, 0, True)],\n",
       "  2: [(1.0, 15, 0, True)],\n",
       "  3: [(1.0, 15, 0, True)]}}"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Frozen Lake Gridworld: \n",
    "# highly stochastic environment (33.33% action success, 66.66% split evenly in right angles)\n",
    "# 4x4 grid, 16 states 0-15\n",
    "# +1 for landing in state 15 (top bottom corner) 0 otherwise\n",
    "# states 5, 7, 11, and 12 are holes, agents die in holes, no penalty, just end of episode\n",
    "# state 15 is the goal, reaching it ends the episode too\n",
    "# agent starts in state 0 (top left corner)\n",
    "# actions left (0), down (1), right (2), up (3)\n",
    "P = {\n",
    "    0: {\n",
    "        0: [(0.6666666666666666, 0, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 0, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False),\n",
    "            (0.3333333333333333, 0, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 1, 0.0, False),\n",
    "            (0.6666666666666666, 0, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    1: {\n",
    "        0: [(0.3333333333333333, 1, 0.0, False),\n",
    "            (0.3333333333333333, 0, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 0, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 2, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False),\n",
    "            (0.3333333333333333, 0, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    2: {\n",
    "        0: [(0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False),\n",
    "            (0.3333333333333333, 6, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 1, 0.0, False),\n",
    "            (0.3333333333333333, 6, 0.0, False),\n",
    "            (0.3333333333333333, 3, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 6, 0.0, False),\n",
    "            (0.3333333333333333, 3, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 3, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 1, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    3: {\n",
    "        0: [(0.3333333333333333, 3, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 7, 0.0, True)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 7, 0.0, True),\n",
    "            (0.3333333333333333, 3, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 7, 0.0, True),\n",
    "            (0.6666666666666666, 3, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.6666666666666666, 3, 0.0, False),\n",
    "            (0.3333333333333333, 2, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    4: {\n",
    "        0: [(0.3333333333333333, 0, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 8, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 0, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 0, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    5: {\n",
    "        0: [(1.0, 5, 0, True)],\n",
    "        1: [(1.0, 5, 0, True)],\n",
    "        2: [(1.0, 5, 0, True)],\n",
    "        3: [(1.0, 5, 0, True)]\n",
    "    },\n",
    "    6: {\n",
    "        0: [(0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 10, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 7, 0.0, True)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 7, 0.0, True),\n",
    "            (0.3333333333333333, 2, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 7, 0.0, True),\n",
    "            (0.3333333333333333, 2, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True)\n",
    "        ]\n",
    "    },\n",
    "    7: {\n",
    "        0: [(1.0, 7, 0, True)],\n",
    "        1: [(1.0, 7, 0, True)],\n",
    "        2: [(1.0, 7, 0, True)],\n",
    "        3: [(1.0, 7, 0, True)]\n",
    "    },\n",
    "    8: {\n",
    "        0: [(0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 12, 0.0, True)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 12, 0.0, True),\n",
    "            (0.3333333333333333, 9, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 12, 0.0, True),\n",
    "            (0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 4, 0.0, False),\n",
    "            (0.3333333333333333, 8, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    9: {\n",
    "        0: [(0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 13, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 8, 0.0, False),\n",
    "            (0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 10, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 5, 0.0, True),\n",
    "            (0.3333333333333333, 8, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    10: {\n",
    "        0: [(0.3333333333333333, 6, 0.0, False),\n",
    "            (0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 11, 0.0, True)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 11, 0.0, True),\n",
    "            (0.3333333333333333, 6, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 11, 0.0, True),\n",
    "            (0.3333333333333333, 6, 0.0, False),\n",
    "            (0.3333333333333333, 9, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    11: {\n",
    "        0: [(1.0, 11, 0, True)],\n",
    "        1: [(1.0, 11, 0, True)],\n",
    "        2: [(1.0, 11, 0, True)],\n",
    "        3: [(1.0, 11, 0, True)]\n",
    "    },\n",
    "    12: {\n",
    "        0: [(1.0, 12, 0, True)],\n",
    "        1: [(1.0, 12, 0, True)],\n",
    "        2: [(1.0, 12, 0, True)],\n",
    "        3: [(1.0, 12, 0, True)]\n",
    "    },\n",
    "    13: {\n",
    "        0: [(0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 12, 0.0, True),\n",
    "            (0.3333333333333333, 13, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 12, 0.0, True),\n",
    "            (0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 9, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 9, 0.0, False),\n",
    "            (0.3333333333333333, 12, 0.0, True)\n",
    "        ]\n",
    "    },\n",
    "    14: {\n",
    "        0: [(0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False)\n",
    "        ],\n",
    "        1: [(0.3333333333333333, 13, 0.0, False),\n",
    "            (0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 15, 1.0, True)\n",
    "        ],\n",
    "        2: [(0.3333333333333333, 14, 0.0, False),\n",
    "            (0.3333333333333333, 15, 1.0, True),\n",
    "            (0.3333333333333333, 10, 0.0, False)\n",
    "        ],\n",
    "        3: [(0.3333333333333333, 15, 1.0, True),\n",
    "            (0.3333333333333333, 10, 0.0, False),\n",
    "            (0.3333333333333333, 13, 0.0, False)\n",
    "        ]\n",
    "    },\n",
    "    15: {\n",
    "        0: [(1.0, 15, 0, True)],\n",
    "        1: [(1.0, 15, 0, True)],\n",
    "        2: [(1.0, 15, 0, True)],\n",
    "        3: [(1.0, 15, 0, True)]\n",
    "    }\n",
    "}\n",
    "\n",
    "# import gym\n",
    "# P = gym.make('FrozenLake-v0').env.P\n",
    "P"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0: {0: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)]},\n",
       " 1: {0: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)]},\n",
       " 2: {0: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)]},\n",
       " 3: {0: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)]},\n",
       " 4: {0: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False)]},\n",
       " 5: {0: [(0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)]},\n",
       " 6: {0: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False)]},\n",
       " 7: {0: [(0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False)]},\n",
       " 8: {0: [(0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 0, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)]},\n",
       " 9: {0: [(0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 1, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)]},\n",
       " 10: {0: [(0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 2, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)]},\n",
       " 11: {0: [(0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 12, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 3, 0.0, False),\n",
       "   (0.3333333333333333, 10, 0.0, False)]},\n",
       " 12: {0: [(0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 20, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 11, 0.0, False),\n",
       "   (0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 4, 0.0, False),\n",
       "   (0.3333333333333333, 11, 0.0, False)]},\n",
       " 13: {0: [(0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 5, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False)]},\n",
       " 14: {0: [(0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 6, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)]},\n",
       " 15: {0: [(0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 7, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)]},\n",
       " 16: {0: [(0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 8, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False)]},\n",
       " 17: {0: [(0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 9, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False)]},\n",
       " 18: {0: [(0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 26, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 10, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False)]},\n",
       " 19: {0: [(1.0, 19, 0, True)],\n",
       "  1: [(1.0, 19, 0, True)],\n",
       "  2: [(1.0, 19, 0, True)],\n",
       "  3: [(1.0, 19, 0, True)]},\n",
       " 20: {0: [(0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 28, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 12, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True)]},\n",
       " 21: {0: [(0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 22, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 13, 0.0, False),\n",
       "   (0.3333333333333333, 20, 0.0, False)]},\n",
       " 22: {0: [(0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 21, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 14, 0.0, False),\n",
       "   (0.3333333333333333, 21, 0.0, False)]},\n",
       " 23: {0: [(0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 15, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False)]},\n",
       " 24: {0: [(0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 16, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False)]},\n",
       " 25: {0: [(0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 26, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 17, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False)]},\n",
       " 26: {0: [(0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 34, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 34, 0.0, False),\n",
       "   (0.3333333333333333, 27, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 34, 0.0, False),\n",
       "   (0.3333333333333333, 27, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 27, 0.0, False),\n",
       "   (0.3333333333333333, 18, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False)]},\n",
       " 27: {0: [(0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 28, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 19, 0.0, True),\n",
       "   (0.3333333333333333, 26, 0.0, False)]},\n",
       " 28: {0: [(0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 27, 0.0, False),\n",
       "   (0.3333333333333333, 36, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 27, 0.0, False),\n",
       "   (0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 20, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 20, 0.0, False),\n",
       "   (0.3333333333333333, 27, 0.0, False)]},\n",
       " 29: {0: [(1.0, 29, 0, True)],\n",
       "  1: [(1.0, 29, 0, True)],\n",
       "  2: [(1.0, 29, 0, True)],\n",
       "  3: [(1.0, 29, 0, True)]},\n",
       " 30: {0: [(0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 38, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 22, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True)]},\n",
       " 31: {0: [(0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 23, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False)]},\n",
       " 32: {0: [(0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 40, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 24, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False)]},\n",
       " 33: {0: [(0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 41, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 41, 0.0, True),\n",
       "   (0.3333333333333333, 34, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 41, 0.0, True),\n",
       "   (0.3333333333333333, 34, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 34, 0.0, False),\n",
       "   (0.3333333333333333, 25, 0.0, False),\n",
       "   (0.3333333333333333, 32, 0.0, False)]},\n",
       " 34: {0: [(0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 42, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 33, 0.0, False),\n",
       "   (0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 35, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 26, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 26, 0.0, False),\n",
       "   (0.3333333333333333, 33, 0.0, False)]},\n",
       " 35: {0: [(1.0, 35, 0, True)],\n",
       "  1: [(1.0, 35, 0, True)],\n",
       "  2: [(1.0, 35, 0, True)],\n",
       "  3: [(1.0, 35, 0, True)]},\n",
       " 36: {0: [(0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 44, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 37, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 28, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 28, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True)]},\n",
       " 37: {0: [(0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 45, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 38, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 29, 0.0, True),\n",
       "   (0.3333333333333333, 36, 0.0, False)]},\n",
       " 38: {0: [(0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 39, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 30, 0.0, False),\n",
       "   (0.3333333333333333, 37, 0.0, False)]},\n",
       " 39: {0: [(0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 38, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 31, 0.0, False),\n",
       "   (0.3333333333333333, 38, 0.0, False)]},\n",
       " 40: {0: [(0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 41, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 41, 0.0, True),\n",
       "   (0.3333333333333333, 32, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 41, 0.0, True),\n",
       "   (0.3333333333333333, 32, 0.0, False),\n",
       "   (0.3333333333333333, 40, 0.0, False)]},\n",
       " 41: {0: [(1.0, 41, 0, True)],\n",
       "  1: [(1.0, 41, 0, True)],\n",
       "  2: [(1.0, 41, 0, True)],\n",
       "  3: [(1.0, 41, 0, True)]},\n",
       " 42: {0: [(1.0, 42, 0, True)],\n",
       "  1: [(1.0, 42, 0, True)],\n",
       "  2: [(1.0, 42, 0, True)],\n",
       "  3: [(1.0, 42, 0, True)]},\n",
       " 43: {0: [(0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 51, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 51, 0.0, False),\n",
       "   (0.3333333333333333, 44, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 51, 0.0, False),\n",
       "   (0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 35, 0.0, True),\n",
       "   (0.3333333333333333, 42, 0.0, True)]},\n",
       " 44: {0: [(0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 43, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 43, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 45, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 36, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 36, 0.0, False),\n",
       "   (0.3333333333333333, 43, 0.0, False)]},\n",
       " 45: {0: [(0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 53, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 44, 0.0, False),\n",
       "   (0.3333333333333333, 53, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 53, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 37, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 37, 0.0, False),\n",
       "   (0.3333333333333333, 44, 0.0, False)]},\n",
       " 46: {0: [(1.0, 46, 0, True)],\n",
       "  1: [(1.0, 46, 0, True)],\n",
       "  2: [(1.0, 46, 0, True)],\n",
       "  3: [(1.0, 46, 0, True)]},\n",
       " 47: {0: [(0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 55, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 46, 0.0, True),\n",
       "   (0.3333333333333333, 55, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 55, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 39, 0.0, False),\n",
       "   (0.3333333333333333, 46, 0.0, True)]},\n",
       " 48: {0: [(0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 49, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 40, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 40, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False)]},\n",
       " 49: {0: [(1.0, 49, 0, True)],\n",
       "  1: [(1.0, 49, 0, True)],\n",
       "  2: [(1.0, 49, 0, True)],\n",
       "  3: [(1.0, 49, 0, True)]},\n",
       " 50: {0: [(0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 58, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 51, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 51, 0.0, False),\n",
       "   (0.3333333333333333, 42, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 51, 0.0, False),\n",
       "   (0.3333333333333333, 42, 0.0, True),\n",
       "   (0.3333333333333333, 49, 0.0, True)]},\n",
       " 51: {0: [(0.3333333333333333, 43, 0.0, False),\n",
       "   (0.3333333333333333, 50, 0.0, False),\n",
       "   (0.3333333333333333, 59, 0.0, True)],\n",
       "  1: [(0.3333333333333333, 50, 0.0, False),\n",
       "   (0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 52, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 43, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 43, 0.0, False),\n",
       "   (0.3333333333333333, 50, 0.0, False)]},\n",
       " 52: {0: [(1.0, 52, 0, True)],\n",
       "  1: [(1.0, 52, 0, True)],\n",
       "  2: [(1.0, 52, 0, True)],\n",
       "  3: [(1.0, 52, 0, True)]},\n",
       " 53: {0: [(0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 61, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 54, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 45, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 45, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True)]},\n",
       " 54: {0: [(1.0, 54, 0, True)],\n",
       "  1: [(1.0, 54, 0, True)],\n",
       "  2: [(1.0, 54, 0, True)],\n",
       "  3: [(1.0, 54, 0, True)]},\n",
       " 55: {0: [(0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 63, 1.0, True)],\n",
       "  1: [(0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 63, 1.0, True),\n",
       "   (0.3333333333333333, 55, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 63, 1.0, True),\n",
       "   (0.3333333333333333, 55, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 55, 0.0, False),\n",
       "   (0.3333333333333333, 47, 0.0, False),\n",
       "   (0.3333333333333333, 54, 0.0, True)]},\n",
       " 56: {0: [(0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 48, 0.0, False),\n",
       "   (0.3333333333333333, 56, 0.0, False)]},\n",
       " 57: {0: [(0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 56, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 58, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 49, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 49, 0.0, True),\n",
       "   (0.3333333333333333, 56, 0.0, False)]},\n",
       " 58: {0: [(0.3333333333333333, 50, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 58, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 57, 0.0, False),\n",
       "   (0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 59, 0.0, True)],\n",
       "  2: [(0.3333333333333333, 58, 0.0, False),\n",
       "   (0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 50, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 50, 0.0, False),\n",
       "   (0.3333333333333333, 57, 0.0, False)]},\n",
       " 59: {0: [(1.0, 59, 0, True)],\n",
       "  1: [(1.0, 59, 0, True)],\n",
       "  2: [(1.0, 59, 0, True)],\n",
       "  3: [(1.0, 59, 0, True)]},\n",
       " 60: {0: [(0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 60, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 59, 0.0, True),\n",
       "   (0.3333333333333333, 60, 0.0, False),\n",
       "   (0.3333333333333333, 61, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 60, 0.0, False),\n",
       "   (0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 52, 0.0, True),\n",
       "   (0.3333333333333333, 59, 0.0, True)]},\n",
       " 61: {0: [(0.3333333333333333, 53, 0.0, False),\n",
       "   (0.3333333333333333, 60, 0.0, False),\n",
       "   (0.3333333333333333, 61, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 60, 0.0, False),\n",
       "   (0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 62, 0.0, False)],\n",
       "  2: [(0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 62, 0.0, False),\n",
       "   (0.3333333333333333, 53, 0.0, False)],\n",
       "  3: [(0.3333333333333333, 62, 0.0, False),\n",
       "   (0.3333333333333333, 53, 0.0, False),\n",
       "   (0.3333333333333333, 60, 0.0, False)]},\n",
       " 62: {0: [(0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 62, 0.0, False)],\n",
       "  1: [(0.3333333333333333, 61, 0.0, False),\n",
       "   (0.3333333333333333, 62, 0.0, False),\n",
       "   (0.3333333333333333, 63, 1.0, True)],\n",
       "  2: [(0.3333333333333333, 62, 0.0, False),\n",
       "   (0.3333333333333333, 63, 1.0, True),\n",
       "   (0.3333333333333333, 54, 0.0, True)],\n",
       "  3: [(0.3333333333333333, 63, 1.0, True),\n",
       "   (0.3333333333333333, 54, 0.0, True),\n",
       "   (0.3333333333333333, 61, 0.0, False)]},\n",
       " 63: {0: [(1.0, 63, 0, True)],\n",
       "  1: [(1.0, 63, 0, True)],\n",
       "  2: [(1.0, 63, 0, True)],\n",
       "  3: [(1.0, 63, 0, True)]}}"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# FYI, MDPs can get arbitrarily complex/large\n",
    "# take a look at the 64-states frozen lake\n",
    "import gym\n",
    "env = gym.make('FrozenLake8x8-v0')\n",
    "P = env.env.P\n",
    "P"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}