labs/lab02-ANNs-and-convolution.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Prehľad neurónových sietí a konvolúcia\n",
    "\n",
    "Na tomto cvičení si zopakujeme základné poznatky z predmetu Neurónové siete, pozrieme sa na neurón a jeho jednotlivé časti a parametre, na to ako sa trénujú neurónové siete, a vysvetlíme ako funguje matematická operácia konvolúcia v neurónových sieťach, aká je motivácia za jej použitím a aké má výhody oproti jednoduchej topológie neurónových sietí."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Výpočty v umelom neuróne\n",
    "\n",
    "Hlboké neurónové siete, ako aj plytké sa skladajú v prvom rade z neurónov, ktoré sú procesory vykonávajúce jednoduché matematické operácie. Pomocou týchto jednoduchých operácií však dokážu neurónové siete aproximovať (skoro) ľubovoľnú matematickú funkciu.\n",
    "\n",
    "Pred tým než sa spustíme do štúdia hlbokých neurónových sietí, pozrieme sa na základný blok neurónových sietí, teda na neurón. V diskusii odpovedzte na nasledovné otázky (pri tom vám môže pomôcť obrázok nižšie):\n",
    "\n",
    "1. **Z akých častí sa skladá neurón?**\n",
    "2. **Aké má vstupy a výstup neurón?**\n",
    "3. **Aké parametre má neurón a na čo slúžia?**\n",
    "4. **Ktoré tri funkcie sú použité vo vnútri neurónu? Aké úlohy spĺňajú?**\n",
    "5. **Akú úlohu hrá pri výpočtoch prah (bias)?**\n",
    "\n",
    "![Topológia neurónu](resources/lab02/neuron.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Trénovanie neurónových sietí\n",
    "\n",
    "Keďže úlohou neurónových sietí je aproximovať matematické funkcie, cieľom ich trénovania je nájsť také nastavenie parametrov (váh), pri ktorom je chyba na výstupnej vrstve minimálna. Pre dosiahnutie tohto stavu sa najčastejšie používa algoritmus backpropagation, ktorý ku každej váhe priradí mieru, do ktorej daná váha ovplyvňuje výslednú chybu neurónovej siete. Matematicky to vieme vyjadriť pomocou derivácie\n",
    "\n",
    "\\begin{equation*}\n",
    "\\frac{\\partial J}{\\partial w_{ij}},\n",
    "\\end{equation*}\n",
    "\n",
    "kde $J$ je celková chyba na výstupnej vrstve a $w_{ij}$ je váha smerujúca z neurónu $j$ do neurónu $i$.\n",
    "\n",
    "Keďže vo väčšine prípadov túto deriváciu nevieme určiť priamo, použijeme reťazové pravidlo pre neurón $i$:\n",
    "\n",
    "\\begin{equation*}\n",
    "\\frac{\\partial J}{\\partial w_{ij}} = \\frac{\\partial J}{\\partial f_{i}} \\cdot \\frac{\\partial f_{i}}{\\partial in_{i}} \\cdot \\frac{\\partial in_{i}}{\\partial w_{ij}}\n",
    "\\end{equation*}\n",
    "\n",
    "**Použitím reťazového pravidla odvoďte rovnicu pre aktualizáciu jednej z váh vo výstupnej a v skrytej vrstve na nasledujúcej jednoduchej neurónovej sieti, použite sigmoidálnu aktivačnú funkciu ([pomôcka](https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/)):**\n",
    "\n",
    "![Jednoduchá neurónová sieť](resources/lab02/simple_nn.jpg)\n",
    "\n",
    "Po výpočte gradientu váhy neurónovej siete sa aktualizujú podľa vzorca:\n",
    "\n",
    "\\begin{equation*}\n",
    "w_{ij} = w_{ij} + \\alpha \\frac{\\partial J}{\\partial w_{ij}},\n",
    "\\end{equation*}\n",
    "\n",
    "kde $\\alpha$ je učiaci parameter.\n",
    "\n",
    "v súvislosti s trénovaním neurónových sietí potrebujete mať aj globálny pohľad na samotný proces trénovania, práve preto odpovedzte na nasledujúce otázky:\n",
    "1. **Aký je rozdiel medzi chybovým a príznakovým priestorom?**\n",
    "2. **V akom priestore sa odohráva trénovanie neurónovej siete?**\n",
    "3. **Ako prebieha trénovanie neurónovej siete v tomto priestore?**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. Konvolúcia\n",
    "\n",
    "Počas štúdia ste sa doteraz stretli iba so sieťami, ktoré používali už známe matematické operácie ako skalárny súčin a sigmoidálna aktivačná funkcia. V hlbokom učení, kde sa veľmi často pracuje s obrázkami, sa ale používa ďalšia matematická operácia, a to konvolúcia. Konvolúcia predstavuje operáciu nad dvoma funkciami, ktorá vyjadruje, ako aplikácia jednej funkcie ovplyvňuje tvar druhej funkcie. V kontexte hlbokého učenia a spracovania obrázkov konvolúcia umožňuje detekciu príznakov (čiary, hrany, vyššie útvary).\n",
    "\n",
    "Pred tým než sa pozrieme na spôsob aplikácie konvolúcie sa zameriame na reprezentáciu obrázkov v počítačoch:\n",
    "1. **Akým spôsobom sú obrazy zakódované v počítačoch?**\n",
    "2. **Ako sú obrázky uložené v počítačoch?**\n",
    "3. **Pri trénovaní neurónových sietí je často potrebné vstupné dáta normalizovať na istý interval (najčastejšie 0 - 1). Ako sa dajú normalizovať dáta reprezentujúce obrázky pre hlboké neurónové siete?**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "V hlbokých neurónových sieťach konvolúcia sa robí aplikáciou filtra na obrázok (rozmery filtra sú zvyčajne menšie, a oba majú často štvorcový tvar). Výpočet potom prebieha násobením dvoch \"matíc\" po jednotlivých prvkov a následným sčítaním násobkov. Výstupom potom bude ďalšia matica, jej rozmery udávajú ďalšie parametre konvolúcie ako *padding* a *stride*, ktoré ale budú predmetom ďalšieho cvičenia.\n",
    "\n",
    "Najjednoduchší prípad aplikácie konvolúcie ukážeme na nasledujúcom príklade, kde vstupný obrázok má tvar *5 x 5* a filter má rozmery *3 x 3*:\n",
    "\n",
    "![Konvolúcia príklad](resources/lab02/conv_example_1.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Aplikáciu filtra začneme v ľavom hornom rohu:\n",
    "\n",
    "![Konvolúcia krok 1](resources/lab02/conv_first_step.jpg)\n",
    "\n",
    "kde výsledok operácie bude:\n",
    "\n",
    "\\begin{equation*}\n",
    "3 \\cdot 0 + 2 \\cdot 1 + 1 \\cdot 2 + 0 \\cdot 2 + 4 \\cdot 2 + 2 \\cdot 0 + 0 \\cdot 0 + 2 \\cdot 1 + 3 \\cdot 2 = 20\n",
    "\\end{equation*}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "V ďalšom kroku filter posunieme doprava (podľa *stride*, nateraz o 1), a ak sa dostaneme na koniec riadku, filter posunieme o krok dole a vrátime ho na začiatok riadku. Takto postupujeme až kým sa nedostaneme do pravého dolného rohu obrázka.\n",
    "\n",
    "**Vypočítajte zvyšné hodnoty po aplikácii filtra (výstupom bude matica 3 x 3).**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4. Konvolúcia - reálna aplikácia\n",
    "\n",
    "Aby ste lepšie pochopili podstatu a užitočnosť konvolúcie, teraz sa pozrieme na príklad aplikácie filtra pre detegovanie vodorovných hrán. Na začiatku vývoja konvolučných neurónových sietí išlo presne o pridávanie už existujúcich filtrov do neurónovej siete, hlboké učenie však neskôr umožnilo trénovanie samotných filtrov. **Aký bude výsledok aplikácie filtra na obrázok v nasledujúcom prípade? Aký účinok to má na obrázok? Ako je reprezentovaný detegovaný príznak, teda hrana?**\n",
    "\n",
    "![Konvolúcia hrany](resources/lab02/conv_edge.jpg)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5. Pooling\n",
    "\n",
    "V konvolučných sieťach okrem samotnej konvolúcie sa často používa aj operácia pooling, ktorého cieľom je znížiť rozmery vstupného obrazu tak, aby bola zachovaná v ňom uložená informácia. Počas poolingu prechádzame obrázkom podobným štýlom ako v prípade konvolúcie, avšak pri poolingu nepoužívame filter, len malé \"okienko\" z obrázka a z neho vypočítame výstup podľa konkrétneho typu poolingu. Existujú rôzne typy poolingu, dnes sa pozrieme na dva najčastejšie:\n",
    "\n",
    "- **max pooling** - z okienka vyberie maximálnu hodnotu\n",
    "- **average pooling** - vypočíta priemer hodnôt v okienku.\n",
    "\n",
    "**Aplikujte oba typy poolingu s rozmermi *2 x 2* a s posunom (*stride*) 1 na príklade z bodu 3 a následne na príklade z bodu 4. Aké rozdiely vidíte vo výsledkoch?**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Použité zdroje a ďalšie linky\n",
    "\n",
    "- [A Step by Step Backpropagation Example](https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/)\n",
    "- [A guide to convolution arithmetic for deep learning](https://arxiv.org/pdf/1603.07285.pdf)\n",
    "- [Gentle Dive into Math Behind Convolutional Neural Networks](https://towardsdatascience.com/gentle-dive-into-math-behind-convolutional-neural-networks-79a07dd44cf9)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}