Pos_Intro_IA_02_Analise_Exploratoria.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "rWvmMAlx4SJZ"
      },
      "source": [
        "# 02 - Análise Exploratória de Dados\n",
        "\n",
        "---\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "zhZyYGOo4SJa"
      },
      "outputs": [],
      "source": [
        "import numpy as np\n",
        "import pandas as pd\n",
        "\n",
        "df_dataset = pd.read_csv('iris.csv', sep=',', index_col=None) "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "-ZocP3N44SJb"
      },
      "source": [
        "---\n",
        "\n",
        "Retomando a aula anterior, esse material aborda como fazer a exploração dos dados e conhecer características que podem distinguir uma classe de outra."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "ZAwPgT_X4SJb"
      },
      "outputs": [],
      "source": [
        "df_dataset.shape"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "nMYOu1LY4SJb"
      },
      "outputs": [],
      "source": [
        "df_dataset.head(n=5)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PNpAxNB64SJb"
      },
      "source": [
        "---\n",
        "\n",
        "A função describe() de um DataFrame auxilia a entender algumas medidas estatísticas que descrevem os dados. Serve para entender se uma distribuição é muito diferente de outra e se existe ou não a presença de pontos incomuns."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "F7Pj1Xvq4SJb"
      },
      "outputs": [],
      "source": [
        "df_dataset.describe()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "a_dV8wm14SJc"
      },
      "outputs": [],
      "source": [
        "classe = df_dataset[\"classe\"]\n",
        "classe.describe()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "KcK0jLgX4SJc"
      },
      "outputs": [],
      "source": [
        "df_amostrasSetosa = df_dataset[ df_dataset[\"classe\"] == \"Iris-setosa\"]\n",
        "df_amostrasSetosa.shape"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Z6Dtssfu4SJc"
      },
      "source": [
        "---\n",
        "\n",
        "Em um determinado momento, pode ser interessante a análise para verificar se uma classe específica difere muito da descrição do conjunto de dados como um todo."
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "m6TzjrZq4SJc"
      },
      "outputs": [],
      "source": [
        "display(df_dataset.describe())\n",
        "display(df_amostrasSetosa.describe())"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "TT8Yos7Z4SJc"
      },
      "outputs": [],
      "source": [
        "# encontra as classes do conjunto\n",
        "from collections import Counter\n",
        "\n",
        "print('Classes e quantidade:', Counter(df_dataset['classe']))"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "dNWxy-kT4SJc"
      },
      "outputs": [],
      "source": [
        "df_dataset.boxplot(figsize=(15,7))\n",
        "# mais informacoes sobre boxplot: https://towardsdatascience.com/understanding-boxplots-5e2df7bcbd51"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "lztwClpX4SJc"
      },
      "source": [
        "## Seaborn"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "2nBTDQf64SJc"
      },
      "outputs": [],
      "source": [
        "import seaborn as sns\n",
        "import matplotlib.pyplot as plt\n",
        "\n",
        "# matriz de gráficos scatter \n",
        "sns.pairplot(df_dataset, hue='classe', height=3.5); # size -> height\n",
        "\n",
        "# mostra o gráfico usando a função show() da matplotlib\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "RL_3WPbG4SJd"
      },
      "outputs": [],
      "source": [
        "#scatter plot\n",
        "sns.lmplot(x='comprimento_sepala', y='largura_petala', data=df_dataset, \n",
        "           fit_reg=False,\n",
        "           hue='classe')\n",
        "\n",
        "# cria um título para o gráfico\n",
        "plt.title('Comprimento vs largura da sépala.')\n",
        "\n",
        "# mostra o gráfico\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "LJ8aOzZO4SJd"
      },
      "outputs": [],
      "source": [
        "# define a dimensão do gráfico\n",
        "plt.figure(figsize=(10,7))\n",
        "\n",
        "# cria o boxplot\n",
        "sns.boxplot(x=\"classe\", y=\"comprimento_sepala\", data=df_dataset, whis=1.5)\n",
        "\n",
        "#mostra o gráfico\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "SjTboIoa4SJd"
      },
      "outputs": [],
      "source": [
        "# cria um gráfico de barras com a frequência de cada classe\n",
        "sns.countplot(x=\"classe\", data=df_dataset)\n",
        "\n",
        "# mostra o gráfico\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "5d4sCrXJ4SJd"
      },
      "outputs": [],
      "source": [
        "mean = df_dataset.mean()\n",
        "\n",
        "std = df_dataset.std()\n",
        "\n",
        "# criando um gráfico de barras vertical\n",
        "plt.figure(figsize=(10,5))\n",
        "mean.plot(kind=\"bar\", rot=0, color=\"red\", fontsize=13, yerr=std);\n",
        "plt.show()\n",
        "\n",
        "# criando um gráfico de barras horizontal\n",
        "plt.figure(figsize=(10,5))\n",
        "mean.plot(kind=\"barh\", rot=0, color=\"red\", fontsize=13, xerr=std);\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "XH29wg284SJd"
      },
      "outputs": [],
      "source": [
        "# cria o histograma\n",
        "n, bins, patches = plt.hist(df_dataset['comprimento_petala'].values, bins=20, color='red', edgecolor='black', linewidth=0.9)\n",
        "\n",
        "#mostra o gráfico\n",
        "plt.show()"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uuDvrrCb4SJd"
      },
      "source": [
        "## Correlação"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "rj5ztius4SJd"
      },
      "outputs": [],
      "source": [
        "# criando uma matriz X com os valores do data frame\n",
        "X = df_dataset.iloc[:,:-1].values # exceto a coluna da classe (a última = -1)\n",
        "\n",
        "# com pandas\n",
        "# matriz de correlação\n",
        "df_correlation = df_dataset.corr()\n",
        "\n",
        "print('\\n\\nMatriz de correlação: ')\n",
        "display(df_correlation)\n",
        "\n",
        "# cria um mapa de cores dos valoes da correlação\n",
        "sns.heatmap(df_correlation, annot=True,\n",
        "        xticklabels=df_correlation.columns,\n",
        "        yticklabels=df_correlation.columns)\n",
        "\n",
        "plt.title('Correlação')\n",
        "plt.show()"
      ]
    }
  ],
  "metadata": {
    "anaconda-cloud": {},
    "kernelspec": {
      "display_name": "Python 3",
      "language": "python",
      "name": "python3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.7.3"
    },
    "colab": {
      "provenance": []
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}