module_8/8_03.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 8.3. Web Scraping II."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En este cuaderno veremos como usar selenium, una libreria para automatizar el manejo del navegador.\n",
    "\n",
    "Seleniun es muy util cuando tenemos que hacer acciones en un sitio tales como:\n",
    "- Pulsar botones.\n",
    "- Rellenar formularios.\n",
    "- Scrolling.\n",
    "- Capturar pantallas.\n",
    "\n",
    "Necesitamos:\n",
    "- Navegador Chrome.\n",
    "- Driver de Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads\n",
    "- Paquete Selenium\n",
    "- El driver está disponible para otros navegadores"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "!pip install selenium"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para que la librería funciona necesitamos tener descargado el driver del navegador que vayamos a utilizar (y su versión)\n",
    "\n",
    "La versión se puede ver en: chrome://settings/help\n",
    "\n",
    "Los drivers los puedes obtener en: https://chromedriver.chromium.org/downloads"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium import webdriver\n",
    "\n",
    "DRIVER_PATH = './chromedriver' # El mío está en la carpeta del módulo 8\n",
    "driver = webdriver.Chrome(executable_path=DRIVER_PATH)\n",
    "driver.get('https://www.bolsamadrid.es/')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Podríamos hacerlo desde otro navegador\n",
    "\n",
    "Si tenéis instalado Firefox, es igual de sencillo. Y no depende de la versión de navegador que tengamos\n",
    "\n",
    "```python\n",
    "driver = webdriver.Firefox() # Me da error porque no tengo instalado este navegador\n",
    "driver.get('https://www.bolsamadrid.es/') \n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Podemos encontrar elementos de distintas maneras:\n",
    "    ```python\n",
    "        from selenium.webdriver.common.by import By\n",
    "    \n",
    "        find_element(By.ID, \"id\")\n",
    "        find_element(By.NAME, \"name\")\n",
    "        find_element(By.XPATH, \"xpath\")\n",
    "        find_element(By.LINK_TEXT, \"link text\")\n",
    "        find_element(By.PARTIAL_LINK_TEXT, \"partial link text\")\n",
    "        find_element(By.TAG_NAME, \"tag name\")\n",
    "        find_element(By.CLASS_NAME, \"class name\")\n",
    "        find_element(By.CSS_SELECTOR, \"css selector\")\n",
    "    ```\n",
    "\n",
    "Documentos: https://selenium-python.readthedocs.io/locating-elements.html\n",
    "\n",
    "Por ejemplo:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium.webdriver.common.by import By"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "all_links = driver.find_elements(By.TAG_NAME, \"a\")\n",
    "all_links"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Con xpath es muy sencillo: podemos encotrarlo con el navegador (boton derecho en el elemento y copy-copy_XPath:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "botton_cookies = driver.find_element(\n",
    "    By.XPATH, '//*[@id=\"onetrust-accept-btn-handler\"]'\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sobre los elementos podemos hacer las siguientes acciones:\n",
    "- Acceder al texto con elemento.text\n",
    "- Si es un boton  pulsarlo con  element.click().\n",
    "- Acceder a un atributo del elemento con: element.get_attribute('class')\n",
    "- Mandar texto con: element.send_keys('mypassword')\n",
    "\n",
    "Por ejemplo vamos a ir al apartado resumen indices, haciendo click en el botón del menú:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "botton_cookies.text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "botton_cookies.click()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como ves ha cambiado la web en el navegador.\n",
    "\n",
    "Podemos tomar una captura de pantalla:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "driver.save_screenshot('tabla.png')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para encontrar un elemento en concreto, en este caso el parrrafo de inicio, la forma más sencilla es con xpath:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "p_inicio = driver.find_element(\n",
    "    By.XPATH, '//*[@id=\"main-content\"]/section[1]/div/div/div/div/p'\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "p_inicio.text\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "p_inicio.get_attribute('innerHTML')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Ejercicios\n",
    "**8.3.1** Navega hasta la página Mercados y cotizaciones, apartado precios. Y descarga la tabla con los precios del ibex. Puedes obtener el código html de la tabla con .get_attribute('innerHTML') y utiliza pandas pd.read_html para sacarla los resultados en un dataframe."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**8.3.2** Obtén de Investing.com la información histórica del Banco Santander, desde el 1 de enero del 2018, hasta el 31 de diciembre del mismo año\n",
    "\n",
    "https://es.investing.com/equities/banco-santander-historical-data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}