Requests&BeautifulSoup.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "AWcggzcG728P",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 웹 크롤링 하는 의식의 흐름\n",
    "    정보를 가져오고자 하는 url 정의\n",
    "    url 정보로 requests로 정보 요청 => text 정보 얻음\n",
    "    text 정보를 BeautifulSoup를 이용해 html로 변환\n",
    "    html에서 우리가 필요한 정보만 선별"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "5j1oR5fO78FW",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 기본 사용법"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import requests\n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-02-03T02:35:06.532637Z",
     "start_time": "2021-02-03T02:35:06.312281Z"
    },
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# url정의\n",
    "url = 'https://www.naver.com/'\n",
    "\n",
    "# requsts로 url에 정보요청\n",
    "response = requests.get(url).text\n",
    "\n",
    "# 정보를 html 변환 (보기 쉽게)\n",
    "html = BeautifulSoup(response, 'html.parser')\n",
    "\n",
    "# html 내에서 우리가 보고 싶은 정보만 선별\n",
    "html.select('img')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "7caqQS1q8xE9",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### 셀렉터\n",
    "    용도 : html에서 내가 원하는 내용을 찾아내기 위해서\n",
    "    <span class=\"news\" id=\"1234\">비비고 왕교자</span>\n",
    "\n",
    "    단일 셀렉터\n",
    "    \n",
    "    html.select('span')\n",
    "    tag : span\n",
    "    class(별명, 그룹명) : .news\n",
    "    id(고유값) : #1234"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "U-JjMflT80sS",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#### 복합 셀렉터\n",
    "    1. 조합 셀렉터\n",
    "    <span>1</span>\n",
    "    <span class=\"txt\">2</span>\n",
    "    <em class=\"txt\">3</em>\n",
    "    \n",
    "    태그 이름이 span이고 클래스 이름은 txt인 라인을 찾고 싶다. : span.txt \n",
    "    li 태그 중에서 id가 name 인 라인을 찾고\\ 싶다. : li#name\n",
    "\n",
    "    2. 경로 셀렉터\n",
    "    <ul>\n",
    "        <li><span>이걸 찾으려면?</span></li>\n",
    "    </ul>\n",
    "    <span>이건 아님</span>\n",
    "\n",
    "    ul 태그안 li 태그 안 span 라인을 찾는다\n",
    "    ul > li > span 혹은 ul li span"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 로또 번호 1~10회차 가져오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-02-03T06:04:20.163694Z",
     "start_time": "2021-02-03T06:04:20.161045Z"
    }
   },
   "outputs": [],
   "source": [
    "import time"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-02-03T06:04:47.583649Z",
     "start_time": "2021-02-03T06:04:22.409788Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n",
      "접속성공\n"
     ]
    }
   ],
   "source": [
    "total_lotto_list = []\n",
    "for i in range(1, 10):\n",
    "    \n",
    "    # 차단막는 코드\n",
    "    seed = np.random.randint(100)\n",
    "    np.random.seed(seed)\n",
    "    a = np.random.randint(5) # 난수가 생성 생성된 난수에 따라서 요청하는 시간 딜레이\n",
    "    time.sleep(a)\n",
    "    \n",
    "    lotto = []\n",
    "    url = f'https://search.daum.net/search?w=tot&DA=LOT&rtmaxcoll=LOT&&q={i}회차%20로또'\n",
    "    response = requests.get(url)\n",
    "    \n",
    "    if response.status_code == requests.codes.ok: # 연결 성공했는지 확인\n",
    "        print('접속성공')\n",
    "        \n",
    "        html = BeautifulSoup(response.text, 'html.parser')\n",
    "        numbers = html.select('span.ball')\n",
    "        for num in numbers:\n",
    "            lotto.append(num.text)\n",
    "        total_lotto_list.append(lotto)\n",
    "        \n",
    "    else:\n",
    "        break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2021-02-03T05:41:05.583999Z",
     "start_time": "2021-02-03T05:41:05.579960Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "200"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "requests.codes.ok\n",
    "# 100 우리 이런정보 내주는거야\n",
    "# 200 성공\n",
    "# 300 우리 이 사이트 이리루 이사했어 일루가\n",
    "# 400 유저가 요청을 잘못한경우\n",
    "# 500 서버 문제"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "GIvAIByBCAz1",
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 네이버 영화 평점(리뷰) 크롤링"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[<td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>이시대 최고의히어로영화 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('chlw****', '3I550Sh+qemiZAJKjFbxKBGlqO6osY5u+SUInREoQH0=', '이시대 최고의히어로영화', '17588999', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>기다린 보람이 있네요~ 너무 재미있어요^^ \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('eipr****', 'nVdl9oUKzM7mnjr8sBPv/81ASzSLqTU9o+G2+zhEEDY=', '기다린 보람이 있네요~ 너무 재미있어요^^', '17588998', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>Girls, Make a choice by your own \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('jess****', 'gapGigSvzfORnRrdxv40zmW/t3nLHMuE86sntfnHR1c=', 'Girls, Make a choice by your own', '17588995', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>이거 극장에서 안 보면 후회한다 영화 대유잼 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('soon****', 'qeW+9gHNJoTBsh086j9yWO4XYAt5fZK4dNADYUMbUbY=', '이거 극장에서 안 보면 후회한다 영화 대유잼', '17588994', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>존잼입니다꼭보십시오 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('mana****', 'ZltA3p8msTdN8JAzDildFwdSRDxXg/SPczuV3LdKhaA=', '존잼입니다꼭보십시오', '17588993', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>엔드게임 때 생각도 나고….그냥너무재밌어요 꼭 보세요 돈 하나도 안 아까워요…. \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('sjns****', 'k00kQeX4e12ap+jDI9Tbs6ueTmojwV7WYKYau1uowBM=', '엔드게임 때 생각도 나고….그냥너무재밌어요 꼭 보세요 돈 하나도 안 아까워요….', '17588988', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:80%\">별점 - 총 10점 중</span></span><em>8</em>\n",
      "</div>\n",
      "<br/>액션은 그냥 펑범한데 스토리는 나쁘지 않네요 다음편을 위한 징검다리 느낌도 있거요 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('ehrm****', 'khtl4+MD7rjIV+Nj8T0l/nCCWLJO2x77ZVUk/JsAeoY=', '액션은 그냥 펑범한데 스토리는 나쁘지 않네요 다음편을 위한 징검다리 느낌도 있거요', '17588986', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:90%\">별점 - 총 10점 중</span></span><em>9</em>\n",
      "</div>\n",
      "<br/>스토리가 조금 부족하긴 했는데 액션이나 블랙위도우의 단독영화라 너무 좋았습니다. \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('gusw****', 'eCAVYQVpOx7LSzDVj9c6VCOzQvuJDiUuQ8fpudefKdI=', '스토리가 조금 부족하긴 했는데 액션이나 블랙위도우의 단독영화라 너무 좋았습니다.', '17588984', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:90%\">별점 - 총 10점 중</span></span><em>9</em>\n",
      "</div>\n",
      "<br/>살면서 본 영화 중에서 가장 '영화'다운 영화였다.현대의 기술 발전이 영화를 영화로써의 연출이 가능하게 만들었다고 생각한다. 몰입되는 액션은 물론이고, 개연성, 감정 묘사 같은 상상하는 연출을 구현 가능할 수 있게 만들었다.첩보물처럼 디테일한 연출이 취향이였고, 그 동안 마블 영화를 재밌게 봤던 관람객들에게 정말 재밌는 영화일 것이다 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('kswu****', 'xZZGc5/LMhIIZM8Jfu5THXWKbvROqdYgdE47Jr6Kmuo=', '살면서 본 영화 중에서 가장 &amp;amp;#39;영화&amp;amp;#39;다운 영화였다.현대의 기술 발전이 영화를 영화로써의 연출이 가능하게 만들었다고 생각한다. 몰입되는 액션은 물론이고, 개연성, 감정 묘사 같은 상상하는 연출을 구현 가능할 수 있게 만들었다.첩보물처럼 디테일한 연출이 취향이였고, 그 동안 마블 영화를 재밌게 봤던 관람객들에게 정말 재밌는 영화일 것이다', '17588981', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>, <td class=\"title\">\n",
      "<a class=\"movie color_b\" href=\"/movie/bi/mi/basic.nhn?code=184318\">블랙 위도우</a>\n",
      "<div class=\"list_netizen_score\">\n",
      "<span class=\"st_off\"><span class=\"st_on\" style=\"width:100%\">별점 - 총 10점 중</span></span><em>10</em>\n",
      "</div>\n",
      "<br/>아 뽕찬다 어벤져스 정주행가야지 \n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t\n",
      "\t\t\t\t<a class=\"report\" href=\"#\" onclick=\"report('hira****', 'DNeTyTuw7HF/9tuPApOXfKlTzNB50iAxUC1oxsmVo1c=', '아 뽕찬다 어벤져스 정주행가야지', '17588979', 'point_after');\" style=\"color:#8F8F8F\" title=\"새 창\">신고</a>\n",
      "</td>]\n"
     ]
    }
   ],
   "source": [
    "import urllib\n",
    "url = 'https://movie.naver.com/movie/point/af/list.nhn?st=mcode&sword=184318&target=after'\n",
    "soup = BeautifulSoup(urllib.request.urlopen(url), 'html.parser') # requests 사용을 거치지 않는 방법\n",
    "review_list = soup.select('td.title')\n",
    "\n",
    "print(review_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['이시대 최고의히어로영화', '기다린 보람이 있네요~ 너무 재미있어요^^', 'Girls, Make a choice by your own', '이거 극장에서 안 보면 후회한다 영화 대유잼', '존잼입니다꼭보십시오', '엔드게임 때 생각도 나고….그냥너무재밌어요 꼭 보세요 돈 하나도 안 아까워요….', '액션은 그냥 펑범한데 스토리는 나쁘지 않네요 다음편을 위한 징검다리 느낌도 있거요', '스토리가 조금 부족하긴 했는데 액션이나 블랙위도우의 단독영화라 너무 좋았습니다.', \"살면서 본 영화 중에서 가장 '영화'다운 영화였다.현대의 기술 발전이 영화를 영화로써의 연출이 가능하게 만들었다고 생각한다. 몰입되는 액션은 물론이고, 개연성, 감정 묘사 같은 상상하는 연출을 구현 가능할 수 있게 만들었다.첩보물처럼 디테일한 연출이 취향이였고, 그 동안 마블 영화를 재밌게 봤던 관람객들에게 정말 재밌는 영화일 것이다\", '아 뽕찬다 어벤져스 정주행가야지']\n"
     ]
    }
   ],
   "source": [
    "fin_review_list = []\n",
    "\n",
    "for review in review_list:\n",
    "    text = review.text\n",
    "\n",
    "    count = 0\n",
    "    for idx, ch in enumerate(text):\n",
    "        # 필요없는 문자 제거 과정\n",
    "        if ch == '\\n':\n",
    "            count += 1\n",
    "        if count == 5:\n",
    "            break\n",
    "\n",
    "    new_text = text[idx+1:]\n",
    "\n",
    "    # 필요없는 문자 제거 과정\n",
    "    new_text = new_text.replace(' \\n\\t\\t\\t\\n\\t\\t\\t\\n\\t\\t\\t\\n\\t\\t\\t\\t\\n\\t\\t\\t\\t\\n\\t\\t\\t\\t\\n\\t\\t\\t\\t신고\\n', '')\n",
    "    fin_review_list.append(new_text)\n",
    "    \n",
    "print(fin_review_list)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 동적 페이지 크롤링\n",
    "### 네이버 데이터랩 인기 검색어 가져오기\n",
    "참조 : https://luminitworld.tistory.com/88"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import time\n",
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 개발자 도구 - Network - Headers - General에서 확인\n",
    "\n",
    "url = 'https://datalab.naver.com/shoppingInsight/getKeywordRank.naver?timeUnit=date&cid=50000001'\n",
    "\n",
    "header = {\n",
    "    'referer': 'https://datalab.naver.com/',\n",
    "    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "접속 성공\n"
     ]
    }
   ],
   "source": [
    "response = requests.post(url, headers=header)\n",
    "if response.status_code == requests.codes.ok:\n",
    "    print(\"접속 성공\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'[{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/06/28\",\"datetime\":\"2021.06.28.(월)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":4,\"keyword\":\"양산\",\"linkId\":\"양산\"},{\"rank\":5,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":6,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":7,\"keyword\":\"아쿠아슈즈\",\"linkId\":\"아쿠아슈즈\"},{\"rank\":8,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":9,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":10,\"keyword\":\"우포스쪼리\",\"linkId\":\"우포스쪼리\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/06/29\",\"datetime\":\"2021.06.29.(화)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":4,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":5,\"keyword\":\"양산\",\"linkId\":\"양산\"},{\"rank\":6,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":7,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":8,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":9,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"},{\"rank\":10,\"keyword\":\"핸드폰가방\",\"linkId\":\"핸드폰가방\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/06/30\",\"datetime\":\"2021.06.30.(수)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":4,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":5,\"keyword\":\"양산\",\"linkId\":\"양산\"},{\"rank\":6,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":7,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":8,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":9,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"},{\"rank\":10,\"keyword\":\"에코백\",\"linkId\":\"에코백\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/01\",\"datetime\":\"2021.07.01.(목)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"양산\",\"linkId\":\"양산\"},{\"rank\":3,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":4,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":5,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":6,\"keyword\":\"핏플랍샌들\",\"linkId\":\"핏플랍샌들\"},{\"rank\":7,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":8,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":9,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"},{\"rank\":10,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/02\",\"datetime\":\"2021.07.02.(금)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"양산\",\"linkId\":\"양산\"},{\"rank\":3,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":4,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":5,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":6,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":7,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":8,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":9,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":10,\"keyword\":\"모자\",\"linkId\":\"모자\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/03\",\"datetime\":\"2021.07.03.(토)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":3,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":4,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":5,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":6,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":7,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":8,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":9,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":10,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/04\",\"datetime\":\"2021.07.04.(일)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":3,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":4,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":5,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":6,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":7,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":8,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":9,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":10,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/05\",\"datetime\":\"2021.07.05.(월)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":3,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":4,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":5,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":6,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":7,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":8,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":9,\"keyword\":\"아쿠아슈즈\",\"linkId\":\"아쿠아슈즈\"},{\"rank\":10,\"keyword\":\"운동화\",\"linkId\":\"운동화\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/06\",\"datetime\":\"2021.07.06.(화)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":3,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":4,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":5,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":6,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":7,\"keyword\":\"여성장화\",\"linkId\":\"여성장화\"},{\"rank\":8,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":9,\"keyword\":\"장우산\",\"linkId\":\"장우산\"},{\"rank\":10,\"keyword\":\"샌들\",\"linkId\":\"샌들\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/07\",\"datetime\":\"2021.07.07.(수)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"헌터레인부츠\",\"linkId\":\"헌터레인부츠\"},{\"rank\":4,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":5,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":6,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":7,\"keyword\":\"레인부츠\",\"linkId\":\"레인부츠\"},{\"rank\":8,\"keyword\":\"여성장화\",\"linkId\":\"여성장화\"},{\"rank\":9,\"keyword\":\"장우산\",\"linkId\":\"장우산\"},{\"rank\":10,\"keyword\":\"샌들\",\"linkId\":\"샌들\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/08\",\"datetime\":\"2021.07.08.(목)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":4,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":5,\"keyword\":\"샌들\",\"linkId\":\"샌들\"},{\"rank\":6,\"keyword\":\"우산\",\"linkId\":\"우산\"},{\"rank\":7,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":8,\"keyword\":\"운동화\",\"linkId\":\"운동화\"},{\"rank\":9,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"},{\"rank\":10,\"keyword\":\"양산\",\"linkId\":\"양산\"}]},{\"message\":null,\"statusCode\":200,\"returnCode\":0,\"date\":\"2021/07/09\",\"datetime\":\"2021.07.09.(금)\",\"range\":\"\",\"ranks\":[{\"rank\":1,\"keyword\":\"크록스\",\"linkId\":\"크록스\"},{\"rank\":2,\"keyword\":\"나이키운동화\",\"linkId\":\"나이키운동화\"},{\"rank\":3,\"keyword\":\"슬리퍼\",\"linkId\":\"슬리퍼\"},{\"rank\":4,\"keyword\":\"뉴발란스토앤토\",\"linkId\":\"뉴발란스토앤토\"},{\"rank\":5,\"keyword\":\"모자\",\"linkId\":\"모자\"},{\"rank\":6,\"keyword\":\"운동화\",\"linkId\":\"운동화\"},{\"rank\":7,\"keyword\":\"여성샌들\",\"linkId\":\"여성샌들\"},{\"rank\":8,\"keyword\":\"카드지갑\",\"linkId\":\"카드지갑\"},{\"rank\":9,\"keyword\":\"크록스샌들\",\"linkId\":\"크록스샌들\"},{\"rank\":10,\"keyword\":\"샌들\",\"linkId\":\"샌들\"}]}]'"
      ]
     },
     "execution_count": 78,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "response.text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/06/28',\n",
       "  'datetime': '2021.06.28.(월)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 4, 'keyword': '양산', 'linkId': '양산'},\n",
       "   {'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 7, 'keyword': '아쿠아슈즈', 'linkId': '아쿠아슈즈'},\n",
       "   {'rank': 8, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 9, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 10, 'keyword': '우포스쪼리', 'linkId': '우포스쪼리'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/06/29',\n",
       "  'datetime': '2021.06.29.(화)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 4, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 5, 'keyword': '양산', 'linkId': '양산'},\n",
       "   {'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 7, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 8, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 9, 'keyword': '여성샌들', 'linkId': '여성샌들'},\n",
       "   {'rank': 10, 'keyword': '핸드폰가방', 'linkId': '핸드폰가방'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/06/30',\n",
       "  'datetime': '2021.06.30.(수)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 4, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 5, 'keyword': '양산', 'linkId': '양산'},\n",
       "   {'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 7, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 8, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 9, 'keyword': '여성샌들', 'linkId': '여성샌들'},\n",
       "   {'rank': 10, 'keyword': '에코백', 'linkId': '에코백'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/01',\n",
       "  'datetime': '2021.07.01.(목)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '양산', 'linkId': '양산'},\n",
       "   {'rank': 3, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 4, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 6, 'keyword': '핏플랍샌들', 'linkId': '핏플랍샌들'},\n",
       "   {'rank': 7, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 8, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 9, 'keyword': '여성샌들', 'linkId': '여성샌들'},\n",
       "   {'rank': 10, 'keyword': '크록스샌들', 'linkId': '크록스샌들'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/02',\n",
       "  'datetime': '2021.07.02.(금)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '양산', 'linkId': '양산'},\n",
       "   {'rank': 3, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 4, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 5, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 6, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 7, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 8, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 9, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 10, 'keyword': '모자', 'linkId': '모자'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/03',\n",
       "  'datetime': '2021.07.03.(토)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 3, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 4, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 7, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 8, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 9, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 10, 'keyword': '여성샌들', 'linkId': '여성샌들'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/04',\n",
       "  'datetime': '2021.07.04.(일)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 3, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 4, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 6, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 7, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 8, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 9, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 10, 'keyword': '여성샌들', 'linkId': '여성샌들'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/05',\n",
       "  'datetime': '2021.07.05.(월)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 3, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 4, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 5, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 6, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 7, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 8, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 9, 'keyword': '아쿠아슈즈', 'linkId': '아쿠아슈즈'},\n",
       "   {'rank': 10, 'keyword': '운동화', 'linkId': '운동화'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/06',\n",
       "  'datetime': '2021.07.06.(화)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 3, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 4, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 5, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 6, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 7, 'keyword': '여성장화', 'linkId': '여성장화'},\n",
       "   {'rank': 8, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 9, 'keyword': '장우산', 'linkId': '장우산'},\n",
       "   {'rank': 10, 'keyword': '샌들', 'linkId': '샌들'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/07',\n",
       "  'datetime': '2021.07.07.(수)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '헌터레인부츠', 'linkId': '헌터레인부츠'},\n",
       "   {'rank': 4, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 5, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 6, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 7, 'keyword': '레인부츠', 'linkId': '레인부츠'},\n",
       "   {'rank': 8, 'keyword': '여성장화', 'linkId': '여성장화'},\n",
       "   {'rank': 9, 'keyword': '장우산', 'linkId': '장우산'},\n",
       "   {'rank': 10, 'keyword': '샌들', 'linkId': '샌들'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/08',\n",
       "  'datetime': '2021.07.08.(목)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 4, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 5, 'keyword': '샌들', 'linkId': '샌들'},\n",
       "   {'rank': 6, 'keyword': '우산', 'linkId': '우산'},\n",
       "   {'rank': 7, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 8, 'keyword': '운동화', 'linkId': '운동화'},\n",
       "   {'rank': 9, 'keyword': '여성샌들', 'linkId': '여성샌들'},\n",
       "   {'rank': 10, 'keyword': '양산', 'linkId': '양산'}]},\n",
       " {'message': None,\n",
       "  'statusCode': 200,\n",
       "  'returnCode': 0,\n",
       "  'date': '2021/07/09',\n",
       "  'datetime': '2021.07.09.(금)',\n",
       "  'range': '',\n",
       "  'ranks': [{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'},\n",
       "   {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이키운동화'},\n",
       "   {'rank': 3, 'keyword': '슬리퍼', 'linkId': '슬리퍼'},\n",
       "   {'rank': 4, 'keyword': '뉴발란스토앤토', 'linkId': '뉴발란스토앤토'},\n",
       "   {'rank': 5, 'keyword': '모자', 'linkId': '모자'},\n",
       "   {'rank': 6, 'keyword': '운동화', 'linkId': '운동화'},\n",
       "   {'rank': 7, 'keyword': '여성샌들', 'linkId': '여성샌들'},\n",
       "   {'rank': 8, 'keyword': '카드지갑', 'linkId': '카드지갑'},\n",
       "   {'rank': 9, 'keyword': '크록스샌들', 'linkId': '크록스샌들'},\n",
       "   {'rank': 10, 'keyword': '샌들', 'linkId': '샌들'}]}]"
      ]
     },
     "execution_count": 79,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = json.loads(response.text) # json 형태로 변환\n",
    "data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'크록스'"
      ]
     },
     "execution_count": 82,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]['ranks'][0]['keyword']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>message</th>\n",
       "      <th>statusCode</th>\n",
       "      <th>returnCode</th>\n",
       "      <th>date</th>\n",
       "      <th>datetime</th>\n",
       "      <th>range</th>\n",
       "      <th>ranks</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 1, 'keyword': '크록스', 'linkId': '크록스'}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 4, 'keyword': '양산', 'linkId': '양산'}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 7, 'keyword': '아쿠아슈즈', 'linkId': '아쿠아...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 8, 'keyword': '샌들', 'linkId': '샌들'}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 9, 'keyword': '모자', 'linkId': '모자'}</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>None</td>\n",
       "      <td>200</td>\n",
       "      <td>0</td>\n",
       "      <td>2021/06/28</td>\n",
       "      <td>2021.06.28.(월)</td>\n",
       "      <td></td>\n",
       "      <td>{'rank': 10, 'keyword': '우포스쪼리', 'linkId': '우포...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  message  statusCode  returnCode        date        datetime range  \\\n",
       "0    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "1    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "2    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "3    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "4    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "5    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "6    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "7    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "8    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "9    None         200           0  2021/06/28  2021.06.28.(월)         \n",
       "\n",
       "                                               ranks  \n",
       "0     {'rank': 1, 'keyword': '크록스', 'linkId': '크록스'}  \n",
       "1  {'rank': 2, 'keyword': '나이키운동화', 'linkId': '나이...  \n",
       "2  {'rank': 3, 'keyword': '뉴발란스토앤토', 'linkId': '뉴...  \n",
       "3       {'rank': 4, 'keyword': '양산', 'linkId': '양산'}  \n",
       "4     {'rank': 5, 'keyword': '슬리퍼', 'linkId': '슬리퍼'}  \n",
       "5  {'rank': 6, 'keyword': '크록스샌들', 'linkId': '크록스...  \n",
       "6  {'rank': 7, 'keyword': '아쿠아슈즈', 'linkId': '아쿠아...  \n",
       "7       {'rank': 8, 'keyword': '샌들', 'linkId': '샌들'}  \n",
       "8       {'rank': 9, 'keyword': '모자', 'linkId': '모자'}  \n",
       "9  {'rank': 10, 'keyword': '우포스쪼리', 'linkId': '우포...  "
      ]
     },
     "execution_count": 83,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 위의 json을 배열형태로 바꾼 이러한 파일들을 pandas의 dataframe으로 변환 가능\n",
    "# json이 판다스로 바꾸기 쉬워서 좋음\n",
    "\n",
    "import pandas as pd\n",
    "from pandas.io.json import json_normalize\n",
    "\n",
    "df = pd.DataFrame(data[0])\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "colab": {
   "authorship_tag": "ABX9TyMM9bcGMQdkO/nwIX0kAuhm",
   "collapsed_sections": [],
   "name": "08_crawler.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": true,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}