instagram.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from selenium import webdriver\n",
    "from bs4 import BeautifulSoup\n",
    "import time\n",
    "import re\n",
    "import time\n",
    "# https://mokeya.tistory.com/m/68"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 함수 정의: 검색어 조건에 따른 url 생성\n",
    "def insta_searching(word):\n",
    "    url = \"https://www.instagram.com/explore/tags/\" + str(word)\n",
    "    return url"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'https://www.instagram.com/explore/tags/여행'"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "insta_searching('여행')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 검색 결과 페이지에서 첫 번째 게시물을 클릭하는 함수를 정의.\n",
    "\n",
    "# 인스타그램 서버에서 우리 머신이 (무언가 불순한 의도를 가지고) 마우스를 갈기는 것처럼 인식되지 않도록,\n",
    "\n",
    "# 또 데이터를 긁어오는 시간을 충분히 확보할 수 있도록,\n",
    "\n",
    "# 다음 행동과의 시차를 time.sleep() 메서드로 구현"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 함수 정의: 열린 페이지에서 첫 번째 게시물 클릭 + sleep 메소드 통하여 시차 두기\n",
    "def select_first(driver):\n",
    "    first = driver.find_elements_by_css_selector(\"div._9AhH0\")[0]\n",
    "    first.click()\n",
    "    time.sleep(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 함수 정의: 본문 내용, 작성일자, 좋아요 수, 위치 정보, 해시태그 가져오기\n",
    "import re\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "def get_content(driver):\n",
    "    html = driver.page_source\n",
    "    soup = BeautifulSoup(html, 'lxml')\n",
    "    # 본문 내용\n",
    "    try:\n",
    "        content = soup.select('div.MOdxS')[0].text\n",
    "    except:\n",
    "        content = ''\n",
    "    # 해시태그\n",
    "    tags = re.findall(r'#[^\\s#,\\\\]+', content)\n",
    "    \n",
    "    # 작성일자\n",
    "    date = soup.select('time._1o9PC')[0]['datetime'][:10]\n",
    "    \n",
    "    # 좋아요\n",
    "    try:\n",
    "        like = soup.select('section.EDfFK.ygqzn')[0].findAll('span')[-1].text\n",
    "    except:\n",
    "        like = 0\n",
    "    # 위치\n",
    "    try:\n",
    "        place = soup.select('div.M30cS')[0].text\n",
    "    except:\n",
    "        place = ''\n",
    "\n",
    "    data = [content, date, like, place, tags]\n",
    "    return data\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def move_next(driver):\n",
    "    right = driver.find_element_by_css_selector(\"div.l8mY4.feth3\") # 2022/01/11 수정\n",
    "    right.click()\n",
    "    time.sleep(3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\LG\\AppData\\Local\\Temp\\ipykernel_11892\\1247328928.py:8: DeprecationWarning: executable_path has been deprecated, please pass in a Service object\n",
      "  driver = webdriver.Edge('C:/Program Files/msedgedriver.exe')\n"
     ]
    },
    {
     "ename": "AttributeError",
     "evalue": "'WebDriver' object has no attribute 'find_elements_by_css_selector'",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mAttributeError\u001b[0m                            Traceback (most recent call last)",
      "\u001b[1;32mc:\\Users\\LG\\Git_PBJ\\BEAKJUN\\instagram.ipynb 셀 8\u001b[0m in \u001b[0;36m<cell line: 15>\u001b[1;34m()\u001b[0m\n\u001b[0;32m     <a href='vscode-notebook-cell:/c%3A/Users/LG/Git_PBJ/BEAKJUN/instagram.ipynb#X11sZmlsZQ%3D%3D?line=12'>13</a>\u001b[0m \u001b[39m# 인스타그램 로그인을 위한 계정 정보\u001b[39;00m\n\u001b[0;32m     <a href='vscode-notebook-cell:/c%3A/Users/LG/Git_PBJ/BEAKJUN/instagram.ipynb#X11sZmlsZQ%3D%3D?line=13'>14</a>\u001b[0m email \u001b[39m=\u001b[39m \u001b[39m'\u001b[39m\u001b[39m인스타그램 로그인 아이디\u001b[39m\u001b[39m'\u001b[39m\n\u001b[1;32m---> <a href='vscode-notebook-cell:/c%3A/Users/LG/Git_PBJ/BEAKJUN/instagram.ipynb#X11sZmlsZQ%3D%3D?line=14'>15</a>\u001b[0m input_id \u001b[39m=\u001b[39m driver\u001b[39m.\u001b[39;49mfind_elements_by_css_selector(\u001b[39m'\u001b[39m\u001b[39minput._2hvTZ.pexuQ.zyHYP\u001b[39m\u001b[39m'\u001b[39m)[\u001b[39m0\u001b[39m]\n\u001b[0;32m     <a href='vscode-notebook-cell:/c%3A/Users/LG/Git_PBJ/BEAKJUN/instagram.ipynb#X11sZmlsZQ%3D%3D?line=15'>16</a>\u001b[0m input_id\u001b[39m.\u001b[39mclear()\n\u001b[0;32m     <a href='vscode-notebook-cell:/c%3A/Users/LG/Git_PBJ/BEAKJUN/instagram.ipynb#X11sZmlsZQ%3D%3D?line=16'>17</a>\u001b[0m input_id\u001b[39m.\u001b[39msend_keys(email)\n",
      "\u001b[1;31mAttributeError\u001b[0m: 'WebDriver' object has no attribute 'find_elements_by_css_selector'"
     ]
    }
   ],
   "source": [
    "# 크롤링 시작\n",
    "\"\"\"\n",
    "driver.get(url)을 통해 검색 페이지 접속하고,\n",
    "target 변수에 크롤링할 게시글의 수를 바인딩\n",
    "\"\"\"\n",
    "\n",
    "# 크롬 브라우저 열기\n",
    "driver = webdriver.Edge('C:/Program Files/msedgedriver.exe')\n",
    "\n",
    "driver.get('https://www.instagram.com')\n",
    "time.sleep(3)\n",
    "\n",
    "# 인스타그램 로그인을 위한 계정 정보\n",
    "email = '인스타그램 로그인 아이디'\n",
    "input_id = driver.find_elements_by_css_selector('input._2hvTZ.pexuQ.zyHYP')[0]\n",
    "input_id.clear()\n",
    "input_id.send_keys(email)\n",
    "\n",
    "password = '인스타그램 로그인 비번'\n",
    "input_pw = driver.find_elements_by_css_selector('input._2hvTZ.pexuQ.zyHYP')[1]\n",
    "input_pw.clear()\n",
    "input_pw.send_keys(password)\n",
    "input_pw.submit()\n",
    "\n",
    "time.sleep(5)\n",
    "\n",
    "# 게시물을 조회할 검색 키워드 입력 요청\n",
    "word = input(\"검색어를 입력하세요 : \")\n",
    "word = str(word)\n",
    "url = insta_searching(word)\n",
    "\n",
    "# 검색 결과 페이지 열기\n",
    "driver.get(url)\n",
    "time.sleep(8) # 코드 수행 환경에 따라 페이지가 로드되는 데 시간이 더 걸릴 수 있어 8초로 변경(2022/01/11)\n",
    "\n",
    "# 첫 번째 게시물 클릭\n",
    "select_first(driver)\n",
    "\n",
    "# 본격적으로 데이터 수집 시작\n",
    "results = []\n",
    "## 수집할 게시물의 수\n",
    "target = 10000\n",
    "for i in range(target):\n",
    "\n",
    "    try:\n",
    "        data = get_content(driver)\n",
    "        results.append(data)\n",
    "        move_next(driver)\n",
    "    except:\n",
    "        time.sleep(2)\n",
    "        move_next(driver)\n",
    "\n",
    "print(results[:2])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.9.13 ('PY3.9')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "b0fd3393d89c8e052c32682038465376f1d241938b3d854b72533d2f50d061e1"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}