gensim.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "9026ad92",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "4bd885b0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>text</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>靑, 北리선권 발언에 \"지켜보겠다\" 진의 파악 주력\\t\"남북정상간 핫라인, 어제와 ...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>[단독] \"'경공모' 회원 가운데 현직 경찰도 있다\"\\t&lt;앵커&gt;\\n\\n댓글 조작 사...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>통일부, 대북 전단 살포에 우려…\"판문점 선언 위반\"\\t자유북한운동연합, 대형 풍선...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>경남지사 후보, 김경수 42.5% vs 김태호 26.3%\\t드루킹 연루 확인땐 김경...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>北, 연일 南비난…韓美정상회담 전 경고성 메시지 발신\\t南, 맥스선더·태영호 등 불...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1570</th>\n",
       "      <td>1570</td>\n",
       "      <td>한국 킥복싱 2018 亞선수권 금1 은3 동6…16일 개선\\t[헤럴드경제=조용직 기...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1571</th>\n",
       "      <td>1571</td>\n",
       "      <td>뒤늦게 알려진 평창올림픽 선행…1천만원 상당 생수 기증 '감동'\\t전민하씨, 노로바...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1572</th>\n",
       "      <td>1572</td>\n",
       "      <td>[인터뷰]리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\"\\t2...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1573</th>\n",
       "      <td>1573</td>\n",
       "      <td>월드컵 도전' 한국 럭비, 19일 인천서 말레이시아와 대결\\t(서울=연합뉴스) 신창...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1574</th>\n",
       "      <td>1574</td>\n",
       "      <td>여자하키, 아시아 챔피언스트로피 7년 만에 정상 탈환\\t(서울=연합뉴스) 고미혜 기...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1575 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "      Unnamed: 0                                               text    target\n",
       "0              0  靑, 北리선권 발언에 \"지켜보겠다\" 진의 파악 주력\\t\"남북정상간 핫라인, 어제와 ...  politics\n",
       "1              1  [단독] \"'경공모' 회원 가운데 현직 경찰도 있다\"\\t<앵커>\\n\\n댓글 조작 사...  politics\n",
       "2              2  통일부, 대북 전단 살포에 우려…\"판문점 선언 위반\"\\t자유북한운동연합, 대형 풍선...  politics\n",
       "3              3  경남지사 후보, 김경수 42.5% vs 김태호 26.3%\\t드루킹 연루 확인땐 김경...  politics\n",
       "4              4  北, 연일 南비난…韓美정상회담 전 경고성 메시지 발신\\t南, 맥스선더·태영호 등 불...  politics\n",
       "...          ...                                                ...       ...\n",
       "1570        1570  한국 킥복싱 2018 亞선수권 금1 은3 동6…16일 개선\\t[헤럴드경제=조용직 기...    sports\n",
       "1571        1571  뒤늦게 알려진 평창올림픽 선행…1천만원 상당 생수 기증 '감동'\\t전민하씨, 노로바...    sports\n",
       "1572        1572  [인터뷰]리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\"\\t2...    sports\n",
       "1573        1573  월드컵 도전' 한국 럭비, 19일 인천서 말레이시아와 대결\\t(서울=연합뉴스) 신창...    sports\n",
       "1574        1574  여자하키, 아시아 챔피언스트로피 7년 만에 정상 탈환\\t(서울=연합뉴스) 고미혜 기...    sports\n",
       "\n",
       "[1575 rows x 3 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_data=pd.read_csv(\"C:/Users/82102/Desktop/프로젝트/비어플 뉴스분류/basic_all_data.csv\")\n",
    "all_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "1ae965bf",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\82102\\AppData\\Local\\Temp/ipykernel_26792/3632947548.py:5: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  all_data['text'][i]=re.sub(r'\\n', ' ', all_data['text'][i])\n",
      "C:\\Users\\82102\\AppData\\Local\\Temp/ipykernel_26792/3632947548.py:6: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  all_data['text'][i]=re.sub(r'\\t', ' ', all_data['text'][i])\n",
      "C:\\Users\\82102\\AppData\\Local\\Temp/ipykernel_26792/3632947548.py:7: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  all_data['text'][i]=re.sub(r\"[^가-힣0-9'\\\". ]\", \"\", all_data['text'][i])\n"
     ]
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "for i in range(len(all_data['text'])):\n",
    "    #all_data['text'][i]=re.sub(r'[\\n\\t\\\\]','', all_data['text'][i])\n",
    "    all_data['text'][i]=re.sub(r'\\n', ' ', all_data['text'][i])\n",
    "    all_data['text'][i]=re.sub(r'\\t', ' ', all_data['text'][i])\n",
    "    all_data['text'][i]=re.sub(r\"[^가-힣0-9'\\\". ]\", \"\", all_data['text'][i])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "117f215a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>리선권 발언에 \"지켜보겠다\" 진의 파악 주력 \"남북정상간 핫라인 어제와 변함없어\"...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>단독 \"'경공모' 회원 가운데 현직 경찰도 있다\" 앵커  댓글 조작 사건 수사 속보...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>통일부 대북 전단 살포에 우려\"판문점 선언 위반\" 자유북한운동연합 대형 풍선 5개로...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>경남지사 후보 김경수 42.5  김태호 26.3 드루킹 연루 확인땐 김경수 계속 지...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>연일 비난정상회담 전 경고성 메시지 발신  맥스선더태영호 등 불만 표시  최종타켓...</td>\n",
       "      <td>politics</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1570</th>\n",
       "      <td>한국 킥복싱 2018 선수권 금1 은3 동616일 개선 헤럴드경제조용직 기자 대한민...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1571</th>\n",
       "      <td>뒤늦게 알려진 평창올림픽 선행1천만원 상당 생수 기증 '감동' 전민하씨 노로바이러스...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1572</th>\n",
       "      <td>인터뷰리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\" 2018...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1573</th>\n",
       "      <td>월드컵 도전' 한국 럭비 19일 인천서 말레이시아와 대결 서울연합뉴스 신창용 기자 ...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1574</th>\n",
       "      <td>여자하키 아시아 챔피언스트로피 7년 만에 정상 탈환 서울연합뉴스 고미혜 기자  여자...</td>\n",
       "      <td>sports</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1575 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text    target\n",
       "0      리선권 발언에 \"지켜보겠다\" 진의 파악 주력 \"남북정상간 핫라인 어제와 변함없어\"...  politics\n",
       "1     단독 \"'경공모' 회원 가운데 현직 경찰도 있다\" 앵커  댓글 조작 사건 수사 속보...  politics\n",
       "2     통일부 대북 전단 살포에 우려\"판문점 선언 위반\" 자유북한운동연합 대형 풍선 5개로...  politics\n",
       "3     경남지사 후보 김경수 42.5  김태호 26.3 드루킹 연루 확인땐 김경수 계속 지...  politics\n",
       "4      연일 비난정상회담 전 경고성 메시지 발신  맥스선더태영호 등 불만 표시  최종타켓...  politics\n",
       "...                                                 ...       ...\n",
       "1570  한국 킥복싱 2018 선수권 금1 은3 동616일 개선 헤럴드경제조용직 기자 대한민...    sports\n",
       "1571  뒤늦게 알려진 평창올림픽 선행1천만원 상당 생수 기증 '감동' 전민하씨 노로바이러스...    sports\n",
       "1572  인터뷰리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\" 2018...    sports\n",
       "1573  월드컵 도전' 한국 럭비 19일 인천서 말레이시아와 대결 서울연합뉴스 신창용 기자 ...    sports\n",
       "1574  여자하키 아시아 챔피언스트로피 7년 만에 정상 탈환 서울연합뉴스 고미혜 기자  여자...    sports\n",
       "\n",
       "[1575 rows x 2 columns]"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_data.drop(columns=['Unnamed: 0'], inplace=True)\n",
    "all_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "8f2023d0",
   "metadata": {},
   "outputs": [],
   "source": [
    "all_data.reset_index(drop=True, inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "45e7be33",
   "metadata": {},
   "source": [
    "# 길이 열 추가"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "c8b76662",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>target</th>\n",
       "      <th>length</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>리선권 발언에 \"지켜보겠다\" 진의 파악 주력 \"남북정상간 핫라인 어제와 변함없어\"...</td>\n",
       "      <td>politics</td>\n",
       "      <td>1559</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>단독 \"'경공모' 회원 가운데 현직 경찰도 있다\" 앵커  댓글 조작 사건 수사 속보...</td>\n",
       "      <td>politics</td>\n",
       "      <td>772</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>통일부 대북 전단 살포에 우려\"판문점 선언 위반\" 자유북한운동연합 대형 풍선 5개로...</td>\n",
       "      <td>politics</td>\n",
       "      <td>784</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>경남지사 후보 김경수 42.5  김태호 26.3 드루킹 연루 확인땐 김경수 계속 지...</td>\n",
       "      <td>politics</td>\n",
       "      <td>1489</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>연일 비난정상회담 전 경고성 메시지 발신  맥스선더태영호 등 불만 표시  최종타켓...</td>\n",
       "      <td>politics</td>\n",
       "      <td>2100</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1570</th>\n",
       "      <td>한국 킥복싱 2018 선수권 금1 은3 동616일 개선 헤럴드경제조용직 기자 대한민...</td>\n",
       "      <td>sports</td>\n",
       "      <td>618</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1571</th>\n",
       "      <td>뒤늦게 알려진 평창올림픽 선행1천만원 상당 생수 기증 '감동' 전민하씨 노로바이러스...</td>\n",
       "      <td>sports</td>\n",
       "      <td>742</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1572</th>\n",
       "      <td>인터뷰리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\" 2018...</td>\n",
       "      <td>sports</td>\n",
       "      <td>1237</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1573</th>\n",
       "      <td>월드컵 도전' 한국 럭비 19일 인천서 말레이시아와 대결 서울연합뉴스 신창용 기자 ...</td>\n",
       "      <td>sports</td>\n",
       "      <td>545</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1574</th>\n",
       "      <td>여자하키 아시아 챔피언스트로피 7년 만에 정상 탈환 서울연합뉴스 고미혜 기자  여자...</td>\n",
       "      <td>sports</td>\n",
       "      <td>642</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>1575 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text    target  length\n",
       "0      리선권 발언에 \"지켜보겠다\" 진의 파악 주력 \"남북정상간 핫라인 어제와 변함없어\"...  politics    1559\n",
       "1     단독 \"'경공모' 회원 가운데 현직 경찰도 있다\" 앵커  댓글 조작 사건 수사 속보...  politics     772\n",
       "2     통일부 대북 전단 살포에 우려\"판문점 선언 위반\" 자유북한운동연합 대형 풍선 5개로...  politics     784\n",
       "3     경남지사 후보 김경수 42.5  김태호 26.3 드루킹 연루 확인땐 김경수 계속 지...  politics    1489\n",
       "4      연일 비난정상회담 전 경고성 메시지 발신  맥스선더태영호 등 불만 표시  최종타켓...  politics    2100\n",
       "...                                                 ...       ...     ...\n",
       "1570  한국 킥복싱 2018 선수권 금1 은3 동616일 개선 헤럴드경제조용직 기자 대한민...    sports     618\n",
       "1571  뒤늦게 알려진 평창올림픽 선행1천만원 상당 생수 기증 '감동' 전민하씨 노로바이러스...    sports     742\n",
       "1572  인터뷰리듬체조 대표 선발전 1위 서고은 \"실수 보완해 메달 따는 게 목표\" 2018...    sports    1237\n",
       "1573  월드컵 도전' 한국 럭비 19일 인천서 말레이시아와 대결 서울연합뉴스 신창용 기자 ...    sports     545\n",
       "1574  여자하키 아시아 챔피언스트로피 7년 만에 정상 탈환 서울연합뉴스 고미혜 기자  여자...    sports     642\n",
       "\n",
       "[1575 rows x 3 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all_data['length'] = all_data['text'].apply(lambda x: len(x))\n",
    "all_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1970ae7",
   "metadata": {},
   "outputs": [],
   "source": [
    "all_data.to_csv('test1.csv', index=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "203ee0c9",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c196a58f",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8acba639",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "17624fbc",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "541aedf5",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}