(F-5) textClassification.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "bf84dc1e",
   "metadata": {},
   "source": [
    "<h1> 주요감사업무 수행내용 지도학습 </h1>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f84b523e",
   "metadata": {},
   "source": [
    "<h3> 가. 전처리 </h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "36aec738",
   "metadata": {},
   "source": [
    "#### 1. 엑셀 전처리"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "29865553",
   "metadata": {},
   "source": [
    "\n",
    "1. 외부감사 실시내용에서 공시되는 주요감사업무 수행내용 Text 입수 (2017년 1월말 - 2019년 12월말 법인 공시자료) → 352,002건\n",
    "2. 엑셀 전처리 : ① 전반감사계획(감사착수단계) 제외 ② 공백(NA) 또는 의미없는 부호 제거 ③ 중복 제거 → 17,540건"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "53cebb9a",
   "metadata": {},
   "source": [
    "#### 2. Python 전처리"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "177c62d6",
   "metadata": {},
   "source": [
    "전처리에 사용되는 모듈을 가져온다 엑셀에서 1차적으로 처리가 되어있어서, 정규식으로 특수문자를 제거하고, 띄어쓰기를 무시하기 위하여 공백을 제거하는 처리만 수행한다. <br>\n",
    "* 띄어쓰기를 무시하는 이유는, ① 본 분석에서 사용하는 데이터에는 일반적으로 사용되는 지도 방식의 형태소 분석기(ex. KoNLPy)의 퍼포먼스가 좋지 않았고, ② 입수 텍스트의 띄어쓰기 품질이 좋지 않았기 때문이다. 본 분석에서는 비지도방식의 형태소 분석기인 soynlp의 MaxScoreTokenizer를 사용한다.\n",
    "\n",
    "<p>[참고]</p>\n",
    "1. <a ref=\"https://github.com/lovit/soynlp\">soynlp github</a> <br>\n",
    "2. https://wikidocs.net/92961"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "7dc01845",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import re\n",
    "\n",
    "print(\"hello\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "60204e18",
   "metadata": {},
   "source": [
    "엑셀로 전처리가 수행된 입수 데이터를 Dataframe으로 가져온다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "385857b1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>DATA</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>- 1,2,3분기 검토</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>- 내부회계관리제도 1차 설계평가(전산감사 포함): 내부통제 설계 및 이행 평가 (...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>- 내부회계관리제도 2차 설계평가 및 운영평가(전산감사 포함): 회사의 설계평가서 ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>- 제70기 1분기 별도 및 연결재무제표 검토</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>- 제70기 3분기 별도 및 연결재무제표 검토- 보험료적립금 로직 샘플 검증 및 표...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                DATA\n",
       "0                                      - 1,2,3분기 검토 \n",
       "1  - 내부회계관리제도 1차 설계평가(전산감사 포함): 내부통제 설계 및 이행 평가 (...\n",
       "2  - 내부회계관리제도 2차 설계평가 및 운영평가(전산감사 포함): 회사의 설계평가서 ...\n",
       "3                         - 제70기 1분기 별도 및 연결재무제표 검토 \n",
       "4  - 제70기 3분기 별도 및 연결재무제표 검토- 보험료적립금 로직 샘플 검증 및 표..."
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.read_excel(\"data.xlsx\")\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "38994040",
   "metadata": {},
   "source": [
    "전처리 로직으로 특수 문자/공백/불용어를 제거한다. 형태소분석기에서 불용어를 적절히 분리해내지 못하므로, 선택적으로 제거한다.\n",
    "\n",
    "<p>[참고]</p> 1. https://somjang.tistory.com/<br>\n",
    "2. https://wikidocs.net/22530 <br>\n",
    "3. https://stackoverflow.com/questions/3411771/best-way-to-replace-multiple-characters-in-a-string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "14a8eb70",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>DATA</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>123분기검토</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>내부회계관리제도1차설계평가전산감사포함내부통제설계 이행평가MRCIPEEUC통제 완전성...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>내부회계관리제도2차설계평가 운영평가전산감사포함회사 설계평가서 운영평가서검토 감사인통...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>제70기1분기별도 연결재무제표검토</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>제70기3분기별도 연결재무제표검토보험료적립금로직샘플검증 표준손해액테이블검증 연중감사</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                DATA\n",
       "0                                            123분기검토\n",
       "1  내부회계관리제도1차설계평가전산감사포함내부통제설계 이행평가MRCIPEEUC통제 완전성...\n",
       "2  내부회계관리제도2차설계평가 운영평가전산감사포함회사 설계평가서 운영평가서검토 감사인통...\n",
       "3                                 제70기1분기별도 연결재무제표검토\n",
       "4     제70기3분기별도 연결재무제표검토보험료적립금로직샘플검증 표준손해액테이블검증 연중감사"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data = []\n",
    "for i in list(df[\"DATA\"]):\n",
    "    temp = re.sub('[-=+,#/\\?:^$.@*\\\"※~&%ㆍ!』\\\\‘|\\(\\)\\[\\]\\<\\>`\\'…》]', '', str(i))\n",
    "    temp = ''.join(temp.split())\n",
    "    temp = temp.replace(\"의견\",\"$$\").replace(\"과목\",\"%%\").replace(\"효과성\",\"##\").replace(\"결과\",\"@@\")\n",
    "    stopword = [\"유의적\", \"및\", \"의\", \"등\", \"에대한\", \"에대해\", \"에대하여\", \"와\", \"과\", \"를\", \"을\"]\n",
    "    for word in stopword:\n",
    "        temp = temp.replace(word,\" \")\n",
    "    temp = temp.replace(\"$$\", \"의견\").replace(\"%%\", \"과목\").replace(\"##\", \"효과성\").replace(\"@@\",\"결과\")\n",
    "    data.append(temp)\n",
    "df[\"DATA\"] = data\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e7bb5a78",
   "metadata": {},
   "source": [
    "<h3> 나. Export Unsupervised dataset </h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dec4989d",
   "metadata": {},
   "source": [
    "엑셀 전처리 과정에서 입수된 데이터는 정렬되어있다. 이를 임의로 섞어서 이후 추출할 Train, Test 자료의 대표성을 높여준다.\n",
    "<p>[참고]</p>\n",
    "1. https://stackoverflow.com/questions/29576430/shuffle-dataframe-rows"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "567704f5",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>DATA</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>기말입증감사계정잔액입증감사</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>연결재무제표 중요계정잔액 공시내용 질문분석적절차증빙확인</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>중요계정잔액 공시내용 질문</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>중요계정잔액 공시내용 질문분석적절차표본점검문서검증재계산 수행내부회계관리제도검토</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>중간감사감사위험평가</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                          DATA\n",
       "0                               기말입증감사계정잔액입증감사\n",
       "1              연결재무제표 중요계정잔액 공시내용 질문분석적절차증빙확인 \n",
       "2                               중요계정잔액 공시내용 질문\n",
       "3  중요계정잔액 공시내용 질문분석적절차표본점검문서검증재계산 수행내부회계관리제도검토\n",
       "4                                   중간감사감사위험평가"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df.sample(frac=1).reset_index(drop=True)\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c07daf8e",
   "metadata": {},
   "source": [
    "각각의 자료에서 다시 임의로 600개씩 선택하여 Train과 Test 데이터로 만든다. (최초 생성 데이터 계속 활용)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "7cc1e1f2",
   "metadata": {},
   "outputs": [],
   "source": [
    "train, test = df.sample(n=600), df.sample(n=600)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "346dd5b6",
   "metadata": {},
   "source": [
    "Train과 Test Dataset을 Excel로 추출한다"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "48e70b3c",
   "metadata": {},
   "outputs": [],
   "source": [
    "train.to_excel(\"train.xlsx\")\n",
    "test.to_excel(\"test.xlsx\")  "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "90d72197",
   "metadata": {},
   "source": [
    "<h3>다. 데이터에 전문가적 판단 반영 (엑셀에서 수행)</h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e97cd1d2",
   "metadata": {},
   "source": [
    "<p>지도학습을 수행하기 위하여 추출된 1,200개의 샘플에 전문가적 판단에 따라 아래의 label을 붙인다. (분반기 검토 업무의 경우 분반기 시간이 따로 공시되는 점을 고려하여 따로 Label을 붙인다.)</p>\n",
    "    <ul>\n",
    "        <li>1: 위험평가/계획</li>\n",
    "        <li>2: 입증감사절차/의견형성</li>\n",
    "        <li>3: 분반기검토</li>\n",
    "    </ul>\n",
    "<p>-예외 처리 규칙-</p>\n",
    "    <ol>\n",
    "        <li>두 가지 단계가 섞여있다고 판단되는 경우 감사의 경우 입증감사절차, 검토의 경우 분반기검토로 분류한다.</li>\n",
    "        <li>기초잔액감사, 기중 하드클로징 등의 경우 기중 수행업무임에도 입증감사절차로 분류한다.</li>\n",
    "        <li>전기 재무제표 검토의 경우 기초잔액감사와 달리 위험평가로 분류한다.</li>\n",
    "        <li>분석적 절차/거래 검토의 경우 입증 절차로 분류한다.</li>\n",
    "        <li>해외 자회사 방문 등 기중 실사의 경우 입증 목적이 아닌 경우 위험평가/계획으로 분류한다.</li>    \n",
    "    </ol>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "93925945",
   "metadata": {},
   "source": [
    "<h3> 라. 형태소 분석기 교육 </h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dcc32eab",
   "metadata": {},
   "source": [
    "위에 언급한 바, 본 분석의 경우 분석대상 형태소가 사전에 주어진 KoNLPy의 분석툴 사용이 적절하지 않다. 많은 회계감사의 용어가 해당 툴의 사전에 반영되어 있지 않아, 부적절한 분석결과가 산출될 수 있다. 아래의 예로 이 상황을 확인할 수 있다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "dc959446",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['중요', '계정', '잔액', '및', '공', '시', '내용', '에', '대해', '질문', '분석', '적', '절차', '표본', '점검', '문서', '검증', '재', '계산', '등']\n"
     ]
    }
   ],
   "source": [
    "from konlpy.tag import Okt\n",
    "\n",
    "okt = Okt()  \n",
    "print(okt.morphs(\"중요 계정잔액 및 공시내용에 대해 질문 분석적절차 표본점검 문서검증 재계산 등\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2a668cb2",
   "metadata": {},
   "source": [
    "따라서 이번 분석에서는 비지도학습 기반 형태소 분석기인 soynlp를 사용하는데, 전체 데이터를 이용하여 응집확률을 계산하고, 이를 활용하여 형태소를 분석하고 일부 응집 점수를 튜닝하여 TF-IDF 적용전 Vectorize된 Data를 만든다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "890c92ca",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "training was done. used memory 0.352 Gb\n",
      "all cohesion probabilities was computed. # words = 5993\n",
      "all branching entropies was computed # words = 8064\n",
      "all accessor variety was computed # words = 8064\n"
     ]
    }
   ],
   "source": [
    "from soynlp import DoublespaceLineCorpus\n",
    "from soynlp.word import WordExtractor\n",
    "from soynlp.tokenizer import MaxScoreTokenizer\n",
    "\n",
    "word_extractor = WordExtractor()\n",
    "word_extractor.train(df[\"DATA\"])\n",
    "word_score_table = word_extractor.extract()\n",
    "\n",
    "scores = {word:score.cohesion_forward for word, score in word_score_table.items()}\n",
    "tokenizer = MaxScoreTokenizer(scores=scores)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5af112a9",
   "metadata": {},
   "source": [
    "아래는 분석기 적용내용을 확인후, 필요한 형태소에 가중치 1을 부여하는 score 튜닝을 적용한 내용이다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "e905678c",
   "metadata": {},
   "outputs": [],
   "source": [
    "tuning = {'중요계정잔액':1, '공시내용':1, '분석적절차':1, '표본점검':1, '문서검증':1, '재계산':1\n",
    "         ,'중요거래유형':1, '내부통제':1, '분석적검토':1, '중간감사':1, '조회서':1, '감사계약':1\n",
    "         ,'입증감사':1, '기말감사':1, '재고자산':1, '실사입회':1, '내부회계관리제도':1, '연결재무제표':1\n",
    "         ,'연결조정분개':1, '계획':1, '이해':1, '투자자본상계':1, '일반감사절차':1, '감사결과':1\n",
    "         ,'반기검토':1, '분기검토':1, '후속기간':1, '통제테스트':1, '잔액검증':1, '입증감사':1\n",
    "         ,'중요한왜곡표시':1, '식별':1, '기초잔액':1, '실증절차':1, '표본테스트':1, '현장감사':1\n",
    "         ,'별도재무제표':1, '경영자주장':1, '설계':1, '운영':1, '주석사항':1, '효과성':1\n",
    "         ,'회계처리':1, '재무제표':1, '전산감사':1\n",
    "         ,'사전검토':1, '계정별':1, '감사보고서':1, '종속기업':1, '수행':1, '금융자산':1\n",
    "         ,'이해및평가':1, '내부통제제도':1, '중요공시절차':1, '테스트':1, 'test':1, '실재성':1\n",
    "         ,'감사절차':1, '주석':1, '성격범위시기':1, '내부회계':1, '피투자회사':1, '지배회사':1\n",
    "         ,'분반기검토':1, '프로세스':1, '거래유형':1, '통제위험':1, '외부조회':1, '경영자':1\n",
    "         ,'계정과목':1, '중요계정':1, '종속회사':1, '내부통제테스트':1, '입증절차':1, '보고서':1\n",
    "         ,'변동사항':1, '업무수행':1, '전기조서':1, '감사위험':1, '예비적':1, '지배기구':1\n",
    "         ,'입증시사':1, '1분기':1, '2분기':1, '3분기':1, '일반기업회계기준':1, '조기입증':1\n",
    "         ,'부문감사인':1, '그룹감사':1, '중요성':1, '초도감사':1, '의견형성':1, '자회사':1}\n",
    "\n",
    "scores.update(tuning)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ade680be",
   "metadata": {},
   "source": [
    "아래에서 튜닝되지 않은 OKT와 튜닝된 soynlp 형태소 분석기의 성능 차이를 확인할 수 있다. (사실 이렇게 되면 훈련된 것으로 볼 수 있어서, okt의 사전 추가 등으로 같은 결과를 얻을 수 있을것 같다.)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "2746946b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "soynlp(tuned): ['중요계정잔액', '및', '공시내용', '에대해', '질문', '분석적절차', '표본점검', '문서검증', '재계산', '등)']\n",
      "okt(not-tuned): ['중요', '계정', '잔액', '및', '공', '시', '내용', '에', '대해', '질문', '분석', '적', '절차', '표본', '점검', '문서', '검증', '재', '계산', '등']\n"
     ]
    }
   ],
   "source": [
    "print(\"soynlp(tuned): {0}\".format(tokenizer.tokenize('중요계정잔액및공시내용에대해질문분석적절차표본점검문서검증재계산등)')))\n",
    "print(\"okt(not-tuned): {0}\".format(okt.morphs(\"중요 계정잔액 및 공시내용에 대해 질문 분석적절차 표본점검 문서검증 재계산 등\")))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "257b5369",
   "metadata": {},
   "source": [
    "<h3>마. 형태소 분석기 TF-IDF 로직 반영</h3>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cf9a218c",
   "metadata": {},
   "source": [
    "(Narrative)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "a6205d7b",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "ea9daee0",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\yoont\\anaconda3\\lib\\site-packages\\sklearn\\feature_extraction\\text.py:489: UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'\n",
      "  warnings.warn(\"The parameter 'token_pattern' will not be used\"\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "TfidfVectorizer(tokenizer=<soynlp.tokenizer._tokenizer.MaxScoreTokenizer object at 0x000001E3F9D6B2B0>)"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tfidf_vect = TfidfVectorizer(tokenizer=tokenizer)\n",
    "tfidf_vect.fit(df[\"DATA\"])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc8932d9",
   "metadata": {},
   "source": [
    "<h3>바. Supervised Machine Learning - Random Forest</h3>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "f4833c20",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train = pd.read_excel(\"train_supervised.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "07316d9d",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "for i in list(df_train[\"DATA\"]):\n",
    "    temp = re.sub('[-=+,#/\\?:^$.@*\\\"※~&%ㆍ!』\\\\‘|\\(\\)\\[\\]\\<\\>`\\'…》]', '', i)\n",
    "    temp = ''.join(temp.split())\n",
    "    temp = temp.replace(\"의견\",\"$$\").replace(\"과목\",\"%%\").replace(\"효과성\",\"##\").replace(\"결과\",\"@@\")\n",
    "    stopword = [\"유의적\", \"및\", \"의\", \"등\", \"에대한\", \"에대해\", \"에대하여\", \"와\", \"과\", \"를\", \"을\"]\n",
    "    for word in stopword:\n",
    "        temp = temp.replace(word,\" \")\n",
    "    temp = temp.replace(\"$$\", \"의견\").replace(\"%%\", \"과목\").replace(\"##\", \"효과성\").replace(\"@@\",\"결과\")\n",
    "    data.append(temp)\n",
    "df_train[\"DATA\"] = data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "86568aee",
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_matrix_train = tfidf_vect.transform(df_train[\"DATA\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "74c9abc3",
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = df_train[\"LABEL\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "fb2a5af9",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.ensemble import RandomForestClassifier\n",
    "from sklearn.model_selection import GridSearchCV\n",
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "43490977",
   "metadata": {},
   "outputs": [],
   "source": [
    "dt_clf_rfc = RandomForestClassifier(random_state=156)\n",
    "parameters_rfc = {'max_depth':[30, 40, 50],\n",
    "                  'n_estimators':[40, 50, 60]}\n",
    "grid_dtree_rfc = GridSearchCV(dt_clf_rfc, param_grid=parameters_rfc, cv=20, refit=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "eecad98e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "GridSearchCV(cv=20, estimator=RandomForestClassifier(random_state=156),\n",
       "             param_grid={'max_depth': [30, 40, 50],\n",
       "                         'n_estimators': [40, 50, 60]})"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "grid_dtree_rfc.fit(tfidf_matrix_train, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "15f38ff0",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'max_depth': 40, 'n_estimators': 50}\n"
     ]
    }
   ],
   "source": [
    "estimator_rfc = grid_dtree_rfc.best_params_\n",
    "print(estimator_rfc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "3d0fb28f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9966666666666667\n"
     ]
    }
   ],
   "source": [
    "pred_rfc = grid_dtree_rfc.predict(tfidf_matrix_train)\n",
    "accuracy_rfc = accuracy_score(y_train, pred_rfc)\n",
    "print(accuracy_rfc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "0b6afd36",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train[\"pred\"] = pred_rfc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "6a00639c",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train.to_excel(\"train_pred.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d3df8f62",
   "metadata": {},
   "source": [
    "다음 단계로 넘어가기 전에 예측 데이터를 추출하여 지도 단계의 오류를 train_supervised 파일에 반영하여 모델을 다시 생성하는 절차를 반복한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "e29142ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_test = pd.read_excel(\"test_supervised.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "33d822ac",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "for i in list(df_test[\"DATA\"]):\n",
    "    temp = re.sub('[-=+,#/\\?:^$.@*\\\"※~&%ㆍ!』\\\\‘|\\(\\)\\[\\]\\<\\>`\\'…》]', '', i)\n",
    "    temp = ''.join(temp.split())\n",
    "    temp = temp.replace(\"의견\",\"$$\").replace(\"과목\",\"%%\").replace(\"효과성\",\"##\").replace(\"결과\",\"@@\")\n",
    "    stopword = [\"유의적\", \"및\", \"의\", \"등\", \"에대한\", \"에대해\", \"에대하여\", \"와\", \"과\", \"를\", \"을\"]\n",
    "    for word in stopword:\n",
    "        temp = temp.replace(word,\" \")\n",
    "    temp = temp.replace(\"$$\", \"의견\").replace(\"%%\", \"과목\").replace(\"##\", \"효과성\").replace(\"@@\",\"결과\")\n",
    "    data.append(temp)\n",
    "df_test[\"DATA\"] = data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "6ff22f47",
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_matrix_test = tfidf_vect.transform(df_test[\"DATA\"])\n",
    "y_test = df_test[\"LABEL\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "21ed2238",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9\n"
     ]
    }
   ],
   "source": [
    "pred = grid_dtree_rfc.predict(tfidf_matrix_test)\n",
    "accuracy = accuracy_score(y_test, pred)\n",
    "print(accuracy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "db40e179",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_test[\"pred\"] = pred"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "27c6b599",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <th>DATA</th>\n",
       "      <th>LABEL</th>\n",
       "      <th>pred</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>5714</td>\n",
       "      <td>3분기공시자료검토</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2334</td>\n",
       "      <td>내부회계관리제도1차운영평가</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>1533</td>\n",
       "      <td>연결재무제표감사수행</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>8145</td>\n",
       "      <td>연결재무제표재작성관련하여필요한감사절차수행</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4176</td>\n",
       "      <td>대출채권실재성확인기업어음완전성확인</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>595</th>\n",
       "      <td>4952</td>\n",
       "      <td>실증적감사절차수행</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>596</th>\n",
       "      <td>717</td>\n",
       "      <td>계정과목입증절차</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>597</th>\n",
       "      <td>6286</td>\n",
       "      <td>주요계정잔액공시내용외부조회질문분석적절차표본점검문서검증재계산</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>598</th>\n",
       "      <td>5706</td>\n",
       "      <td>중요계정잔액공시내용분석적절차표본테스트일반감사절차수행재무제표수준분석적검토감사결과요약</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>599</th>\n",
       "      <td>9539</td>\n",
       "      <td>실증감사전략수립</td>\n",
       "      <td>1</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>600 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     Unnamed: 0                                           DATA  LABEL  pred\n",
       "0          5714                                      3분기공시자료검토      1     1\n",
       "1          2334                                 내부회계관리제도1차운영평가      1     1\n",
       "2          1533                                     연결재무제표감사수행      2     2\n",
       "3          8145                         연결재무제표재작성관련하여필요한감사절차수행      2     2\n",
       "4          4176                             대출채권실재성확인기업어음완전성확인      2     2\n",
       "..          ...                                            ...    ...   ...\n",
       "595        4952                                      실증적감사절차수행      2     2\n",
       "596         717                                       계정과목입증절차      2     2\n",
       "597        6286               주요계정잔액공시내용외부조회질문분석적절차표본점검문서검증재계산      2     2\n",
       "598        5706  중요계정잔액공시내용분석적절차표본테스트일반감사절차수행재무제표수준분석적검토감사결과요약      2     2\n",
       "599        9539                                       실증감사전략수립      1     2\n",
       "\n",
       "[600 rows x 4 columns]"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_test"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "8b9d3f56",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_test.to_excel(\"test_pred.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a8912a6f",
   "metadata": {},
   "source": [
    "600개 학습모형의 TEST 결과 Accuracy score가 89.5%로 개선이 필요하였다. 분류 결과는 아래 표에서 확인할 수 있다. 이에 따라, 원자료에서 Train 데이터에 임의선택한 3번 레이블 300개와 1번 레이블 100개를 추가하여 학습모형을 개선하였다."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "01901861",
   "metadata": {},
   "source": [
    "<table style=\"table-layout: left;\">\n",
    "  <tr>\n",
    "    <th>Supervised</th>\n",
    "    <th>Prediction</th>\n",
    "    <th>Count</th>\n",
    "    <th>Percentage</th>\n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>1</td>\n",
    "    <td>1</td>\n",
    "    <td>215</td>\n",
    "    <td>91</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>1</td>\n",
    "    <td>2</td>\n",
    "    <td>21</td>\n",
    "    <td>9</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>1</td>\n",
    "    <td>3</td>\n",
    "    <td>1</td>\n",
    "    <td>0</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td></td>\n",
    "    <td>소계</td>\n",
    "    <td>237</td>\n",
    "    <td>100</td> \n",
    "  </tr>  \n",
    "    \n",
    "  <tr>\n",
    "    <td>2</td>\n",
    "    <td>1</td>\n",
    "    <td>16</td>\n",
    "    <td>5</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>2</td>\n",
    "    <td>2</td>\n",
    "    <td>312</td>\n",
    "    <td>95</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>2</td>\n",
    "    <td>3</td>\n",
    "    <td>1</td>\n",
    "    <td>0</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td></td>\n",
    "    <td>소계</td>\n",
    "    <td>329</td>\n",
    "    <td>100</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>3</td>\n",
    "    <td>1</td>\n",
    "    <td>9</td>\n",
    "    <td>26</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>3</td>\n",
    "    <td>2</td>\n",
    "    <td>14</td>\n",
    "    <td>41</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td>3</td>\n",
    "    <td>3</td>\n",
    "    <td>11</td>\n",
    "    <td>32</td> \n",
    "  </tr>\n",
    "  <tr>\n",
    "    <td></td>\n",
    "    <td>소계</td>\n",
    "    <td>34</td>\n",
    "    <td>100</td> \n",
    "  </tr>\n",
    "</table>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "52321ae6",
   "metadata": {},
   "source": [
    "데이터를 추가한 학습 DATA로 모형을 다시 학습한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "eeb1ac40",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train = pd.read_excel(\"train_supervised_second.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "eb37971c",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "for i in list(df_train[\"DATA\"]):\n",
    "    temp = re.sub('[-=+,#/\\?:^$.@*\\\"※~&%ㆍ!』\\\\‘|\\(\\)\\[\\]\\<\\>`\\'…》]', '', i)\n",
    "    temp = ''.join(temp.split())\n",
    "    temp = temp.replace(\"의견\",\"$$\").replace(\"과목\",\"%%\").replace(\"효과성\",\"##\").replace(\"결과\",\"@@\")\n",
    "    stopword = [\"유의적\", \"및\", \"의\", \"등\", \"에대한\", \"에대해\", \"에대하여\", \"와\", \"과\", \"를\", \"을\"]\n",
    "    for word in stopword:\n",
    "        temp = temp.replace(word,\" \")\n",
    "    temp = temp.replace(\"$$\", \"의견\").replace(\"%%\", \"과목\").replace(\"##\", \"효과성\").replace(\"@@\",\"결과\")\n",
    "    data.append(temp)\n",
    "df_train[\"DATA\"] = data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "851ac19d",
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_matrix_train = tfidf_vect.transform(df_train[\"DATA\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "adf7c635",
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = df_train[\"LABEL\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "f174f0f6",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.ensemble import RandomForestClassifier\n",
    "from sklearn.model_selection import GridSearchCV\n",
    "from sklearn.metrics import accuracy_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "c7e34c45",
   "metadata": {},
   "outputs": [],
   "source": [
    "dt_clf_rfc = RandomForestClassifier(random_state=156)\n",
    "parameters_rfc = {'max_depth':[60, 70, 80],\n",
    "                  'n_estimators':[50, 60, 70]}\n",
    "grid_dtree_rfc = GridSearchCV(dt_clf_rfc, param_grid=parameters_rfc, cv=20, refit=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "84ac50a2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "GridSearchCV(cv=20, estimator=RandomForestClassifier(random_state=156),\n",
       "             param_grid={'max_depth': [60, 70, 80],\n",
       "                         'n_estimators': [50, 60, 70]})"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "grid_dtree_rfc.fit(tfidf_matrix_train, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "413a6109",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'max_depth': 70, 'n_estimators': 60}\n"
     ]
    }
   ],
   "source": [
    "estimator_rfc = grid_dtree_rfc.best_params_\n",
    "print(estimator_rfc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "1e8591c7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.0\n"
     ]
    }
   ],
   "source": [
    "pred_rfc = grid_dtree_rfc.predict(tfidf_matrix_train)\n",
    "accuracy_rfc = accuracy_score(y_train, pred_rfc)\n",
    "print(accuracy_rfc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "b01fe3d1",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train[\"pred\"] = pred_rfc"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "91029896",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_train.to_excel(\"train_second_pred.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2fe4e4f1",
   "metadata": {},
   "source": [
    "Test data에 다시 확인한다. 약간 개선되었다. (0.9 → 0.92)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "4b6bfa9c",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.92\n"
     ]
    }
   ],
   "source": [
    "pred = grid_dtree_rfc.predict(tfidf_matrix_test)\n",
    "accuracy = accuracy_score(y_test, pred)\n",
    "print(accuracy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "b2189e24",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_test[\"pred_second\"] = pred"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "id": "473074a9",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_test.to_excel(\"test_pred.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1ff559ff",
   "metadata": {},
   "source": [
    "<h3>사. Unlabelled Data 분류 작업</h3>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "id": "2cbe8470",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_pred = pd.read_excel(\"predict.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "f62b1f01",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NO</th>\n",
       "      <th>ACTIVITY</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>내부통제 및 이해와 평가</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>중요 계정잔액에 대하여 질문, 분석적절차, 표본테스트(문서검증, 재계산 등)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>5</td>\n",
       "      <td>내부통제 및 이해와 평가</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>6</td>\n",
       "      <td>중요 계정잔액에 대하여 질문, 분석적절차, 표본테스트(문서검증, 재계산 등)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>8</td>\n",
       "      <td>내부통제 이해 및 평가</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   NO                                     ACTIVITY\n",
       "0   1                               내부통제 및 이해와 평가 \n",
       "1   2  중요 계정잔액에 대하여 질문, 분석적절차, 표본테스트(문서검증, 재계산 등) \n",
       "2   5                               내부통제 및 이해와 평가 \n",
       "3   6  중요 계정잔액에 대하여 질문, 분석적절차, 표본테스트(문서검증, 재계산 등) \n",
       "4   8                                내부통제 이해 및 평가 "
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_pred.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "ac0ff809",
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "for i in list(df_pred[\"ACTIVITY\"]):\n",
    "    temp = re.sub('[-=+,#/\\?:^$.@*\\\"※~&%ㆍ!』\\\\‘|\\(\\)\\[\\]\\<\\>`\\'…》]', '', str(i))\n",
    "    temp = ''.join(temp.split())\n",
    "    temp = temp.replace(\"의견\",\"$$\").replace(\"과목\",\"%%\").replace(\"효과성\",\"##\").replace(\"결과\",\"@@\")\n",
    "    stopword = [\"유의적\", \"및\", \"의\", \"등\", \"에대한\", \"에대해\", \"에대하여\", \"와\", \"과\", \"를\", \"을\"]\n",
    "    for word in stopword:\n",
    "        temp = temp.replace(word,\" \")\n",
    "    temp = temp.replace(\"$$\", \"의견\").replace(\"%%\", \"과목\").replace(\"##\", \"효과성\").replace(\"@@\",\"결과\")\n",
    "    data.append(temp)\n",
    "df_pred[\"ACTIVITY\"] = data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "id": "b8904288",
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_matrix_pred = tfidf_vect.transform(df_pred[\"ACTIVITY\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "4211f1b7",
   "metadata": {},
   "outputs": [],
   "source": [
    "pred = grid_dtree_rfc.predict(tfidf_matrix_pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "id": "a7ac1c91",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_pred[\"LABEL\"] = pred"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "id": "1d0dec02",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>NO</th>\n",
       "      <th>ACTIVITY</th>\n",
       "      <th>LABEL</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>내부통제 이해 평가</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>중요계정잔액 질문분석적절차표본테스트문서검증재계산</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>5</td>\n",
       "      <td>내부통제 이해 평가</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>6</td>\n",
       "      <td>중요계정잔액 질문분석적절차표본테스트문서검증재계산</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>8</td>\n",
       "      <td>내부통제이해 평가</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   NO                     ACTIVITY  LABEL\n",
       "0   1                   내부통제 이해 평가      1\n",
       "1   2  중요계정잔액 질문분석적절차표본테스트문서검증재계산       2\n",
       "2   5                   내부통제 이해 평가      1\n",
       "3   6  중요계정잔액 질문분석적절차표본테스트문서검증재계산       2\n",
       "4   8                    내부통제이해 평가      1"
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_pred.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "id": "e992e8c1",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_pred.to_excel(\"predict_labelled.xlsx\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}