project3-optional/KNN_(edited)_2.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "zkzGHTYTRJ6J"
   },
   "source": [
    "# توجه \n",
    "\n",
    "1. به راهنمایی هایی که در کد آمده است توجه کنید\n",
    "2. مواردی که به صورت \"#TODO\"\n",
    "را باید بصورتی که در صورت پروژه تعریف شده است انجام دهید. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "JbfeAvxXYMd2"
   },
   "outputs": [],
   "source": [
    "! pip install parsivar\n",
    "! pip install gensim==4.1.2\n",
    "!pip install words\n",
    "!pip install elasticsearch\n",
    "!pip install pandas\n",
    "!pip install sklearn\n",
    "!pip install openpyxl"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "FRQkBOypdLoz",
    "outputId": "0417be22-7e73-487e-abb6-9bfcaaf0ae84"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/dist-packages/requests/__init__.py:91: RequestsDependencyWarning: urllib3 (1.26.9) or chardet (3.0.4) doesn't match a supported version!\n",
      "  RequestsDependencyWarning)\n"
     ]
    }
   ],
   "source": [
    "from elasticsearch import Elasticsearch\n",
    "from elasticsearch import helpers\n",
    "from parsivar import Normalizer, Tokenizer, FindStems\n",
    "import json\n",
    "from tqdm import tqdm\n",
    "from gensim.models import Word2Vec\n",
    "from string import punctuation\n",
    "import numpy as np\n",
    "import re\n",
    "import random\n",
    "import pandas as pd\n",
    "# import whatever you need for your implementation  "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "eQQr_pgEJ4vr"
   },
   "source": [
    "# Download Datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "u7rp0So1JyBW"
   },
   "outputs": [],
   "source": [
    "!gdown --id 1ea3SbNwRZATzlTpTI6L7eQ73W40APj5G"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "uusXlgJnJ-wH"
   },
   "outputs": [],
   "source": [
    "!gdown --id 15v9oRRhC0Eo8q2RTkQUXw72tA0TjMSQb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "iqRziSsqKLfK"
   },
   "outputs": [],
   "source": [
    "!gdown --id 14c814CDp7aDQQOiqqCcMWI9GvZps8JIt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "0sORz9JPfjKM"
   },
   "source": [
    "# step 1 \n",
    "داده هایی که در اختیار دارید را بارگذاری کنید و مشابه بخش های قبل پیش پردازش های لازم را انجام دهید. \n",
    "مطابق فازهای و بخش های پیشین پروژه مراحل پیش پردازش را انجام دهید. در نهایت لیست از اسناد بسازید که برای هر متن شامل توکن های آن متن باشد. \n",
    "این لیست میتواند ساختاری مطابق تصویر زیر داشته باشد.\n",
    "![image.png](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAckAAADHCAYAAAByQqi1AAAgAElEQVR4Xu1dXYpet7Lddyh9cIPJGUbA0JD4oT2DA8aQxgcMCR6DscGQxg8hY7Bf3GBjCJxB+DQdbOKh3Jv6fKtdrdZPlVTS/lvfS5zeUqlqVUlL0tZW/c///v2b8AMCQAAIAAEgAARuIfA/IElEBRAAAkAACACBOAIgSUQGEAACQAAIAIEEAiBJhAYQAAJAAAgAAZAkYgAIAAEgAASAgA0BrCRteFWX/vnnn6c3b95M33333XRxcVEtBxWBwN4R+Mc//jH9/vvv0/fff79JKLZu39qcBpJcm8cS+v7222/To0ePNmINzAACtxEg8qDfX3/9tUl4tm7fWp0GknT2HJHVs2fPDlLDVWNPIvvll1+mq6ur6YcfftgNWfbEk/z35cuXw2ply6sWsrM3jrkupmmb+xSR49p8snX7nIfPRYozkyRvG8ZIYJEWDlaKOsWnT5+mFy9e3GqZZoq9ZsF//PHH9Pnz5+nt27fT+fn5dHR0VGU56U8y1rAl3IIn4fXw4cOJ/htiJSc6sedVwC64Ek2sZMyMjAGtD9fqk63bt+CwdlPNRJJEkLRa4QGUOtfdu3ejhOCm4coE5UgyHIw8TaMZ9ocPH6Y7d+4cxMbe18gZuWfbc8n68ccfp19//bV6QiD1Jt+QvHv37h2w6zWZmQurXLs0EUjFTG99Uz6UYw2vHlt9MpL8GbeR9vX21V7lm0iSZkVyZs3Bu4fZtjZAciRJHf/s7MxlUI/pQ1uuP/3002GAlyTJAw5NaOgXW+WyPN4p8PapdUJFeuT0JH3ZXu2qmXTIrZCpzZOTk8MKs3VA1sbLEspRP5Yx0ysGcjGb8yGv+mt8oomjnj7QxGiLfT11h+yvCKhJMnQkEyQJ2fo7G0uw5EiSntFKz+NUXuxdR4wk5Sxc0xlZx/fv30/Pnz+3mK4uW3pPU1o5cP0cnrHVEa+26YATY/H06dPDO9wYTvxMbdgCChImtBom0iGb6L8pvBkj3hLkuOwdA9I3Wh+G/kpBLWVLn448Xd7TvgWE2O5UMJHky5cvD+8uuDNRMDx+/Hh68uSJy8C/BfSXQJK07SpPuspBMjZg0iD54MGDAynyCTvyRc3MPfQhxUg4KYi9p5E6kAzWk+rTMxrs+d+8HVqadMTaYbm8wqDtMHoHK9tkG3K+rIlVGrRfvXpVXCFrZcewJZ3pxxMBwir3Xox3h2TMeMdAzB7WyepDjU+kvexvnjDQbsLl5aVLbOf81NM+bXygnA8CJpKkbSj6ya04CjqQ5Ddn5DoxH65p/VRDEocMA1pJEtGFW0w5kuRZb7hyZFktYUYDE/1iB2MkBjEd5ODGxMLbgnRAiUmA/x3TMzYhkHKZvHkyECtPur17986F2ErbvRaswy1SWTdcaWswim1LesRAyiY5CdLoJ+WUfFKaFPKq0mMSOId9ljhB2XYE1CQZO3qNd5K3HVAiyV5brXIlJE8gx0JEDg5y2zws2zqIxFY6Uk9uL6dDKsRJt5R8rsPvgD0wb8WCdGK/eLyeyNkuV4KMRUp/JsdUzHjYHfMht1vy4f3796ePHz9GwyClW66Od4yn4rOnfe3DPiRYEFCTJHdyebqVAoF+pQMWFoXWXlazHWSxMfaBcawN+hsdSuGtQ0sbVFZuO1rrUvmUnrFVc+owRasOUm8afOn1wByfsnh/FG7BVr53LfnRGyOt3dp2teVG+X1O+0pttz4vxcqen5tIkoDiPX369+npKQgyiB5vkkydNAxn/v/85z/VBCm3o3gV13pIJaanfD/GMPHE6vj4+Pq9aasO8rAKT+boCkDvE7ragcL7dGgK2/B7XD7cErN7BEYpPfkgUc43NfrV1NH6MFZutH1Sh1YSLNVvwWXrdc0kuXVAWu3zJkmSRzf41G57xe6BDLc3WwmSMEvpKSdVVI5vIcrpUGNz2E4tXq3+z2FRKzuFR2yLNGd3b4y0MZDSsUa/XJ1Y7Nf6wBLjnva16Iu6PgiAJH1wvJbiRZKSROYc8EvweOtp/Z6ypN/I595YeMvrhcVa9Ky1f+v21eKyl3ogSWdP82xarpqcm4A4IAAEgAAQGIQASHIQ0GgGCAABIAAE1ocASHJ9PoPGQAAIAAEgMAgBkOQgoNEMEAACy0PA+3DP0izcun0j8AZJjkAZbQABILAoBLb+ScTW7RsZTCBJZ7R7HNyJXZfmrHZS3Jxtj7IR7fghMGe8aNqWn6kggbOf37csqYokR10SvEbgPT4BCTtvzzyUJYznbLukG54vDwEkcO7nEyRw7odtTrKJJGW6mpYP3OcxdUyrHiTJONOH93RVWy6Rcm+rYimnercJ+etFYM54GZngmPo5XQE58trDkfatNwL9NTeRJGcx4EF8yR+5+0Olk+hBktwSp/fJZXzQaWUvxb6eo+2ctmEmjbmT6pKuS9TJ7nGfGmG8eF/Rl9Oyd4LjuWOtt30+EbA9KSaSZPNBkulA8CRJaoXvp4xljucr3nqEJV+UTfdutrSteU9k0V9e4C2T6sqJBWX94PtLRyTbLekk7fPGw4Kdtay8GxUJnL8c8qJSXxgRU3KspX9T2+SPVNJ2uYKXO36tafmsMbPF8iBJZ6+2kGQqwTD9XSbFHZVAlgdJbdu5BMmeMEuikf8mXDgJOOeAHIkVD0isU088yC4kcP4aVT0THCOBs2fPXacskKSz31pIUg58vG3FCWlTWz09E8jyYK9tO6e/J8wpkpTH3mMJjkdgxat/IsyeeCCB87eIkpMSJHB+dKOrlRJUe/bLrcoCSTp7NkeSYYLZMINBShW5xZNTt/UdcSz5sbbt0XrF2qNkxjRI0qGy0q8HVqU2+Xlr2yQHCZy/od0zwTESOGujervlQJLOvk2RpHy/w4Pc2dnZdHR05KyBTtxSPzZeol5z6uTdNhI4X+g6yN+lapI+a4Vr/arVQVuOt6fpv6nJWkm30nMtBmspZyLJWP66HNhrAcFTzxxJypfoEss5kgOPPHVowXeJes2pk3fbSOAcn5TGJrE9E3cjgbNlVJi3rIkk51V1Ha2nSJI6xfHx8RSeNpvrtKO8ecSKLNlCvxcvXlirFstb9LKULTacKWBpx1JWo9MoeUjg/PVTnsvLy2u3yJWW9x2oKb9qE09ry2liDGXyCIAknSMk904y9g7y6dOnt4jTWaUb4paaQNaq14jkzHPqZG27FDPe8krt1T5fi56wrxaB9dUDSTr7jGeIJLbnd4zOakMcEAACQAAIRBAASSIsgAAQAAJAAAgkEABJIjSAABAAAkAACIAkEQNAAAgAATsC3od27Br0rbF1+1rRw0qyFUHUBwJAYJMIbP17wK3b5xWUIEkvJP9fDg7uOANaIW6uz2oqVN1llTn9o2lbfp6BxMy7DNEbRptJkmcfJGX05wtrcFfL3a1rsG8NOiJR9LK9hMTM/fyDxMz+2JpIkj44Pjk5OaRt4RnWHLfF+MPgJ9FCkiO+9fOzbH5J8u5bvobr7t27ty5pmDPxbw1KFDOjE/jW6OlVZ07/jExcPIdfR9rnFQ9Ll2MiydAYGuTJKchZ9g2ZFEnKZLSc7y2cYGi2gkoBpUmS7NFOSY8ez2mSVrrvlsvIHJg9dGmVOXcC31b9W+ojMXMLevm6SMzsj20TSeJU1G2HaO9uDWvSwPHvf//7sKJo+ZUIMNdObIZf2jEorQpK+mht5YkFZfqgnQz6hcllpa4lkgz1Ktmp1TNVTuIkk0WPTODbakOsvrzzFImZkZi5R4zNLbOaJKlzX11dTRcX+lv15zZ2RPu5u1tLd516EIpmhZJrR77TiCUxjmHIdXolGWZMaatf5gtkW2k3gycXPGjLRNElvbR2tsbP6AS+SMz8zWNIzPwVi/CdpeX1UGv8r7V+FUny6S+8j7StJD99+pS9FNyDJDVBn2tHPislMWbruU6PJMPyLs/T09Ppzz//vCbE2D2frIucLJT00trZ2skltjEfeCeFRmLmbx5jvGnMQmJmJGa29GUzSYIg8/DmSCqVakxK9EzIm9M01Y5MMhsmMdbUibXpYRPLpXcur1+/zjrBmihaa6elY8XKjk7gi8TM37yAxMxfscjFoGc/be0rS6pvIsnUgZMlGTS3LpqVnJeO3h8DWxK3sg01dXL2e9vkhXVKjlZfb5ykPlodtFggMbP+FdIS/KrVQVuO4qQUU63PtbG4hHImkpTfSHqvfpYAhocOI0myJSGvPHBBdmtk1dSxYqrRwyqzZ/mW5LleenljhsTMSMzcSoKl+l6xP0KOiSRHKLT2NkaSJG9957ZJcmVqErfW1LH4VGNTblUnT79a2q0tm9J3CQl8vW1CYmYkZq6NqTXXA0k6e28ESW4xMe3abFqCvt46eMtz7lrX4taiZ639W7evFpe56oEknZHnlQWJRdJlZ3AhDggAASAwGAGQ5GDA0RwQAAJAAAisBwGQ5Hp8BU2BABAAAkBgMAIgycGAozkgAASAABBYDwIgyfX4CpoCASDghMDW753eun1OYaASA5JUwbSvQh7X4+0LMVi7FgS29P1eDPOt2zdHnIEknVHvebp1FHlxnsvj4+PZ0qCNstXZ/bsVN6e/NG3L71n5E4vR39TWBsfW7avFZVQ9E0mGHxM/ffp0tkF0FEDWdnp+J6nNOm7VOSxPNty5c2d6+fLldH5+Ph0dxW8gaW0nVz/MXt+zLchuRyD0F8XQqETS2n4hJ7BrSs6wdfvao6+vBBNJhqpg3/u2c3qSZCrruHeIcO5Dlsv5G73byckr5akcqQvaKiMwp79S/UKm85M5PMvWpEuMJH/WYqR9LdhstW4TSVIQzrklt0SntJBkKRekJuu4ByY0oFA+xnv37k2l5MUe7cVkhNnrY2VokjbnbkaYiqrkv15YLUFu6C/v+2RzNmr6BSdnqMl0Mbdfe9u3hPhZsg7VJOk1M1syODW6WUgyla2e22WMeWuIt0E9Vnaxy+ol4dDAcHZ2tmiStPinx0qHJxOPHj2aSv1B817JYk/PsvIie7KLtttT+jOuvCXIscmx+v79++n58+fu6kp/5vqFLMdEWZpYpfolE/+Im7R62ufujI0LNJOkfC9ZCraNYxc1z0KSJCCWrZ7+ToPT48ePpydPnkzv3r07JGv2IknqgDSY8aBByYyJEOW7R37HRCtKIgH+cd3QeHmh94MHD5oHRklAXm1r3+1Y4laSB/+bMKK2CE/+N+Fds4oJdZEJpC16psrG/El20I/8zs9z2NEzKidjRU7CPOxO7SSQ7FK/CHXX9NFYv+QJA8d6L7vYVtahh30esbMXGWaSlMAQYdKPBnD8viKg6YASq9ggy+RJ/6WOyNt6pazqFh9I38lBnWVwm+FWUzjg8IAhD0J4kZF32z1WczH/SSLjbcjPnz+7HHILt3gtPo8Rbmo7ne3iATqnP5eNbUvSVmGPlST3NSZyjX7SfopXnnzGMEz1Sy7Li4WeRCknXd72tcTN3uo2kaQliedegLWSZCpTOB1Pp47x7NmzA3TUGVOrOCu24dajzDogZVGbsfRImvY8Bg/vtj3eLaWwGo2Jx+cLuXiKbcenfMq4pvzlEQsxfLndUr9I9THuVzHZuTph+TXap4lXlPmKQBNJ8vd0WEl+CycLSY6YZFiyzM/VKUZ8AF2D9Qi9Uph7t22Jg9hWd0rPGlxzcaa1W9uutly4yqTPny4uLty7xJz2ldru/dwdzEECTSQZJpLFO8nbXkqRpDwMQbVGnf5LZZmX7xkHxVqyGW8svLD21suCs3fbqTj49OnTjdcl/J5abp+z3l645nBI6UknrfmdeQqbGv1q6lj8GJYdbZ9svxRTIMm4Z00k2RIce6mbW0nmstVTPdpa9d66icktHQQY7asetuew1tpn0ctSVtP+KHmxLdJcDHrgmrM/Zbe2XW05qUOujve34HPYJyc5PcYYTTyvuQxI0tl7lu1WbrrHtnUpuzl1fjrVOudWeUlHZ9eoxVn18vSfte2SUd7ySu3VPl+Lnmu0b+vY1vpEWw8kqUVKWY5nilR8xPdUSrWixcIZ9Nyk2WIL6gIBIAAEeiAAkuyBKmQCASAABIDAJhAASW7CjTACCAABIAAEeiAAkuyBKmQCAQMC3odDDE2j6N8I1JwjWDtwiDm9B0GSeqxQEgi4IlA6cu/aGITdQkB7l+uWoEPM2b0JkrRjlq2xtIM7Pa5ic4bMXdycNmvalp8BrC0BsLuzBgqUvpEnktd+vSZirm8QVZEkd+yln97sC11c+tK2bvaYvBgJgPtFPmFL+Q2XdBmF1towLvh099pPdWvvSpYT+NhlEVoc91auiiR5FnZ1ddXl6qY1O2EJJEkzY/ZNeE/rmrHV6j6nzSMT5FKsvX37dlgflJPjy8vL6MUXMva0/hpVLkw/lcOudjIw2ieE3ciYG+WrJbVjJkkOAkrh1Ot+wyUBZNVlCSQpdY4lL/a46NuKy8jySAA8Eu31tCXjQrPFqu0n2nK9kEJS5l7IfpVrIkmZBJiurgJJ3naOhSR7rnhYdpgMt5QcuG+42aXLuzWRAPjLIQ+ozM4y6pVHjR9iycF7xnwqulJ9IXeXaa6fSBtkOZY3wifhqvjOnTuH2Ah/stweDyrZR5zbNUwkSUFwfHx8nYwVJNlGklRb+z6hxtmxZLgkR/OiX9MeEgB/Q6lngtzRCYC9EjGn7oCNxTz9zSNZdypuU31BTvxl0vFSPxntk5hdPWNO0//3UkZNkmHKmZoUNHsA1bKSLHXEVryYDMPtIC+SRALgbx5iTEuJsWPYLykBcGx7nq1k3em/tHKxJgIO5fD/82rn/fv33RM0h32B/v/s7Gx6/PjxdH5+fp1ppNQ3pR9jPkVS5tbRazn11SSZS4DrkQB2OZC0aWIlyZ7vM3LJcD2yjXBMePgfCYC/JtaO/UYmAPb2Q8yeMOZHXMCd6gsydi2Jpkf6JDUi9Uw63TYKbqu2miRDs7GSjAeChSRrMNR+DFwjO7dVRc88iJXkIAGwPpmvpx9D/87hh5w9dEqTTpxqf3P0BdJttE9ieGh10JZL9UvZdgnv0nOtX5dWDiTp7JEUScqDD9RkKQFqbvb45s2bQ0fldyhesi1ttsCGBMBHUfh6+zFstLcfPnz4MKWSJdMz/taSV5LWJO4tCYy18bsUn/RKOu1JgiBJbVTtvFxuJVmTEDaEU97WIp/RLPy///3v9Z9yhyas26OpNmtdnZKHBMDTtIQEwJ5+SNkjt1gpjqwESXVSceTRz2RsL8EnWpu05Wr77h7rVa8k9wiWxmbLdqtGHpcZ8d4m1Me7TW95FvwsZdeip8UmWXbt9q1d/5jftmhTbXwurR5I0tkj8uqnEd9LOasPcUAACAABICAQAEkiHIAAEAACQAAIJBAASSI0gAAQAAJAAAiAJBEDQAAIAAEgAARsCGAlacMLpYEAEAACQGBHCIAkd+RsmAoEgAAQAAI2BECSNrxQGggAASAABHaEAEhyR86GqUAACAABIGBDACRpwwulgQAQAAJAYEcIgCR35GyYCgSAABAAAjYEQJI2vFAaCAABIAAEdoQASHJHzoapQAAIAAEgYEMAJGnDC6WBABAAAkBgRwiAJHfkbJgKBDQIlPICtj7X6IAyQGApCIAkl+IJ6AEEFoJAKwmW6i/ETKgBBFQIgCRVMKEQEAACQAAI7BEBkOQevQ6bgQAQAAJAQIUASFIFEwoBASAABIDAHhEASe7R67AZCAABIAAEVAiAJFUwoRAQAAJAAAjsEQGQ5B69DpuBABAAAkBAhQBIUgUTCgEBXwToM4nff/99+v77730FQ1oUgSXjvWTdEE7TBJJEFACBgQjgG8KBYP/d1JLxXrJuY7207NZAks7++e2336Znz54dpH733XfTxcWFqgWq9+jRo2jZ3DOV8B0UmhMjTdscF3/99df05cuXwwpyLStJjX1LC7G58NZgNZduS/PRWvSpIskffvhhury8nKjDhz+eHdHfnz59Gh34c/X5GdU/PT2dXrx4cWiCB5awPQsRjXAKdYBPnz5d661tk3CL4Un1CZPz8/Pp6OhIK2535UKMyA9v375VT1JaAMv5TsqVE6g//vhjNf6cE9sWv8yB99ZjocUfa61rIknq2A8fPjyQH62WwkH9559/nk5OTg6zZCY1ORiU6lNn/PHHH6+JNfz/EGRqj35MpEtwQi1Jkt2//vprdOAk3OiH91dpD8+JUcp3FJ9XV1cHoub+kJoIaWO3F/mTrm/evDmoERL4nNhqcQnLeeFtbX9kLFh1Q/k6BEwkSaRFHZ7JrtThY6SXqh8Lamrn5cuXydUAzdqWNiOvJclffvll+umnn26QJONN2BDWkiRpUNNODlhOXYiso1aIEQ/6I+Ij5rsQNW2fiaFt8XWNt8KYDbcMtdguKc5a8K7BkOv0joUW3VC3DgETSXIT2gBMndqK1Y/9LTcbrCWjOpj0tSx6yRk61btz584NIiT7P3z4MN27d+8GSeZwic36WU7qnafeujElCQuymbaXSXf6b+pdD9vL21w8kWA8379/Pz1//txd8ZLvZF/hXQC5k5LzhZQtfc3E7/2KIYYtEd6TJ0+ud4XkJC2FrWecyfYtzpPYafG2yI+V7RkLrbqhfjsC3UhSbjVpZ9UhqZbefY5YJVghtpAkyebBPUaS9JwJg8hSDqy5AwKx9yKaAwUaW2kgfPXqlXoVW5JJPgy3kUlX+pG9/Dz3rod3FCRG8t14acejpGPqecl3XC/UXRMjsg77jicMuX7RYgvV5Vcpsm+F5JfD1iPOqD36UZzRL9wxofYfPHiQnPzU4F2LW+jjVD9uiYVW3VC/DYEuJMkvzFMkllqJhodz6PQfvQMNB7le72XaoPxaWzMAynZ4UCFMPn/+fOugEz8Pt9xyg1HsmcfgRXp7bqnFtpEZG9aXB50YNmHZ2LYkbX/1WEmyr5nINfpJv5O/3717l5xsSH/FfMerSq8JAPfZ1GE7LbYeccYTQyZKSZK8asvtEMR0KOHd2vdL/TiMVUsstOqG+m0IuJNkiSBJXe12bSqwl/zxrZUkefDhFVPsFC8NhPJgBbs8NUBS2bOzs1srNI8BlfXw+HwhtoqUM+4wtHP20kAaw4hkeNgd62ah71Jd8f79+9PHjx+jj1O65epocdEODZrdgRS2MR+24s1jCI8V8lS37B812LXqlsK0Zyxo/YhyfRBwJUkmv9I2qIYkU2WWvIrk1YX2ExCyMXcwqcblXjK9P3SOyUutOizvtrzsDcm5NJhq29WWC1cW3nGRs89j9VcTq1SnNs7oFCl94hP+avBO6a7VTdumtlwLLto4LtlWel7r7zXWM5FkaaYu31VIMHjAKdWXz2OHE9bwEXZqJclbSDwr9jh9GcqkrcXXr1+7nPj10E/GQExeDKvcRKsHhmGnTenJB4mofAqbGv1q6rQMNCn75jrUpYkzSeI8BtC2MP00fqnFa3QslPqLxY4SybU+t+iy9rImkly7sSP0z223yosSSJfSaiWlL29HUX0vmWFbsg0P3FLyLNvIpEcve9nGlJ7adrXlJKa5Ot6vFmL2hUTt4W+tDE2cha8g5HvTGrxbddO2qS0X00eDi9YOlGtDACTZht+t2tZ3ktbmqePdvXvX7XRp2L7mnY9FZ295lrYtZdeip8UmWTZn3xw7NEvGe07d5my7Nra2Xg8k6exheejA+3s2Z1UhDgjcQCBc+dDD1GlXQAcE9oIASHIvnoadQAAIAAEgYEYAJGmGDBWAABAAAkBgLwiAJPfiadgJBIBAVwS8D1l1VRbC1QiAJNVQoSAQAAJA4DYCpc8pgNm6EQBJOvvPenBnzg+5nU2HOCMCVt9byxvVWVzxOe3VtC0/05jjhPDiHLZRhapIsnTxOGPlmXSZZYYXFpRu9xntN+snINokraPtQHv9EbD6fm/Jt+dM9qz1Te4Kvf4RhBZGIGAiSZl6Zo6ky2F+yiVeUWclyVyy5REBgDa+IpC7R7YXRlbfy5RMvXRaktw57R2ZPHmJ49iS4mBuXUwkOXfS5fDFeC6v4lzAakhSZtLQJGkdYYtndo8R+nq3wZfCy8u0eyc7ziXalvZ5Jd/2xqy3PG2y5x56aPql5g7qlG69Y6sHJnuVaSJJBkkbHN5Jl3lrg7dYSf7SPnbWkKS8wJvKh8mWJc70b5lvkScG3tvMlkvFNZ0lfKfTS2+NLqUyHM8ys0lsAuZtQ8z3MT/w3yzJt0s2j34ur77jvJip9368guQtTyTSHu0ttCcR6EaSvZIu84BGRnika/IOBw1JUps8QORIksrJdyM0uDx+/PiQMT6Xi7DWptigJRPcpu6iJJ9QOVqF8b9pYOO7aXvrXWsv+4GytpycnNzK5ynx6GFDyvcxPzDJWJJvt+DSUje2dU360w+JtP864MA+5glDj0TaLT5E3W8IdCHJcMUXAp5aiYYXGYdJl8NEszQwn56edrvHtCZQrCRJWGgT9sqj5j22R8PBmWf0MsFtLEuHzEfIW2TSpt561/iJ6sh4ozj6888/b6Rfknj0sCHl+xRJEsFYkm/X4tJSL9wilbLCiaEm7rXJnlt0julo6Zdcn+osKZG2FyZ7l+NOkiWCJMC127Uy6GJbXd7bXx7BkCLJcAJAbdFKq3RgRCbfpUkDDSx0aIrrt+ic0ollxp7TfbR0qIF10LTvqbc8TeiBgdSfU43FbPK0QQ6qtOKO4RyLC2vybY1vvPHMxXMslR4Sace9VJshSONzlLEh4EqSuVyAUi0NScbKhO8gNXJscLSX1q4kNS2RfV7Jd1s+eE4luNXY0FqmRe+wbU9ZFrvmajemo6cuMVmp94yWd96ecU8YaG3WtqstF455tX25pH/v55ZY32JZE0mWkiaPSrocBp88kTi3k2pJUh5sIBs0yWgttmrlhe/haKUz5+Eord4aLDxladrjMnO1G9PRUxck0j6KhoF3Xy75DCRp6Y32siaStIvfX41akiSkWpK0lpDmbX0XyjgAAA8ZSURBVLXSNk649TcnQZJNWr1L9ltlzdWuxg4uU6NjTZ2UTilZSKSd78vWO149fWaJL5T9igBI0jkSWkjSWZWDuLUmcfXU2yrLK7G1tV2L/606euriKctis7XsWvRM2bV2/a3+Wmp5kKSzZ+RBCCRddgYX4oAAEAACgxEASQ4GHM0BASAABIDAehAASa7HV9AUCAABIAAEBiMAkhwMOJpbHgLWgxTLs2DdGi3tPf4INBFzI1D2aQMk6YMjpKwQgdLR+RWadFA59a3i0uzh75znPkE9EpetxtxIDEe3BZJ0RhwHd+YdpDUEIY/U8wnCJd4DHIamxjaqozn5qpXl2T1km1JH+mSEfi9evPBsbpgsDZZrjblhIC64oSqSnDPpsvyWcGn3tvIsni7MXmuH94hVJMv1QPG2DG3SZRqQU5llWKpWlqclYZvcl5fYjy12I0GzBa31lTWRpNweWULS5TAJ8xLg3+P7lRB3vhhdpvga5ZstJ8vV4qoppynj7TPZJvWTt2/fThcXF9Fmavt2Sa63TSRvZMz10B8y8wiYSHLOpMux/H41dyj2DgiQ5NcLDOhmHybJ0rVanj7ZUrLccNs0l2FDYqi5JzUmq3ciYNmmZotVq4+2nGecSVm9Y66X3pCrQ8BEkixSe7G4Z9LlWJsx4tSZ3a9UjiRp0KNckHOssGotlvdQcu671DsYXikgWW4t2ul67Ac5+eDSsWw4KeJI+ahnX0q1mZs85fSRK1JZjuWNuMQjXBVrEqfv8aCSf08YL7EbSfZIuhyS7hITlaZIkjoz/V69enX4r8c7S5JJ8jxkkU6xNEdkD/2QLHdcstyYHyj26e9h0mWKgVgi7ly+0ZQszQGU2iEqpz9NGsm2MFFBTh/5HpDL8SRu1LjAOpTeAYfvLLHbVBtF89TrQpJ8kisW+DwYP3z48DpzfTgj5v8Pky6Hl2+Hz+eB8GarqQ7AKwEmSg9i80y8nNvK40GIBwMky310w+lhMvCWOOTJVIowwhViKhl0LjbYnyMTOKfaJB3Ozs4ORH9+fn6DKHMkKZ/Fynn6JOVPbpfGOU2fkHKoTi5Bc0sMoa4vAu4kWSLIHEmGppUCqfTcFyqdtBxJcqLi1ORB18K3UjwQeHy+EFu9cEtIlnt/+vjxo8o9pSwrJSEpP0iSefPmzbWYMBm0lF+T0LhV/5R9TMhhhhAZu5Y4k8nIS5j2tinXd0i3nK69dCthgud6BFxJkvfcSySgeadZKlN6rofAt2SPrRTvD5CRLDd+ojIWCT0Ph1n84HU4xdMebVx6tsmT7NoExqXe7m2TxXZt2ykbSvVbn5ew2+pzE0nOnXRZtj/i5XyN03uQpPfpUCTLHZMstxQ/KT9QPXoHzD/NSdBYW/LQFT0fFUf37t273jZtbbO3DSFuKZ9obGrVtRWrVhIs1S/F81afm0hyqyB42tWDJHkL22trJiUPyXJ9k+WW4irlhzD5dsuEUJvIm3TJfbeYIuHY99LaNkv48POcPO87ULU+SfXFFtu9+7kWX5TLIwCSdI4QT5L0TrrqLc8Zumtxa9Gz1v6l2We9+WZp+tf6Qdab06Y52/bAbusyQJLOHubZIIltWQE4qwVxQAAIAAEgUIEASLICNFQBAkAACACBfSAAktyHn2ElEAACQAAIVCAAkqwADVWAABAAAkBgHwiAJPfh581b6XlgavNgrdhA79OsS4Ni6/YtDW+NPiBJDUooE0WA78qcE56lXRqdu0ptTpzW3vbWv+Hbun1rjj+QpLP3tnK6lTrt06dPb3zULq/fKt2u1IsspFxtdvteusRCJ3exv3OouYgbiU2osKZt+e0gfyrhcQ2jC3gFIVu3bwSGS2ijiiRzt+zL+xfDQZYMLj0v3apTej43qFva9gsHqDADRW4Q0GZrt/qrJrt9WMfapqV86bJri6wRZUNsai4VqNVTGyNy4lm68rJWlx71tm5fD8yWKNNEknJrK3bTBhHYycnJIV9iKsdd6fnV1dV1tvIw6Ww4Sw+fLwHgtZCknGyUBh7u7JasEals7a0+CvP4aW6JkXVa2y/V54THlF+Q7he9e/fudHx8fFiRU7wSLvLKuZK83s9HYhPakooR2c+98lyOJH+2c6R9veNkz/JNJMnpd7SXi5cGhfA555zjNEEh0ZaeL8GRayDJUEfNtlDsomb6G/kkTOtEftBka6/xV012e0rFFCYr9rowPGZDTnbPdlvxpPqt94dadNDEiHassfrBomdt2d721eqFejYETCTJorWBWzqpJZ+HMuVVTfQOgn4yB2X4nFavS/hZSVJeiswHYVKk5TXrj8mnCcuTJ08OuwCxX4okqWysDrWRytZu9ZPULcx7mRvU5SRLkqTX6oTsiGHJRBgeKvJsN4ZhTSzxLgH7kP32/v376fnz51ZXFcuHOwGpGJHltIezZB2JNcfIiBuwetpXBBcFuiDQjSRLBxjC5zwIU+JV7rD0N866TtbT9lXq+RpIUh58YW/SoEQ/2oLj57l3Gdr3HKVo4XfD9N6Yts5zW678Tuj09HSSyaJ5Jfnq1auJcxw+ePDgMLh6kSQnIaY26EerwvDdaGxrX+JLGRws71NL2MnnOZJksqRtN9oWTpGqpT0u6xVLJEdiI88MeF2oH9rHMVyKkTDWNRNQWYd9w5PP3FmKGh+k6vS0z1NPyNIh0IUkeVBNDbyx5zxbJLVlPV5F0N9pJZl6vnSSDFdAsYGWBw1rlnOdq2+WYh/EDldxSfneksrRL5YyKEycS4Or1wEWXh1R20SURNLhliX9fym7veV9qhbP1HYztxW7uFqztV1q3zuWYlvAtFXYYyUpJwqlGIlhRXXevXt3Y7KWmrSkJjA0oes1AehtXyk28NwfAXeSrCFIMit2vFuuEKgMEaEckHMrCH+odBJTs93YzJ8lytk7/62UVV6nTbwU4caEEyshTxPScyZSOejn2meS9Ji4xE42him9NNntrWnANPimCO9f//rX9J///CcponWA9o6lGDakfKueKQDkdnQuRu7fvz99/PgxKialW65OKGiN9mniEmV8EXAlSV4NplaQpefhFiz9P/14i6/03BeaOmkpkkwNqHwaUnPiMfZesKRl7CNlj9VMqd2a50v+oDqF46dPn26saghbzYlbLT4W//WOpZzOWt9pY1hbTupUU6fFD7G6Wh205agNLbYpW0r1W59rMVxrORNJlmacsRWRnJGWnlNZmbQ0fAemeT63I3IkGQ6ouUmDPIRBNtWeOozVWypJ1to4wucp3cI+4X04JOW/OWIph3NKz9j2fDiJron1mjotcTLaPqlra79oJcFS/RZc11DXRJJrMGhuHXOHC6xbfi1ZzhkH3q6UW0vhADM3ZjldW3SL2U7yalZ7KVkt+mnqptqdI5Zy+qb01MawtpzUIVendLJeg70sM4d9vfqF1fa9lwdJOkdAjiSdm8qKy2U7X9r1Xj0ys6cumuCBNbZLEQO0h26aOJirXY1ussxa9LTaxeXntG/Otmvx2mI9kKSzV+VBE++tN2dVb2xts+zcaVfv9iEPCAABILB0BECSS/cQ9AMCQAAIAIHZEABJzgY9GgYCQAAIAIGlIwCSXLqHoN9qEPA+LLIawxei6FLOA4yEAzHXH22QZH+Mq1tY6qca1QZttOJWj8ivJf60d7tuKfy2GnNL9BFI0tkrngd3lpgKzBmurLg5B2lN2/KzgKWdGM4Bq7GN6mviTyvLM25km9rE257t95KlwXKtMdcLsxFyq0hyzqTL3HkvLy+7XZvVArznlg/J8sqk0WLTXHWRELgP8tok1Jr408rytKQm8bZn+71kaZMXyIl4LjFBLz33JtdEknJbY46ky6X2l+A8T5Ike+nncQfqErCx6jCn/SMT5tZcbmDFUpbX4qoppynTomusrmyzhF0pp21Kt5Jcb5tI3siY66H/VmWaSHLupMvW9udwmidJWu7inMPW3m1ackd669I7YW4s84a3DSwv3DbNZRGROmjiLyart22yzfB+5xiGWn205Xr5qXfM9dJ763JNJMlg8IqudIt+6eSVJemyXE1p25/DeVaSlFfEcd47+W6COy5fQ7b0CwpyM3O+xzNmZ2ylg4TA/hHM8SaTUHMrsaw6KeLg1VzoI5ns2Fv7VJu5u01z+sgVqSw3sq+Fq2LPJNTe+O9VXjeSDDN2hACHz/lWfE1S5bWSZCzFEQ1a9EslXebVc8/EsaXUWdbOUWNn2AYNviQHCYGt6H8rH/NDDFeqQTHACc5lvkaOv5gWKVmaAyi1VuX0p4l07B1dTh8kaa71xH7qdSFJfrGceqkce87ER9DLepx0ee0rydpEubFBime6pZW8NoxzA6FWhlyNxFYp9JwHKz4QokkuHVvJICFw2SsUb/Q7Ojq6UZh9EOIqPymQ8ZCLjZSsniSZapPsKSXejqEmdY3p7d3XcjrQuKfpE1IG1ckloS5HCkqUEHAnyRqC5JmsNqnyGleSsVk9OyeVQqzkPHruQZQ8EMjkxZq2Y2WsdpaSS5fSs9XqmarH5JGzg+ouPSFwSn9JMm/evLmGgXxPAzQdyAt/NT7yiMuYj8LXD1xGk3g7Jg9Jmr170PbkuZIkk1dqBVl6Hm7Bpl7Kr5EkU7NrzeEIr7Dz/gAZCYEv1K7h1wkXF/o6WuEWP3gdTvG0RxuXnm0Stt7ypL+8bbLoWmq79bk2LrdSzkSSpVl9Kaly6TmBmku6XGp/CU5JHdyJ/b00afC2pzV5a6hPKhEtEgL/NmmSDXv5N+UHkk/vuvmnOQka00keLqPno+LIE8PeNmj7hsamVl1bSbBU3ytu1yLHRJJrMWpOPXOnW62JcmMdj/724sWLKhN5K9xrKywlz2pnTcJdCwApPbXtastJnZaYELjlZLQWg5rvC1v9o42FJfok1Re1eGttR7l6BECS9dhFa1o/AXFuPirOO3mrt7xeGKxFz1r7l2bfWhJa1+Ktqbc0n2h0Rpk8AiBJ5wjhWTGJbZm5O6sFcUAACAABIFCBAEiyAjRUAQJAAAgAgX0gAJLch59hJRAAAkAACFQgAJKsAA1VgAAQAAJAYB8IgCT34WdYCQSAABAAAhUIgCQrQEMVIAAEgAAQ2AcCIMl9+HkTVsbu8d2EYTMZYbnFZSYVXZu1xA/dD/z69WuXax9djYCw4Qj8H3a9tCEOP95mAAAAAElFTkSuQmCC)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "id": "zDnpDFCAJY_Q"
   },
   "outputs": [],
   "source": [
    "# import data in json format\n",
    "file_name = 'IR_data_news_12k.json'\n",
    "def load_docs(file_name):\n",
    "    with open(file_name) as f:\n",
    "        data = json.load(f)\n",
    "    return data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "id": "PlFq_sm5JY_Q"
   },
   "outputs": [],
   "source": [
    "stopwords_remove = True\n",
    "stemming = True"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "id": "6ZbrDLneJY_R"
   },
   "outputs": [],
   "source": [
    "def load_stopwords(stopwords_path):\n",
    "    stopwords_set = None\n",
    "    with open(stopwords_path, 'r') as f:\n",
    "        stopwords_set = set(f.read().split())\n",
    "    return stopwords_set\n",
    "\n",
    "def remove_stopwords(words, persian_stopwords_path='./persian-stopwords.txt'):\n",
    "    persian_stopwords = load_stopwords(persian_stopwords_path)\n",
    "    return [word for word in words if word not in persian_stopwords]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "RJ3mpIDnJY_S",
    "outputId": "ab99aca8-6486-4808-f61f-113402c1125a"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['سلام', 'امروز', 'خواست&خواه', 'تابع', '3', 'امتحان', 'کرد&کن']\n"
     ]
    }
   ],
   "source": [
    "def preprocess(text, stopwords_remove=True, stemming=True):\n",
    "    normalizer = Normalizer()\n",
    "    tokenizer = Tokenizer()\n",
    "    stemmer = FindStems()\n",
    "    \n",
    "    pure_text = re.sub(f'[{punctuation}؟،٪×÷»«]+', '', text)\n",
    "    normal_text = normalizer.normalize(pure_text)\n",
    "    res = tokenizer.tokenize_words(normal_text)\n",
    "    if stemming:\n",
    "        res = list(map(stemmer.convert_to_stem, res))\n",
    "    if stopwords_remove:\n",
    "        res = remove_stopwords(res)\n",
    "    \n",
    "    return res\n",
    "\n",
    "print(preprocess('سلام من امروز می خواهم این تابع را ۳ بار امتحان کنم.', stopwords_remove=stopwords_remove, stemming=stemming))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "id": "pgxgL9WxJY_T"
   },
   "outputs": [],
   "source": [
    "def preprocess_contents(docs_dict, stopwords_remove=True, stemming=True):\n",
    "    \n",
    "    for docID, body in docs_dict.items():\n",
    "        body['content'] = preprocess(body['content'], stopwords_remove, stemming)\n",
    "        \n",
    "    return docs_dict\n",
    "\n",
    "preprocessed_docs = preprocess_contents(load_docs(file_name), stopwords_remove=stopwords_remove, stemming=stemming)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "id": "16v2A4UzJY_U"
   },
   "outputs": [],
   "source": [
    "dataset = [doc['content'] for docID, doc in preprocessed_docs.items()]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "6CQviFFxoufg"
   },
   "source": [
    "# گام دوم \n",
    "در این گام شما باید بتوانید که هر سند را به یک بردار عددی تبدیل کنید. این کار را به کمک ماژول آماده ایی که در اختیار شما قرار گرفته است انجام می شود.\n",
    "بدین منظور مراحل زیر را انجام دهید. \n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "OkpRP6M7QSV9"
   },
   "source": [
    "دو بلوک بعدی کد برای استفاده از ماژول آماده تهیه شده و صرفا به شکل مثال نوشته شده اند، ممکن است برای استفاده عملی در پروژه نیاز به تغییر باشد. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "puyzaaxQgBPg",
    "outputId": "13796106-352a-41bf-ee19-705576b97b48"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loading the model ...\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/dist-packages/sklearn/utils/deprecation.py:87: FutureWarning: Function get_feature_names is deprecated; get_feature_names is deprecated in 1.0 and will be removed in 1.2. Please use get_feature_names_out instead.\n",
      "  warnings.warn(msg, category=FutureWarning)\n"
     ]
    }
   ],
   "source": [
    "from  embeding import * \n",
    "# dataset: each document is a list of its tokens. \n",
    "# model_path: is a path that you want save model in it. \n",
    "doc2vec = DocToVec(dataset , vec_size = 200 , model_path = 'word2vec.model')\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "oQN8SuyIQFX6"
   },
   "source": [
    "\n",
    "تولید بردارهای تمام اسناد و ذخیره در یک لیست بمنظور استفاده در گام های بعدی "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "LXkx9nqho_4g",
    "outputId": "580513c3-b8b4-4d9c-da5e-406939efdfac"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 12202/12202 [00:35<00:00, 341.00it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 35.4 s, sys: 656 ms, total: 36.1 s\n",
      "Wall time: 35.8 s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "doc_vectors = []\n",
    "for i in tqdm(range(len(dataset))):\n",
    "  doc_vectors.append(doc2vec.embed(dataset[i])) "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "kC2c-BncQ6f_"
   },
   "source": [
    "# ابتدا بردارهای عددی داده های تست را بدست آورده و سپس از این بردارها برای تولید بردار  بقیه ی داده ها استفاده کنید. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "id": "WXjF6F5LdLpP"
   },
   "outputs": [],
   "source": [
    "mapping = { \n",
    "    \"mappings\": {\n",
    "        \"properties\": {\n",
    "          \"content\": {\n",
    "            \"type\": \"text\"\n",
    "          },\n",
    "            \"category\":{\n",
    "                \"type\": \"keyword\"\n",
    "            },\n",
    "            \"vec\":{\n",
    "                \"type\": \"dense_vector\",\n",
    "                \"dims\": 200,\n",
    "                \"index\": True,\n",
    "                \"similarity\": \"cosine\"\n",
    "            }\n",
    "        }\n",
    "    }\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "id": "MOU-SGpoNHDB"
   },
   "outputs": [],
   "source": [
    "!echo -e \"[ELASTIC]\\ncloud_id = IR_phase3:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDE4MDM5N2JjM2YyMTRjMzVhYzFmMjgzYjNmM2ZkYzk1JDYwNmE4YzY5ZmM5MjQ0ZGQ4MGRhZDdhODk1OTI0YzNl\\nuser = elastic\\npassword = Dq9uLcCHKbnsqXMQtASef5z0\\n\" > example.ini"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "RbV6xTZUNKPK",
    "outputId": "6e321412-4cff-4c67-9c7d-dae881438e3f"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ELASTIC]\n",
      "cloud_id = IR_phase3:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDE4MDM5N2JjM2YyMTRjMzVhYzFmMjgzYjNmM2ZkYzk1JDYwNmE4YzY5ZmM5MjQ0ZGQ4MGRhZDdhODk1OTI0YzNl\n",
      "user = elastic\n",
      "password = Dq9uLcCHKbnsqXMQtASef5z0\n",
      "\n"
     ]
    }
   ],
   "source": [
    "!cat example.ini"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "TUnvuM5KJY_a",
    "outputId": "ddcc63a2-0e14-461a-dc85-1c947d752f10"
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['example.ini']"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import configparser\n",
    "\n",
    "config = configparser.ConfigParser()\n",
    "config.read('example.ini')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "LlomFmlqdLpQ",
    "outputId": "3c9692b9-36c5-4798-cd7b-15c038454a1e"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:4: DeprecationWarning: The 'http_auth' parameter is deprecated. Use 'basic_auth' or 'bearer_auth' parameters instead\n",
      "  after removing the cwd from sys.path.\n"
     ]
    }
   ],
   "source": [
    "# Here we try to connect to Elastic\n",
    "es = Elasticsearch(\n",
    "    cloud_id=config['ELASTIC']['cloud_id'],\n",
    "    http_auth=(config['ELASTIC']['user'], config['ELASTIC']['password'])\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "id": "Svhk9olodLpR"
   },
   "outputs": [],
   "source": [
    "index_name = 'ir_knn'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "8oAzzl94dLpS",
    "outputId": "389b620f-6a3e-4cc4-cafa-6ebeaa113fca"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:6: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use individual parameters.\n",
      "  \n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "ObjectApiResponse({'acknowledged': True, 'shards_acknowledged': True, 'index': 'ir_knn'})"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Delete index if one does exist\n",
    "if es.indices.exists(index=index_name):\n",
    "    es.indices.delete(index=index_name)\n",
    "\n",
    "# Create index\n",
    "es.indices.create(index=index_name, body=mapping)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "1-2Yrca7dLpT",
    "outputId": "35644400-01c4-4cf4-c2e6-10512156371e"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Unnamed: 0', 'content', 'category', 'url']\n"
     ]
    }
   ],
   "source": [
    "data = pd.read_excel('IR01_3_test_4k.xlsx').dropna()\n",
    "data = data.to_dict()\n",
    "print(list(data.keys()))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "zhRxYLULdLpU",
    "outputId": "b45e5551-2f64-4baa-f969-33191670e509"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 4022/4022 [01:23<00:00, 48.43it/s]\n"
     ]
    }
   ],
   "source": [
    "from copy import deepcopy\n",
    "data_tmp = []\n",
    "for i in tqdm(range(len(data['content']))):\n",
    "    tmp_doc = data\n",
    "    doc = dict()\n",
    "    if tmp_doc['content'][i] == 'content':\n",
    "      continue\n",
    "    preprocess_content = preprocess(tmp_doc['content'][i])\n",
    "    # filter_doc: method for preprocessing a doc. \n",
    "    doc['content'] = \" \".join(preprocess_content)\n",
    "    doc['vec'] = list(doc2vec.embed(preprocess_content))\n",
    "    doc['category'] = tmp_doc['category'][i]\n",
    "    data_tmp.append(doc)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "1P1Q5THpJY_d"
   },
   "outputs": [],
   "source": [
    "print(data_tmp[15]['content'])\n",
    "print(data_tmp[15]['vec'])\n",
    "print(data_tmp[15]['category'])  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "RgSbNxq7dLpU",
    "outputId": "0cdbb06c-9926-4821-cbf5-ae5cdc7cb567"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(4021, [])\n"
     ]
    }
   ],
   "source": [
    "data_bulk = [\n",
    "    {\n",
    "        \"_index\" : index_name,\n",
    "        \"_id\" : i + 1,\n",
    "        \"_source\": data_tmp[i]\n",
    "    }\n",
    "    for i in range(len(data_tmp))\n",
    "]\n",
    "resp = helpers.bulk(\n",
    "  es,\n",
    "  data_bulk,\n",
    "  index = index_name\n",
    ")\n",
    "print(resp)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ONbDIk_HUGMM"
   },
   "source": [
    "# گام سوم"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "A9vKLaE4UNb3"
   },
   "source": [
    "در این بخش باید داده های تست را بارگذاری و پیش پردازش کنید و سپس برای هر متن بردار آن را بدست آورده و به روش  نزدیکترین همسایه جستجو را انجام داده و برچسب این سند را بدست آورید. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "id": "LttqgmRFdLpV"
   },
   "outputs": [],
   "source": [
    "test_dataset = pd.read_excel(\"IR01_3_46k.xlsx\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "buxP5YuvdLpZ"
   },
   "outputs": [],
   "source": [
    "res = []\n",
    "for i in tqdm(range(len(test_dataset))):\n",
    "    vec = doc2vec.embed(preprocess(test_dataset.content[i]))\n",
    "    try:\n",
    "        resp = es.knn_search(index=index_name,knn={\n",
    "          #  TODO\n",
    "          \"field\": \"vec\",\n",
    "          \"query_vector\": vec,\n",
    "          \"k\": 5,\n",
    "          \"num_candidates\": 100\n",
    "        }\n",
    "          ,source=['content','category'],)\n",
    "        res.append(resp)\n",
    "      #  predict label for doc\n",
    "      # TODO\n",
    "    except:\n",
    "        # usualy happens when all the elements of \n",
    "        # the vector are zero.\n",
    "        res.append(None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 35
    },
    "id": "lRiRQwXz1xms",
    "outputId": "df324b55-044b-4460-9d09-d000c9b9696c"
   },
   "outputs": [
    {
     "data": {
      "application/vnd.google.colaboratory.intrinsic+json": {
       "type": "string"
      },
      "text/plain": [
       "'health'"
      ]
     },
     "execution_count": 134,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res[27000]['hits']['hits'][0][\"_source\"]['category']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "x8WfZlUh0Y-x",
    "outputId": "d0d2ea9c-4c1e-48eb-bc69-05d91cc8c3b2"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "sport\n"
     ]
    }
   ],
   "source": [
    "def most_frequent_member(input_list):\n",
    "  # print(input_list)\n",
    "  return max(input_list, key=input_list.count)\n",
    "\n",
    "def get_category(docID, query_res):\n",
    "  categories = list(map(lambda x: x['_source']['category'], query_res[docID]['hits']['hits']))\n",
    "  return most_frequent_member(categories)\n",
    "\n",
    "print(get_category(323, res))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "7jsdJ0DtVvLP"
   },
   "source": [
    "# گام چهارم "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "gMnEqgUBVUto"
   },
   "source": [
    "حال که برای هر متن برچسب آن را بدست آورده اید. متون هر دسته را به نحوی از سایر دسته ها مجزا کنید و مطابق موارد خواسته شده در گزارش جستجو را در دسته های مختلف انجام دهید. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "metadata": {
    "id": "Oo8eBy8RS8rr"
   },
   "outputs": [],
   "source": [
    "index_name_v2 = 'ir_knn_v2'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "LLW83v1wS71j",
    "outputId": "d179147b-15fd-400a-a749-9c8fd2dbfe77"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:6: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use individual parameters.\n",
      "  \n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "ObjectApiResponse({'acknowledged': True, 'shards_acknowledged': True, 'index': 'ir_knn_v2'})"
      ]
     },
     "execution_count": 97,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Delete index if one does exist\n",
    "if es.indices.exists(index=index_name_v2):\n",
    "    es.indices.delete(index=index_name_v2)\n",
    "\n",
    "# Create index\n",
    "es.indices.create(index=index_name_v2, body=mapping)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "WQTj9ls5TQ0S"
   },
   "outputs": [],
   "source": [
    "from copy import deepcopy\n",
    "data_tmp_v2 = []\n",
    "for i in tqdm(range(len(test_dataset))):\n",
    "  try:\n",
    "      tmp_doc = test_dataset\n",
    "      doc = dict()\n",
    "      if tmp_doc['content'][i] == 'content':\n",
    "        continue\n",
    "      preprocess_content = preprocess(tmp_doc.content[i])\n",
    "      # filter_doc: method for preprocessing a doc. \n",
    "      doc['content'] = \" \".join(preprocess_content)\n",
    "      doc['vec'] = list(doc2vec.embed(preprocess_content))\n",
    "      doc['category'] = get_category(i, res)\n",
    "      data_tmp_v2.append(doc)\n",
    "  except:\n",
    "    pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "YQLfb0wiUM2U",
    "outputId": "9b5ec01b-570f-450b-b4af-91d8e0e6b9cc"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(46447, [])\n"
     ]
    }
   ],
   "source": [
    "data_bulk_v2 = [\n",
    "    {\n",
    "        \"_index\" : index_name_v2,\n",
    "        \"_id\" : i + 1,\n",
    "        \"_source\": data_tmp_v2[i]\n",
    "    }\n",
    "    for i in range(len(data_tmp_v2))\n",
    "]\n",
    "resp_v2 = helpers.bulk(\n",
    "  es,\n",
    "  data_bulk_v2,\n",
    "  index = index_name_v2\n",
    ")\n",
    "print(resp_v2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 141,
   "metadata": {
    "id": "7Gx1d_632Yi6"
   },
   "outputs": [],
   "source": [
    "def knn_query_search(query, category):\n",
    "    vec = doc2vec.embed(preprocess(query))\n",
    "    try:\n",
    "        resp = es.knn_search(index=index_name_v2,knn={\n",
    "          #  TODO\n",
    "          \"field\": \"vec\",\n",
    "          \"query_vector\": vec,\n",
    "          \"k\": 5,\n",
    "          \"num_candidates\": 100\n",
    "        }\n",
    "          ,source=['content','category'])\n",
    "        if resp:\n",
    "            hit_list = resp['hits']['hits']\n",
    "            final_res = [x for x in hit_list]\n",
    "            if len(final_res) > 0:\n",
    "              for res in final_res:\n",
    "                print(f'DocID: [{res[\"_id\"]}]')\n",
    "                print(f'Score: [{res[\"_score\"]}]')\n",
    "                print(f'Category: [{res[\"_source\"][\"category\"]}]')\n",
    "                print(f'Content: \\n{test_dataset.content[int(res[\"_id\"])]}')\n",
    "                print(50*'-')\n",
    "        #  predict label for doc\n",
    "        # TODO\n",
    "    except:\n",
    "        # usualy happens when all the elements of \n",
    "        # the vector are zero.\n",
    "        pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 142,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "6I91dDEp62lW",
    "outputId": "f53e6637-47be-4328-949c-fd99ad5ad49f"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "DocID: [12460]\n",
      "Score: [0.8789513]\n",
      "Category: [sport]\n",
      "Content: \n",
      "به گزارش خبرگزاری فارس، تیم فوتبال پاس همدان در مرحله یک شانزدهم جام حذفی\n",
      "انصراف داد و حاضر به سفر به شهر جم و مسابقه با تیم پارس جنوبی نشد.\n",
      "\n",
      "به این ترتیب پرونده این باشگاه از سوی سازمان لیگ فوتبال ایران به کمیته انضباطی\n",
      "فدراسیون ارسال می شود تا در مورد کناره‌گیری پاس همدان تصمیم‌های قانونی اتخاذ\n",
      "شود.\n",
      "\n",
      "انتهای پیام/ ش\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [17083]\n",
      "Score: [0.8772552]\n",
      "Category: [sport]\n",
      "Content: \n",
      "به گزارش خبرگزاری فارس، بعدازظهر امروز مجتبی فریدونی مدیرعامل جدید باشگاه ذوب\n",
      "آهن اصفهان ضمن حضور در محل تمرین تیم فوتبال، با رحمان رضایی، اعضای کادر فنی و\n",
      "بازیکنان دیدار و گفت‌وگو کرد.\n",
      "\n",
      "فریدونی با ابراز خرسندی از حضور در جمع کادر فنی و بازیکنان تیم فوتبال ذوب آهن\n",
      "عنوان کرد: همه ما همدل شده ایم تا تیم بهترین نتایج را کسب کند. در کمال آرامش و\n",
      "تمرکز بر مسائل فنی تلاش کنید و نگران هیچ چیز نباشید. هیات مدیره کارخانه،\n",
      "مدیرعامل شرکت، هیات مدیره و همه عوامل و دست اندرکاران باشگاه به همراه\n",
      "هواداران، یکدل و همدل هستند تا بتوانید نتایج بهتری را کسب کنید.\n",
      "\n",
      "وی افزود: اگرچه فشارهایی روی تیم وجود دارد اما تیم فوتبال ذوب‌آهن این توانایی\n",
      "را دارد که با همدلی و تلاش مضاعف نتایج بهتری را کسب کند و دل هواداران، پرسنل\n",
      "شرکت و باشگاه را شاد کند. همه ما برای اعتلای نام و جایگاه ذوب‌آهن می‌جنگیم و\n",
      "در کنار شما هستیم تا نتایج بهتری کسب کنید.\n",
      "\n",
      "رحمان رضایی سرمربی تیم فوتبال ذوب‌آهن نیز ضمن ابراز خرسندی از حضور مدیرعامل در\n",
      "جمع کادر فنی و بازیکنان، اظهار داشت: این حضور و همدلی باعث خواهد شد که تیم با\n",
      "شور و اشتیاق بیشتری کار کند و نتایج بهتری کسب کند. مطمئناً با این تیم جوان و\n",
      "با انگیزه تلاش خواهیم کرد تا نتایج درخور نام بلند و جایگاه پرافتخار ذوب آهن\n",
      "اصفهان کسب کنیم و دل همه هواداران را شاد نماییم. حضور همیشگی شما درکنار ما\n",
      "موجب دلگرمی بیشتر کادرفنی و بازیکنان خواهد شد.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [8407]\n",
      "Score: [0.8766471]\n",
      "Category: [sport]\n",
      "Content: \n",
      "به گزارش خبرنگار ورزشی خبرگزاری فارس، شاید در ابتدا با تعداد تیم‌های زیاد،\n",
      "شیوع ویروس کرونا و انجام متمرکز مسابقات پیش بینی و تصور می‌شد که [لیگ برتر\n",
      "بسکتبال](https://search.farsnews.ir/?q=لیگ برتر بسکتبال&o=on) مانند سال‌های\n",
      "گذشته نباشد و فدراسیون فقط به دنبال برگزاری مسابقات باشد، اما در مراحل پایانی\n",
      "و رفته رفته کیفیت مسابقات بیشتر شد و توانست انتظار مخاطبان این رشته را برآورده\n",
      "کند، تا جایی که بازی آخر فینال همه را پای گیرنده‌ها میخکوب کرد تا آنها یک بازی\n",
      "دراماتیک و باورنکردنی را مشاهده کنند.\n",
      "\n",
      "مسابقات فصل جاری از 15 آبان با حضور 16 تیم در دو گروه 8 تیمی و [به\n",
      "صورت](https://search.farsnews.ir/?q=به صورت&o=on) رفت و برگشت و به میزبانی\n",
      "سالن آزادی تهران برگزار شد. با پایان دور مقدماتی، تیم‌ها وارد مرحله پلی‌آف\n",
      "شدند و همان طور که از ابتدا پیش‌بینی می‌شد 4 تیم مدعی شهرداری گرگان، نفت\n",
      "آبادان، مهرام و شیمیدر به نیمه نهایی رسیدند. گرگانی‌ها کار راحتی برای رسیدن به\n",
      "فینال داشتند، اما مهرام 5 ماراتن سخت را با نفت آبادان پشت سرگذاشت تا حریف\n",
      "شاگردان شاهین طبع شود.\n",
      "\n",
      "*** از گرگان با ثبات تا مهرامِ دارای دو سرمربی!**\n",
      "\n",
      "دو تیمی که سرمایه گذاری [خوبی](https://search.farsnews.ir/?q=خوبی&o=on) را در\n",
      "این فصل کرده و صدرنشین گروه‌های دور مقدماتی بودند، در نهایت هم در فینال به هم\n",
      "رسیدند. شهرداری گرگان در این فصل با هدایت مهران شاهین طبع تیمی با ثبات نشان\n",
      "داد و آنها در پایان هم مزد همین ثبات خود را گرفتند و تنها با یک باخت جام\n",
      "قهرمانی را بالای سر بردند.\n",
      "\n",
      "![](https://media.farsnews.ir/Uploaded/Files/Images/1400/02/05/14000205000381_Test_NewPhotoFree.jpg)\n",
      "\n",
      "اما در سوی دیگر فینال، مهرام در مراحل نیمه نهایی و فینال ثبات چندانی نداشت و\n",
      "هرچند علی آرزومندی به عنوان سرمربی مهرام شناخته می‌شد، اما آنطور که از شواهد\n",
      "پیدا بود این تیم یک سرمربی دیگر هم به نام صمد نیکخواه بهرامی داشت! رفتار و\n",
      "حرکات او این حس را کاملا به مخاطبان و علاقمندان بسکتبال منتقل کرده بود که در\n",
      "مسائل فنی او حتی جلوتر از آرزومندی است و تصمیمات با نظر او گرفته می‌شود. همان\n",
      "چیزی که در اواخر بازی آخر فینال مشاهده شد و او علنا به سرمربی تیم اعلام کرد که\n",
      "بازیکنان با نظر من در زمین حرکت کنند! از این نوع حرکات در طول فصل هم چندین بار\n",
      "مشاهده شد و در مورد تعویض نیز خود صمد با نظر خودش این کار را انجام می‌داد و\n",
      "شاید یکی از [پاشنه آشیل](https://search.farsnews.ir/?q=پاشنه آشیل&o=on)‌های\n",
      "مهرام در مراحل پایانی همین حرکات خارج از عرف در بسکتبال بود.\n",
      "\n",
      "*** پری پتی، بازیکنی که[دست خدا](https://search.farsnews.ir/?q=دست خدا&o=on)\n",
      "را نمایان کرد**\n",
      "\n",
      "پری پتی نخستین بازیکن خارجی در لیگ برتر ایران است که تا این حد محبوبیت دارد به\n",
      "حدی که گرگانی‌ها قبل از جذب بازیکنان داخلی، دوست دارند که اول او باشد. بازیکنی\n",
      "با کیفیت بالا که ثبات خوبی را در چند سال گذشته در تیم شهرداری گرگان داشته و در\n",
      "میان طرفداران این تیم از محبوبیت زیادی برخوردار است. او در فینال جواب این\n",
      "محبت‌های گرگانی ها را داد و با شوتی استثنایی که به تعبیری دست خدا بود، همه را\n",
      "مات و مبهوت کرد. گرگان بازی چهارم باخته بود، اما او کاری کرد که همان شب جشن\n",
      "قهرمانی برقرار شود.\n",
      "\n",
      "![](https://media.farsnews.ir/Uploaded/Files/Images/1400/02/05/14000205000379_Test_NewPhotoFree.jpg)\n",
      "\n",
      "*** تیم‌هایی که در حد لیگ یک هم نبودند**\n",
      "\n",
      "هرچند مسابقات در سطح بالایی به پایان رسید، اما نباید از این نکته هم گذشت که\n",
      "چند تیم که خودشان را به هر شکلی شده به لیگ برتر رسانده بودند، واقعا در سطح لیگ\n",
      "یک هم نبودند و عملکرد آنها کیفیت لیگ برتر را به پایین ترین سطح ممکن رسانده\n",
      "بود. مسئولان فدراسیون با این تفکر که کرونا است و می‌شود لیگ را با تعداد\n",
      "تیم‌های بالا برگزار کرد، درها را باز کردند تا هر تیمی با هر بودجه و کیفیتی\n",
      "خودش را در قامت لیگ برتر ببیند.\n",
      "\n",
      "*** جوانان فراتر از انتظار**\n",
      "\n",
      "در این فصل کار خوبی که انجام شد حضور تیم ملی جوانان در لیگ برتر بود؛ تیمی که\n",
      "باید در رقابت‌های جهانی حاضر شود. شاگردان رضا نوری در ابتدا با لیگ برتر غریبه\n",
      "بودند، اما رفته رفته از آشنا هم آشنا تر شدند و نمایش درخشان آنها مقابل مهرام،\n",
      "شیمیدر و حذف آویژه صنعت مشهد همه را امیدوار کرد تا بتوانند در جام جهانی بهتر\n",
      "از دوره‌های قبل نتیجه بگیرند. آنها در فصلی که گذشت در دور مقدماتی میلی متری به\n",
      "مهرام باختند، اما توانستند شیمیدر را شکست دهند. در مرحله حذفی هم آویژه صنعت را\n",
      "از پیش رو برداشتند، اما حضور در جمع 8 تیم، پایان کار آنها بود و به دست نایب\n",
      "قهرمان لیگ از دور رقابت‌ها کنار رفتند.\n",
      "\n",
      "*** یک دست مثل نفت/ سالاری که می‌تواند منجی منطقه رنگی باشد**\n",
      "\n",
      "نفت آبادان همانند فصل گذشته تنها مدعی ای بود که بازیکن خارجی نداشت و با تیمی\n",
      "یک دست ایرانی وارد مسابقات شد. نفتی ها که آخرین قهرمان لیگ برتر بودند، در این\n",
      "فصل هم با هدایت حماد سامری و کاپیتانی سعید داورپناه وارد مسابقات شدند و تا\n",
      "نیمه نهایی جلو آمدند و در رقابتی جذاب که حواشی بسیار زیادی هم داشت، در 5\n",
      "مسابقه ماراتن را به مهرام باختند و در نهایت به مقام چهارم رسیدند.\n",
      "\n",
      "در میان تیم یکدستی که نفتی‌ها داشتند، یک نفر بیشتر به چشم آمد که آن هم کسی\n",
      "نبود جز سالار منجی. بازیکنی جوان که در نیمه نهایی و مقابل مهرام نشان داد که\n",
      "می‌تواند یک بازیکن 5 پسته مناسب برای تیم ملی بسکتبال باشد و در آینده جانشین هم\n",
      "استانی خود یعنی حدادی شود. بازیکنی با استعداد که نیاز به حمایت و توجه ویژه\n",
      "دارد تا رها نشود.\n",
      "\n",
      "![](https://media.farsnews.ir/Uploaded/Files/Images/1400/01/25/14000125000221_Test_PhotoN.jpg)\n",
      "\n",
      "به گزارش فارس، برگزاری لیگ برتر در شرایط کرونایی تجربه جدیدی بود که به بسکتبال\n",
      "ایران اضافه شد. مسئولان فدراسیون زمانی که می‌خواستند لیگ را آغاز کنند شاید\n",
      "خودشان هم نمی‌دانستند مسابقات در این شرایط چطور به پایان خواهد رسید. حالا که\n",
      "فصل تمام شده باید نقاط ضعف را برای فصل برطرف کرده و بتوانند با رعایت پروتکل‌ها\n",
      "بازی ها را با حضور تماشاگران و در تمام شهرها برگزار کنند.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [15257]\n",
      "Score: [0.8743521]\n",
      "Category: [sport]\n",
      "Content: \n",
      "به گزارش خبرگزاری خبرگزاری فارس، سایت «کالچو مرکاتو» ایتالیا خبر داد باشگاه\n",
      "یوونتوس تحرکات خود را برای پیدا کردن جانشین مناسب برای پیرلو در صورت ناکامی\n",
      "این مربی جوان آغاز کرده است.\n",
      "\n",
      "طبق گزارش های رسیده از اسپانیا مسئولان باشگاه تورینی تماسی را با زیدان سرمربی\n",
      "رئال مادرید برقرار کردند. در این تماس مسئولان باشگاه ایتالیایی از زیزو درخواست\n",
      "کردند تا در فصل آینده هدایت بانوی پیر را برعهده بگیرد.\n",
      "\n",
      "زیدان طبق گزارش ها در پایان فصل از رئال جدا می شود. به همین خاطر یوونتوس می\n",
      "خواهد از این فرصت استفاده کند و برای قهرمانی در اروپا خیر بردارد.\n",
      "\n",
      "حضور رونالدو در ترکیب یوونتوس که به همراه زیدان در رئال 3 بار قهرمانی اروپا را\n",
      "تجربه کرده می تواند به زیدان انگیزه بدهد تا به یوونتوس بیاید و بار دیگر به\n",
      "همراه تیم ایتالیایی قهرمانی اروپا را تجربه کند.\n",
      "\n",
      "پیرلو جوان در ابتدای فصل جاری هدایت یوونتوس را برعهده گرفت ولی هنوز نتوانسته\n",
      "نتایج عالی کسب کند و یووه اکنون با کسب 42 امتیاز چهارم است.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [8339]\n",
      "Score: [0.87261087]\n",
      "Category: [sport]\n",
      "Content: \n",
      "هادی عامری در گفت‌وگو با خبرنگار ورزشی خبرگزاری فارس، در مورد [لیگ برتر\n",
      "بسکتبال](https://search.farsnews.ir/?q=لیگ برتر بسکتبال&o=on) که با قهرمانی\n",
      "شهرداری گرگان به پایان رسید، اظهار داشت: لیگ در ابتدای کار کیفیت پایینی داشت\n",
      "اما رفته رفته و در مراحل نیمه نهایی فینال شرایط بهتری را پیدا کرد و بازی‌ها با\n",
      "کیفیت‌تر و جذاب‌تر شدند.\n",
      "\n",
      "وی افزود: باید تعداد تیم‌ها در این فصل کمتر می‌شد و تیم‌ها در یک گروه قرار\n",
      "می‌گرفتند. تیم‌هایی که کیفیت پایین‌تری داشتند و هزینه کمتری کرده بودند\n",
      "هزینه‌هایی برای تیم‌هایی که سرمایه‌گذاری\n",
      "[خوبی](https://search.farsnews.ir/?q=خوبی&o=on) کرده بودند ایجاد کرد.\n",
      "\n",
      "سرپرست تیم بسکتبال شمیدر عنوان کرد: ظرفیت لیگ برتر بسکتبال ایران از لحاظ مربی،\n",
      "داور و بازیکن و تیم در حد 16 تیم نیست و باید 12 تیم آن هم در یک گروه باشد.\n",
      "\n",
      "عامری با اشاره به شرایط برگزاری لیگ اظهار داشت: در یکسری مواقع بازی‌ها به خاطر\n",
      "پنجره‌های انتخابی کاپ آسیا روند آماده‌سازی تیم‌ها را به هم ریخت. اول فصل ما دو\n",
      "بازیکن خارجی گرفتیم اما به یکباره لیگ دو ماه تعطیل شد اگر می‌دانستیم ما هم\n",
      "بازیکن خارجی را بعداً می‌گرفتیم تا دو ماه پول اضافه ندهیم. بهتر است برنامه‌ها\n",
      "از ابتدا تا انتهای فصل تاریخ شروع و پایان و همچنین تعطیلی‌ها مشخص باشد تا\n",
      "باشگاه‌ها هم تکلیف خود را بدانند.\n",
      "\n",
      "وی که لقب پدر سرپرستی در بسکتبال ایران را به خود اختصاص داده، در مورد برگزاری\n",
      "بازی‌ها [به صورت](https://search.farsnews.ir/?q=به صورت&o=on) متمرکز، عنوان\n",
      "کرد:‌در این فصل به خاطر کرونا فدراسیون مجبور بود مسابقات را متمرکز برگزار کند\n",
      "و بهتر هم شد اما حالا با توجه به اینکه واکسیناسیون به مراحل نسبتاًَ خوبی رسیده\n",
      "و انتظار می‌رود تا پایان تابستان افراد بیشتری واکسن بزنند بهتر است بازی‌ها رفت\n",
      "و برگشت با حضور تماشاگران باشد تا هیجان دوباره به مسابقات بازگردد.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "example_query1 = 'نتایج مسابقات لیگ برتر فوتبال ایران'\n",
    "example_category1 = 'sport'\n",
    "knn_query_search(example_query1, example_category1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2fl6Sg3Iipmz"
   },
   "source": [
    "<div dir=\"rtl\">\n",
    "  در 5 داک برگردانده شده، تنها از لحاظ فوتبالی بودن داک اول، دوم و چهارم مربوط بوده اند. البته باید توجه داشت که داک چهارم مربوط به فوتبال لیگ ایتالیا می باشد. داک سوم و پنجم در میان این داک ها از نوع ورزش بسکتبال بوده و ارتباط معنایی زیادی با فوتبال دارا نمی باشد.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 143,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "5csJVTe-gIPh",
    "outputId": "d375750d-5082-4cd9-ce3f-666d78fd7949"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "DocID: [29662]\n",
      "Score: [0.929139]\n",
      "Category: [economy]\n",
      "Content: \n",
      "به گزارش گروه اقتصاد بین الملل خبرگزاری فارس، هند پس از اینکه کشورهای اوپک\n",
      "درخواست مقامات این کشور برای عرضه نفت بیشتر را رد کردند به دنبال راههایی برای\n",
      "کاهش وابستگی به نفت خاورمیانه هستند.\n",
      "\n",
      "هند تلاش می کند تا منابع جدیدی را برای تامین نفت مورد نیاز کشور پیدا\n",
      "کند.آمارهای «ریفینیتیو ایکون» نشان میدهد که هند نخستین محموله نفتی خود را از\n",
      "گایانا خریداری کرده که این محموله از سواحل آمریکای جنوبی به مقصد هند خارج شده\n",
      "است.\n",
      "\n",
      "طبق برنامه ریزی ها نفتی که هند از گایانا خریداری کرده یک میلیون بشکه است و 8\n",
      "آوریل به بندر ماندار هند وارد خواهد شد.\n",
      "\n",
      "گایانا با نام رسمی جمهوری تعاونی گویان کشوری در شمال شرقی آمریکای جنوبی در\n",
      "منطقه کارائیب است. پایتخت آن جورج‌تاون و جمعیت آن در حدود ۷۸۷ هزار نفر\n",
      "است.زبان رسمی این کشور انگلیسی و واحد پول آن دلار گویان است. گایانا از شرق با\n",
      "سورینام، از جنوب با برزیل و از غرب با ونزوئلا و با اقیانوس اطلس هم‌مرز است.\n",
      "گایانا با ۲۱۵,۰۰۰ کیلومتر مربع، بعد از اروگوئه و سورینام کوچکترین کشور آمریکای\n",
      "جنوبی است.\n",
      "\n",
      "هند سومین کشور بزرگ مصرف کننده نفت در جهان است که 80 درصد نفت مورد نیاز خود را\n",
      "از کشور های منطقه خاورمیانه خریداری می کرد قبل از تحریم های نفتی این کشور عمده\n",
      "ترین مشتری نفتی ایران به حساب می آمد.\n",
      "\n",
      "بر اساس آمارها سهم هند از نفت اوپک در فاصله آوریل 2020 تا ژانویه 2021 به\n",
      "کمترین میزان تاریخ خود رسیده و به این دلیل هند تلاش می کند تا از کشورهای دیگر\n",
      "نفت خریداری کند. اوایل این ماه کشورهای موسوم به اوپک پلاس تصیمی گرفتند که طرح\n",
      "کاهش تولید نفت را تا ماه آوریل ادامه دهند.\n",
      "\n",
      "بر اساس طرح کاهش تولید نفت که توسط کشورهای اوپک پلاس اجرایی می شود، عرضه نفت\n",
      "به بازارهای جهانی کاهش یافته تا قیمت نفت افزایش یابد.قیمت نفت از بشکه ای 140\n",
      "دلار سالهای گذشته به بشکه ای 62 دلار کاهش یافته است. و کشورهای تولید کننده نفت\n",
      "به دنبال افزایش دوباره قیمت هستند.\n",
      "\n",
      "نخست وزیر هند چندین بار از کشورهای عضو اوپک خواسته تا با عرضه بیشتر قیمت نفت\n",
      "را تعدیل کنند. هند به شدت وابسته به نفت خاورمیانه است.\n",
      "\n",
      "هند که یکی از مشتریان عمده نفت ایران بود پس از تحریم های نفتی دیگر از ایران\n",
      "نفت خریداری نمی کند.\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [30862]\n",
      "Score: [0.92541605]\n",
      "Category: [economy]\n",
      "Content: \n",
      "به گزارش خبرنگار اقتصادی خبرگزاری فارس، پرواز شماره 9700 شرکت هواپیمایی ایرتور\n",
      "در مسیر تهران - استانبول که قرار بود ساعت 11 امروز انجام شود، باطل شد و\n",
      "مسافران این پرواز در فرودگاه\n",
      "[سرگردان](https://search.farsnews.ir/?q=سرگردان&o=on) شدند. با پیگیری این\n",
      "موضوع از مدیر روابط عمومی ایرتور، وی گفت که این پرواز به دلیل شرایط نامناسب\n",
      "جوی و دید 500 متر در فرودگاه مقصد انجام نشده است.\n",
      "\n",
      "رضایی افزود: پرواز امروز باطل شد و روزهای دوشنبه و سه‌شنبه پرواز فرودگاه\n",
      "استانبول داریم که تلاش شد با سوختگیری کمتر، مسافران این پرواز در پروازهای بعدی\n",
      "جایگزین شوند.\n",
      "\n",
      "به گفته مدیر روابط عمومی ایران‌ایرتور به فارس، به همه آژانس‌های تأکید شده است\n",
      "مسافران طبق قانون حقوق مسافر می‌توانند پول خود را بابت این پرواز باطل‌شده\n",
      "دریافت کنند.\n",
      "\n",
      "وی افزود:‌ از آن منظر که ابطال پرواز به دلیل شرایط نامساعد جوی فرودگاه مقصد\n",
      "بوده است، تنها تعهد ایرتور برگرداندن پول مسافران است و این مسئله با موضوع\n",
      "ابطال پرواز به دلیل مشکلات فنی و تعمیراتی هواپیماهای متفاوت است.\n",
      "\n",
      "وی تأکید کرد: تلاش می‌کنیم حتماً مسافران در دو پروازی که در دو روز آینده\n",
      "داریم، به استانبول منتقل شوند.\n",
      "\n",
      "مدیر روابط عمومی ایرتور گفت: به دلیل نبود امکان تعدد سوختگیری در فرودگاه‌های\n",
      "دیگر نظیر آنکارا نمی‌توانستیم این مسافران را به فرودگاه‌های دیگر منتقل کنیم تا\n",
      "سپس به استانبول بروند.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [30705]\n",
      "Score: [0.92195976]\n",
      "Category: [economy]\n",
      "Content: \n",
      "به گزارش خبرنگار اقتصادی خبرگزاری فارس، صادرات مواد\n",
      "[شوینده](https://search.farsnews.ir/?q=شوینده&o=on) و صابون طی نامه‌ای از\n",
      "وزارت صنعت به گمرک بلامانع اعلام شد. در نامه سعید عباسپور، مدیرکل دفتر مقررات\n",
      "صادرات و واردت وزارت صنعت، ‌مدن و تجارت به علی اکبر شامانی مدیر کل دفتر صادرات\n",
      "[گمرک جمهوری اسلامی ایران](https://search.farsnews.ir/?q=گمرک جمهوری اسلامی\n",
      "ایران&o=on) رفع ممنوعیت صادرات مواد\n",
      "[شوینده](https://search.farsnews.ir/?q=شوینده&o=on) و صابون اعلام شد.\n",
      "\n",
      "در این نامه آمده است:\n",
      "\n",
      "جناب آقای شامانی\n",
      "\n",
      "مدیرکل دفتر صادرات [گمرک جمهوری اسلامی\n",
      "ایران](https://search.farsnews.ir/?q=گمرک جمهوری اسلامی ایران&o=on)\n",
      "\n",
      "موضوع: صادرات اقلام [شوینده](https://search.farsnews.ir/?q=شوینده&o=on) و\n",
      "صابون\n",
      "\n",
      "با سلام و احترام\n",
      "\n",
      "به پیوست تصاویر نامه‌های شماره 99.100/40937 مورخ 1399.11.28 معاون وزیر و رئیس\n",
      "کل سازمان توسعه تجارت و شماره 60.287784 مورخ 1399.11.27 معاون بازرگانی داخلی و\n",
      "ضمائم آن در خصوص صادرات اقلام شونیده صابون ارسال می‌شود.\n",
      "\n",
      "صادرات انواع صابون ذیل تعرفه 3401 و انواع\n",
      "[شوینده](https://search.farsnews.ir/?q=شوینده&o=on) ها تحت ردیف های 34022010،\n",
      "34022029، 34022090 تا اطلاع ثانونی با رعایت سایر ضوابط و مقررات مربوطه بلامانع\n",
      "است.\n",
      "\n",
      "سعید عباسپور\n",
      "\n",
      "مدیرکل دفتر مقررات صادرات و واردات\n",
      "\n",
      "![](https://media.farsnews.ir/Uploaded/Files/Images/1399/11/29/13991129000783_Test_NewPhotoFree.jpg)\n",
      "\n",
      "انتهای پیام/ب\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [31238]\n",
      "Score: [0.9213809]\n",
      "Category: [economy]\n",
      "Content: \n",
      "به گزارش گروه اقتصاد بین الملل فارس به نقل از\n",
      "[رویترز](https://www.reuters.com/article/idUSKBN2A114Q)، قیمت نفت پس از یک\n",
      "شروع ضعیف در آغاز معاملات امروز، در ادامه افزایش یافت و بر رشد قیمتی سه ماه\n",
      "اخیر افزود اما توزیع اندک واکسن ویروس کرونا، مبتلایان جدید و انواع جدید این\n",
      "ویروس، بر چشم انداز تقاضا برای نفت سایه افکنده است.\n",
      "\n",
      "هر بشکه نفت برنت با 43 سنت افزایش 55.47 دلار و هر بشکه نفت خام آمریکا با 29\n",
      "سنت افزایش 52.49 دلار معامله شد.\n",
      "\n",
      "هر دو شاخص نفتی در ماه ژانویه نزدیک به 8 درصد رشد قیمتی را ثبت کردند.\n",
      "\n",
      "قیمت نفت به دنبال برنامه های واکسیناسیون و کاهش تولید تولیدکنندگان بزرگی نظیر\n",
      "عربستان، افزایش یافت. خوشحالی ناشی از احتمال پایان یافتن همه گیری، تحت تاثیر\n",
      "کندی سرعت واکسیناسیون و افزایش انواع جدید ویروس کرونا قرار گرفته است.\n",
      "\n",
      "بر اساس بررسی رویترز در ساعات پایانی روز جمعه، انتظار می رود قیمت نفت بیشتر\n",
      "امسال در همین سطح قیمتی بماند.\n",
      "\n",
      "حفاران آمریکایی برای افزایش تقاضا و با بالا رفتن قیمت نفت که دوباره چاه های\n",
      "نفتی را برایشان سودآور کرده است، تولید خود را بالا برده اند و برای ششمین ماه\n",
      "متوالی در ماه ژانویه بر تعداد دکل های نفتی افزودند.\n",
      "\n",
      "اداره اطلاعات انرژی آمریکا اعلام کرد تولید نفت آمریکا در حال افزایش است و برای\n",
      "نخستین بار از ماه آوریل، در ماه نوامبر، به بالای 11 میلیون بشکه در روز رسیده\n",
      "است.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [31347]\n",
      "Score: [0.9213681]\n",
      "Category: [economy]\n",
      "Content: \n",
      "اکبر پازوکی در گفت‌وگو با خبرنگار اقتصادی خبرگزاری فارس در مورد آخرین وضعیت\n",
      "بازار لوازم خانگی گفت: این بازار همچنان در شرایط رکود به سر می‌برد و علیرغم\n",
      "اینکه انتظار می‌رود با نزدیک شدن به ایام پایانی سال رونق در بازار ایجاد شود،\n",
      "اما به علت کاهش قدرت خرید مردم، همچنان رکود بر بازار حاکم است.\n",
      "\n",
      "وی در مورد وضعیت قیمت‌ها در بازار لوازم خانگی با توجه به کاهش نسبی قیمت ارز در\n",
      "یک ماه اخیر،گفت: بعد از کاهش قیمت دلار بلافاصله نمی‌توان انتظار کاهش قیمت\n",
      "تولیدات لوازم خانگی داخلی را داشت، زیرا به هر حال در دو نیم سال گذشته مدام شیب\n",
      "افزایشی قیمت را داشته‌ایم و برای کاهش قیمت‌ها نیز شیب نزولی قیمت باید برای\n",
      "مدتی استمرار یابد تا تاثیر خود را بر قیمت تمام شده تولید بگذارد.\n",
      "\n",
      "رئیس اتحادیه فروشندگان و تولید کنندگان لوازم خانگی بیان داشت: قطعا بخشی از\n",
      "تولیدات فعلی مربوط به خریدهای قبلی مواد اولیه با قیمت ارز بالاتر است، بنابراین\n",
      "نمی‌توان انتظار داشت بلافاصله پس از کاهش قیمت ارز در بازار شاهد کاهش قیمت\n",
      "تولیدات بود، اما حداقل تاثیر کاهش قیمت ارز جلوگیری از افزایش قیمت‌ها است.\n",
      "\n",
      "وی در مورد وضعیت عرضه لوازم خانگی قاچاق بیان داشت: بعد از توقف واردات لوازم\n",
      "خانگی و همچنین افزایش تولید لوازم خانگی داخلی به لحاظ کمی و کیفی عرضه لوازم\n",
      "خانگی قاچاق در بازار کاهش یافته است.\n",
      "\n",
      "پازوکی با تاکید بر اینکه هیچ کاسب شناسنامه‌داری اقدام به عرضه لوازم خانگی\n",
      "قاچاق نمی‌کند، گفت: واردات لوازم خانگی قاچاق نیز اقدامی سازمان یافته است و\n",
      "نباید تصور کرد کوله برانی که برای یک لقمه نان این لوازم را بر دوش می‌کشند،\n",
      "عامل قاچاق لوازم خانگی هستند، بلکه ریشه قاچاق در بخش‌های مختلف را باید به طور\n",
      "اساسی بررسی کرد.\n",
      "\n",
      "پازوکی با بیان اینکه از سال 97 و بعداز تحریم‌های آمریکا روند تولید لوازم خانگی\n",
      "داخلی دچار تغییر و تحولاتی شد، گفت: اکنون مردم به این اطمینان رسیده‌اند که\n",
      "لوازم خانگی خارجی وارد نمی‌شود و با توجه به کیفیت خوب تولیدات داخلی می‌توانند\n",
      "به لوازم خانگی داخلی اطمینان کنند، لذا با توجه به اینکه معمولا لوازم خانگی\n",
      "خارجی موجود در بازار از خدمات پس فروش مناسبی برخوردار نیست، مردم به سمت مصرف\n",
      "کالاهای لوازم خانگی داخلی گرایش یافته‌اند.\n",
      "\n",
      "انتهای پیام/ب\n",
      "\n",
      "\n",
      "--------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "example_query2 = 'نوسانات قیمت دلار در بازار آزاد'\n",
    "example_category2 = 'economy'\n",
    "knn_query_search(example_query2, example_category2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "KZF921cMjk__"
   },
   "source": [
    "<div dir=\"rtl\">\n",
    "  در این قسمت، هیچکدام از داک های برگردانده شده به طور مستقیم مربوط به موضوع نوسانات قیمت دلار در بازار آزاد نمی باشد اما کلیت موضوع مورد بحث در رابطه با قیمت و دلار می باشد. نامربوط ترین داک برگردانده شده داک دوم است که در رابطه با باطل شدن پرواز استانبول - تهران می باشد که ارتباط موضوعی کمتری با موضوع دلار و قیمت ها داراست.\n",
    "</div>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "0llsXzIwgb4W",
    "outputId": "10127ec0-7b97-4ef3-85e7-234dd924564f"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "DocID: [28906]\n",
      "Score: [0.92654735]\n",
      "Category: [health]\n",
      "Content: \n",
      "به گزارش خبرگزاری فارس، رئیس اتحادیه دام سبک در مجموعه کرسی‌های کشاورزی ۱۴۰۰\n",
      "که از سوی [بسیج دانشجویی](https://search.farsnews.ir/?q=بسیج دانشجویی&o=on)\n",
      "پردیس ابوریحان دانشگاه تهران برگزار شد، گفت: هر ساله بخش صنعت اولویت مناظره\n",
      "کاندیدا‌های ریاست جمهوری بوده؛ با این وجود امیدواریم که امسال کاندیدا‌ها\n",
      "برنامه‌های خود در حوزه کشاورزی را نیز اعلام کنند.\n",
      "\n",
      "وی افزود: سالیان طولانی است که بخش کشاورزی ما تولید کرده و مردم بدون دغدغه این\n",
      "تولیدات را مصرف کرده اند، ولی واقعیت این است که منابع آب و خاک کشور محدود\n",
      "هستند؛ بنابراین ما باید با توجه به این محدودیت‌ها به برنامه ریزی بپردازیم و\n",
      "توجه داشته باشیم که بخش کشاورزی در حوزه دام، زراعت و باغ با بهره وری پایینی\n",
      "روبرو است.  \n",
      "  \n",
      "دادرس با تاکید بر اینکه دولت آینده باید بهره وری در بخش کشاورزی را مورد توجه\n",
      "قرار دهد، افزود: یکی از مهمترین مشکلات ما در بخش کشاورزی این است که برنامه‌های\n",
      "سالانه و یا برنامه‌های پنج ساله توسعه عملیاتی و قابل اجرا نیستند و صرفا روی\n",
      "کاغذ نوشته می‌شوند با این وجود یکی از انتظارات ما این است که کاندیدا‌های ریاست\n",
      "جمهوری برنامه‌های عملیاتی و اجرایی در حوزه کشاورزی ارائه دهند.  \n",
      "رئیس اتحادیه دام سبک تصریح کرد: ارتباط بین بخش تولید، صنعت و بازار در حوزه\n",
      "کشاورزی بسیار ضعیف است به همین دلیل دست رنج تولیدکننده با قیمت بالا به دست\n",
      "مصرف کننده می‌رسد و این در حالی است که تولیدکننده هیچ دسترسی به بازار ندارد؛\n",
      "البته قانون انتزاع هم نتوانسته این مشکل را حل کند؛ بنابراین کاندیدا‌های ریاست\n",
      "جمهوری باید برای این حوزه برنامه داشته باشند.  \n",
      "  \n",
      "وی با بیان اینکه زیرساخت‌های صادرات و بازرگانی کشورمان در حوزه کشاورزی ضعیف\n",
      "است، خاطرنشان کرد: پس از تحریم ترکیه توسط روسیه این انتظار وجود داشت که ایران\n",
      "بتواند بخشی از نیاز‌های روسیه به محصولات کشاورزی را تامین کند، اما به دلیل عدم\n",
      "وجود زیرساخت‌های لازم ما نتوانستیم کاری از پیش ببریم. همچنین به دلیل حمایت\n",
      "ترکیه از آذربایجان در جریان جنگ این کشور با ارمنستان، ارمنستان ترکیه را تحریم\n",
      "کرد؛ با این وجود پس این امید وجود داشت که ما بتوانیم نیاز ارمنستان به محصولات\n",
      "کشاورزی را تامین کنیم، ولی باز هم با مشکل مواجه شدیم.  \n",
      "  \n",
      "دادرس بر ضرورت راه اندازی پایانه گل و گیاه تاکید کرد و افزود: سال‌ها از آغاز\n",
      "عملیات احداث پایانه گل و گیاه می‌گذرد، اما اراده‌ای برای تکمیل و عملیاتی شدن\n",
      "این پایانه در هیچ یک از دولت‌ها وجود نداشته و این در حالی است که اگر صادرات گل\n",
      "و گیاه ساماندهی شود شاید درآمد ارزی آن معادل درآمد ارزی نفت باشد.  \n",
      "  \n",
      "رئیس اتحادیه دام سبک از خصولتی‌ها به عنوان یکی دیگر از مشکلات بخش کشاورزی نام\n",
      "برد و افزود: خصولتی‌ها وابسته به [وزارت جهاد\n",
      "کشاورزی](https://www.farsnews.ir/special/وزارت جهاد کشاورزی) و سازمان نظام\n",
      "مهندسی کشاورزی هستند و در ادوار مختلف به حیاط خلوت وزارت جهاد کشاورزی تبدیل\n",
      "شده اند. واقعیت این است که امروز تسهیلات را خصولتی‌ها می‌برند و اموری را که\n",
      "باید تشکل‌ها انجام دهند به خصولتی‌ها واگذار می‌شود البته اخیرا طرحی در کمیسیون\n",
      "کشاورزی مجلس مصوب شده که طبق آن خصولتی‌ها با هم ادغام می‌شوند و این یک اقدام\n",
      "قابل تقدیر است.  \n",
      "  \n",
      "وی در ادامه تصریح کرد: یکی دیگر از مشکلات کشاورزی این است که نهاد‌های تصمیم\n",
      "گیر و تصمیم ساز و به عبارتی دولت‌ها و مجلس‌ها ارتباط منسجمی با تشکل‌های بخش\n",
      "کشاورزی ندارند و این ارتباط مقطعی و موردی است. مثلا اگر طرح اخیر کمیسیون\n",
      "کشاورزی مجلس که ادغام خصولتی‌ها یکی از بخش‌های آن است در اختیار تشکل‌ها قرار\n",
      "می‌گرفت ما خیلی می‌توانستیم در تدوین این طرح به کمیسیون کمک کنیم.  \n",
      "  \n",
      "دادرس در بخش دیگری از سخنانش با بیان اینکه در سال ۹۹ واردات ذرت نسبت به مدت\n",
      "مشابه سال ۹۸، ۱۱ درصد افزایش داشته افزود: واردات جو نیز در سال ۹۹ نسبت به سال\n",
      "۹۸، ۵۵ درصد و واردات کنجاله سویا نیز ۹ درصد کاهش داشته است با این وجود سوال\n",
      "این است که چرا باید جو به عنوان یکی از نهاده‌های اصلی دام با کاهش واردات ۵۵\n",
      "درصدی مواجه شود.  \n",
      "  \n",
      "رئیس اتحادیه دام سبک با بیان اینکه کاهش واردات ۵۵ درصدی جو در سال ۹۹ ضربه\n",
      "بزرگی به صنعت دام وارد کرد، تصریح کرد: بنده اگر جای نهاد‌های امنیتی بودم از\n",
      "متولیان امر می‌پرسیدم که چرا باید کاهش واردات جو ضربات بزرگی به صنعت دام وارد\n",
      "کردند. به هر روی با کاهش واردات قیمت جو به حدود ۷۰۰۰ تومان رسید و با احتساب\n",
      "کرایه حمل و نقل نیز قیمت آن بالاتر رفت در نتیجه قیمت گوشت نیز افزایش یافت.  \n",
      "  \n",
      "وی تصریح کرد: به دلیل افزایش قیمت جو و به تبع آن افزایش قیمت گوشت قرمز مصرف\n",
      "سرانه گوشت قرمز از ۱۲ کیلو به ۶ کیلو کاهش یافته و از طرفی سرانه مصرف گوشت سفید\n",
      "از ۱۲ کیلو به ۳۲ کیلو رسیده است.  \n",
      "  \n",
      "دادرس به مشکلات سامانه بازارگاه اشاره کرد و گفت: این سامانه به\n",
      "[خوبی](https://search.farsnews.ir/?q=خوبی&o=on) عمل نمی‌کند به گونه‌ای که\n",
      "تولیدکنندگان بعد از ثبت سفارش خود در این سامانه و پرداخت پول آن باید ظرف دو سه\n",
      "روز نهاده دامی را تحویل بگیرند، اما هم اکنون دو سه ماه طول می‌کشد تا نهاده به\n",
      "دست آن‌ها برسد.  \n",
      "  \n",
      "رئیس اتحادیه دام سبک با اشاره به اینکه وضعیت سامانه بازارگاه در بخش دام فاجعه\n",
      "است، اظهار داشت: ما این سامانه را یک گلوگاه می‌دانیم و معتقدیم نه تنها\n",
      "نتوانسته مشکلات را حل کند بلکه به مشکلات افزوده است.  \n",
      "  \n",
      "وی بیان کرد: در هر صنفی از جمله در صنف دام و طیور آدم‌های مسئله دار وجود\n",
      "دارند، ولی سامانه بازارگاه نه تنها نتوانسته مشکلات را حل کند بلکه به مشکلات\n",
      "افزوده است به گونه‌ای که همواره شاهدیم که نیرو‌های دولتی در استان‌ها به دلیل\n",
      "تخلفاتی که مرتکب شده اند، بازداشت می‌شوند به هر روی معتقدم دولت نباید وارد فاز\n",
      "اجرا شود و فقط باید به نظارت بپردازد.  \n",
      "  \n",
      "دادرس با اشاره به اینکه دولت‌ها نمی‌توانند به تولیدکنندگان زور بگویند، ولی\n",
      "امروز شاهدیم که دولتی‌ها به مرغداری‌ها و موسسات [جوجه\n",
      "کشی](https://search.farsnews.ir/?q=جوجه کشی&o=on) می‌روند و جوجه را از\n",
      "تولیدکنندگان می‌گیرند و وارد بازار می‌کنند، افزود: با این شرایط تولیدکننده\n",
      "ممکن است به تولید خود ادامه ندهد به هر روی مکانیزم ما برای تولیدکنندگان باید\n",
      "تشویقی بوده تا تولید توجیه اقتصادی داشته باشد.  \n",
      "  \n",
      "رئیس اتحادیه دام سبک با بیان اینکه سامانه بازارگاه نه تنها مفید نبوده بلکه\n",
      "موجب اخلال در بازار نهاده‌ها نیز شده است، تصریح کرد: البته سامانه بازارگاه\n",
      "مسائل حقوقی نیز دارد به گونه‌ای که اگر من تولیدکننده با واردکننده دچار مشکل\n",
      "شوم دستم به هیچ کجا بند نیست.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [33324]\n",
      "Score: [0.9171913]\n",
      "Category: [health]\n",
      "Content: \n",
      "به گزارش خبرگزاری فارس، به نقل از [وزارت صنعت معدن و\n",
      "تجارت](https://www.farsnews.ir/special/وزارت صنعت معدن و تجارت)، براساس\n",
      "تصمیمات ستاد تنظیم بازار قیمت مصرف کننده به ازای هر کیلوگرم گوشت مرغ گرم مطابق\n",
      "با تصمیمات این ستاد همچنان 20 هزار و 400 تومان اعمال می شود و شرکت پشتیبانی\n",
      "امور دام نیز موظف به ترمیم و تامین ذخایر راهبردی مرغ است.\n",
      "\n",
      "همچنین ستاد تنظیم بازار ضمن رصد قیمت و کنترل بازار گوشت مرغ بر جلوگیری از\n",
      "افزایش قیمت و چند نرخی شدن آن در نقاط مختلف کشور تاکید دارد.\n",
      "\n",
      "بر اساس تصمیمات ستاد تنظیم بازار و در راستای اجرای مصوبات ستاد هماهنگی اقتصادی\n",
      "دولت، تمامی فرایندهای مرتبط با تولید و عرضه گوشت مرغ، از تامین نهاده تا تولید\n",
      "و عرضه به عمده‌فروشی به عهده [وزارت جهاد\n",
      "کشاورزی](https://www.farsnews.ir/special/وزارت جهاد کشاورزی) بوده است.\n",
      "\n",
      "در این راستا تمامی دستگاه های عضو کارگروه، فروشگاه‌های زنجیره‌ای و صنوف مکلف\n",
      "به همکاری هستند.\n",
      "\n",
      "وزارت صمت نیز طی مکاتبات متعدد مراتب آمادگی خود را جهت همکاری کامل در این\n",
      "زمینه اعلام کرده است.\n",
      "\n",
      "از مبادی و میادین خروجی عمده فروشی تا مرحله خرده فروشی، نظارت بر توزیع و اجرای\n",
      "صحیح بر عهده وزارت صمت قرار دارد.\n",
      "\n",
      "ستاد تنظیم بازار همچنین مقرر کرد شرکت پشتیبانی امور دام با توجه به اهمیت و\n",
      "حساسیت موضوع، نسبت به ترمیم و تامین ذخایر راهبردی مرغ پیگیری و اقدام نماید.\n",
      "\n",
      "انتهای پیام/ب\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [27230]\n",
      "Score: [0.914734]\n",
      "Category: [health]\n",
      "Content: \n",
      "به گزارش گروه دفاعی خبرگزاری فارس، سردار محمدرضا نقدی معاون هماهنگ‌کننده سپاه\n",
      "در برنامه «بدون توقف» که ۱۴ مهرماه از شبکه سه سیما پخش شد با اشاره به اینکه\n",
      "ایجاد نگاه امنیتی به پیام‌رسان‌های داخلی بازی روانی دشمن است، اظهار کرد: اینکه\n",
      "فضای مجازی ما توسط بیگانه اداره می‌شود برای ما شرم‌آور است، اگر بگوئیم\n",
      "فن‌آوری‌اش را نداریم واقعا بی‌عرضه‌ایم که نتوانستم با این همه دانشگاه و اساتید\n",
      "برجسته اطلاعات و فن‌آوری و مخابرات راهی پیدا کنیم.\n",
      "\n",
      "سردار نقدی با اشاره به وضعیت فضای مجازی در کشور، گفت: امروز بیگانگان تصمیم\n",
      "می‌گیرند که عکس حاج قاسم نباشد، اسم فلانی نباشد، سایت فلانی نباشد، فلان کانال\n",
      "بسته شود، یعنی همه هزینه‌ها را ما کردیم هزاران هزار ثروت ما خرج شد و مدیریت\n",
      "دست آن‌هاست، این از برده‌داری شرم‌آورتر است، چرا باید مدیریت در دست خارجی\n",
      "باشد، اگر بهانه فن‌آوری را بیاوریم قابل قبول نیست، ما الان ماهواره به فضا\n",
      "می‌فرستیم، زیردریایی، موشک و جنگنده ساختیم فن‌آوری به کار رفته در هر کدام از\n",
      "اینها هزاران برابر فن‌آوری است که در فضای مجازی به کار رفته، پس چرا باید\n",
      "اختیار ما در دست آنها باشد که آنها مدیریت کنند.\n",
      "\n",
      "وی ادامه داد: وقتی مدیریت دست بیگانه است با ما بازی می‌کند، با ربات دو هزار\n",
      "آدم را تبدیل می‌کند به سه میلیون نفر و هشتگ‌شان پربیننده می‌شود، عدد مراجعات\n",
      "به بزرگترین هنرمندان، فیلسوفان، دانشمندان ایرانی در کف است و مراجعات به یک آدم\n",
      "لات لاابالی آنقدر بیننده دارد، این آمارسازی‌ها، برجسته کردن‌‌های مزخرفات را با\n",
      "مدیریت اعمال می‌کنند و ما خودمان تصمیم گرفتیم که مدیریت را دست آنها بدهیم در\n",
      "حالیکه مدیریت و توانمندی‌اش هست ما مشکل مدیریت نداریم، اگر بگوئیم فن‌آوری‌اش\n",
      "را نداریم واقعا بی‌عرضه‌ایم که نتوانستم با این همه دانشگاه و اساتید برجسته\n",
      "اطلاعات و فن‌آوری و مخابرات راهی پیدا کنیم، همه چیز ساختیم غیر از این، شما\n",
      "جوانان فکر می‌کنید اگر قرار است راه شهدا یا پیروان خط امام را بروید حتما باید\n",
      "سفارتخانه‌‌ای را بگیرید خوب اینها را حل کنید.\n",
      "\n",
      "معاون هماهنگ کننده سپاه در پاسخ به این مطلب که «پیام‌رسان‌های داخلی به دلیل\n",
      "نگاه‌های امنیتی که به آنها وجود دارد با وجود حمایت دولت از طرف مردم مورد\n",
      "استقبال قرار نگرفتند» یادآور شد: از طرف دولت چه حمایتی شد، چقدر منابع تخصیص\n",
      "داده شد، در مقابل هزینه‌هایی که در دنیا برای پیام‌رسان‌های‌‌شان کردند اصلا\n",
      "حمایتی نشده. از طرف دیگر همه بدانند در دنیای دیجیتال هیچ چیز غیرشنود شده‌ای\n",
      "وجود ندارد، همه چیز قابل شنود است، اگر کسی بخواهد شنود کند تمام پیام‌رسان‌ها\n",
      "به او راه می‌دهند، باندهای فاسد چطور شناسایی می‌شوند، ما هم پلیس فتا داریم،\n",
      "راه‌هایی دارند که بلدند چه کار کنند، لذا موضوعاتی که در خصوص پیام‌رسان‌های ما\n",
      "می‌گویند بازی روانی دشمن است. در گام دوم حیاتی‌ترین و اصلی‌ترین وظیفه شکستن\n",
      "محاصره تبلیغاتی دشمن است، شما نگاه کنید اگر سپاه به عرصه اقتصادی ورود کرده جزء\n",
      "افتخارات این کشور است و همه ملت ما باید به زحماتی که کشیده شده بنازند اما این\n",
      "همه شبهه‌افکنی کردند.\n",
      "\n",
      "سردار نقدی با اشاره به اینکه با همین ترفندهای روانی یک دروغ را چنان حقیقت جلوه\n",
      "دادند که ما فکر می‌کنیم که اصلا باید اینطور باشد، اظهار کرد: دفاع مقدس ما\n",
      "برجسته‌ترین افتخار است، حاضرم در این زمینه با هر کسی مناظره کنم، درخشان‌ترین\n",
      "عرصه تاریخ ملت ایران در تمام هفت‌هزار سال تمدن خودش دفاع مقدس است و یکی از\n",
      "برجسته‌ترین نقاط تاریخ بشریت است ولی الان چقدر با شبهه و فضاسازی آن را بد جلوه\n",
      "می‌دهند، کارخانه شبهه‌سازی قبلا دستی و سنتی بود، سالی یکی، دو شبهه درست\n",
      "می‌کردند الان صنعتی‌سازی شده و تولید انبوه کرده و هر دقیقه فضایی درست می‌کنند\n",
      "که فکر می‌کنیم شبهه اصلی اینهاست و باید این را بپرسیم، به هیچ وجه قصد تخطئه\n",
      "صداوسیما را ندارم شما باید این کار را بکنید و این سؤالات باید پاسخ داده شود،\n",
      "ولی این رسانه‌ها چنان فضایی دروغینی درست کردند که رئیس‌جمهور آمریکا آمده از یک\n",
      "آدم چاقوکشی که یک آدم بی‌گناهی را کشته اظهارنظر می‌کند و این موضع ترند می‌شود،\n",
      "هشتگ درست می‌شود.\n",
      "\n",
      "معاون هماهنگ‌کننده سپاه همچنین اظهار کرد: در حالیکه این آدم خودش اعتراف کرده،\n",
      "دادگاه رفته، نوارهایش هم هست، یک جوری فضاسازی می‌کنند که حالا باید جواب دهیم.\n",
      "فضای مجازی به راحتی جای حق و باطل را عوض کرده و همه را به دنبال خود می‌کشد، من\n",
      "ادعا دارم که این فضای مجازی باید توسط ایرانی اداره شود و شرمنده‌ام از اینکه\n",
      "فضای مجازی ما توسط بیگانه اداره می‌شود و این برای همه ما از مردم و مسؤلان\n",
      "شرم‌آور است باید آن را اصلاح کنند، چقدر از آمارهای طلاق به خاطر افسارگسیختگی و\n",
      "بی‌بندوباری فضای مجازی است، چقدر از آلودگی‌های مواد مخدر، فجایع اخلاقی، انسانی\n",
      "و عاطفی در آنجا شکل می‌گیرد، یک فضای پر از پلیدی و تفرقه‌افکنی و فساد که به\n",
      "اسم اینکه می‌خواهیم آزاد باشیم در آن برنامه‌های تروریستی و چاقوکشی شکل گرفته\n",
      "است.\n",
      "\n",
      "وی همچنین در پاسخ به این سؤال که «سپاه قدس با چه اهدافی شکل گرفته» یادآور شد:\n",
      "نیروی قدس همزاد سپاه است و در همان لحظه‌ای که سپاه متولد شده به اسم واحد\n",
      "نهضت‌های آزادی‌بخش سپاه در اولین شورای عالی سپاه شکل گرفت، که یک آدم نفوذی آمد\n",
      "مسؤلیتش را برعهده گرفت، همان کسی که همین جنجال‌ها و مستندها را برایش درست\n",
      "کردند آدمی که یکی از علما را کشته بود و مرحوم آقای منتظری از او دفاع می‌کرد و\n",
      "آخر هم محاکمه و اعدام شده و کار به دست اهلش سپرده شد، بعدها این کار توسعه پیدا\n",
      "کرد و با مطرح شدن میدان‌های نیاز بیشتر به یک نیرو تبدیل شد همانطور که در قانون\n",
      "اساسی ما آمده که وظیفه داریم از مظلومان عالم دفاع کنیم و حد و مرز آن هم بحث\n",
      "درخواست آنها و مسائل امنیت ملی ماست تا آنجا که ام‌القرای اسلام در خطر واقع\n",
      "نشود. چیز پنهانی در این خصوص نبوده، دیپلماسی جنبه‌های مختلف دارد، ما یک\n",
      "دیپلماسی فرهنگی برای سازمان فرهنگ و ارتباطات داریم، یک دیپلماسی در عرصه سیاست\n",
      "داریم که وزارت خارجه متولی آن بوده و طبعا بر همه عرصه‌های دیپلماسی اشراف دارد.\n",
      "\n",
      "سردار نقدی در پاسخ به این سؤال که «آیا عملکرد سپاه قدس در موازی‌کاری با وزات\n",
      "خارجه نیست»، بیان کرد: ممکن است در هر نهادی حتی در خود وزارت خارجه دو تا معاون\n",
      "سر یک موضوع با هم اختلاف‌نظر و یا تداخل کار داشته باشند، داخل خود سپاه هم هست،\n",
      "این طبیعت کار است، اما اینکه اصالتا تداخل داشته باشند نه، اولا در اغلب موارد\n",
      "تصمیمات در وزارت خارجه یا در شورای عالی امنیت ملی گرفته می‌شود، اگر هم جایی\n",
      "مسئله اختلاف‌انگیزی وجود داشته باشد، رئیس‌جمهور و شورای عالی امنیت ملی تصمیم\n",
      "می‌گیرد، بعد هم یک مسائلی را بزرگ می‌کنند. آقای بشار اسد مقامی است که تحت\n",
      "تعقیب امپریالیسم جهانی است و هر لحظه می‌خواهند او را بزنند، در یک شرایط امنیتی\n",
      "ویژه‌ای شاید بی‌خبر از معاونین خودش با رعایت تدابیر امنیتی سفرهایی انجام\n",
      "می‌دهد، اینکه به سفر ایشان به ایران جنبه اختلاف سیاسی دهیم درست نیست. وزیر ما\n",
      "هم بعد از اینکه در این خصوص توجیه شد استعفای خود را پس گرفت.\n",
      "\n",
      "معاون هماهنگ کننده سپاه در ادامه عنوان کرد: دشمن سعی دارد افتخارات ما را تبدیل\n",
      "به موضوعات شرم‌آور کند و مسائل زشت را تبدیل به افتخارات، حواس‌مان را جمع کنیم\n",
      "انقلابی که به دست ما رسیده در تاریخ نظیر ندارد، این انقلاب امانت است، در\n",
      "کارهای ما عیب و ایراد زیاد است حواس‌مان جمع باشد که این عیب و ایرادات را آنقدر\n",
      "بزرگ نکنیم که مأیوس شویم. راهی که رفتیم راه پیروزی است انقلاب تنها و غریبی که\n",
      "نه علم و فن‌آوری، نه اقتصادی، نه نفوذ سیاسی، نه امکانات و زیرساخت داشت امروز\n",
      "در همه شئون رشد کرده، بزرگترین قدرت سیاسی منطقه، جزء بزرگترین قدرت‌های نظامی و\n",
      "امنیتی دنیا و پر نفوذترین‌ترین کشور دنیا هستیم.\n",
      "\n",
      "وی در پایان در پاسخ به این سؤال که «به نظر شما جنگی بین ایران و آمریکا در\n",
      "می‌گیرد» گفت: امروز آمریکا زورش به هیچ‌کس نمی‌رسد آنقدر در داخل خودش درگیر است\n",
      "که اگر بخواهد حرکتی کند اولین تهدید خودش است، اصلا انسجام درونی ندارد، شکاف\n",
      "طبقاتی عمیق، اقتصاد و سیاست خارجی ورشکسته، قدرت نظانی تلف شده، در تمام\n",
      "منحنی‌ها و مؤلفه‌های قدرت همه جا افول کرده، در حالیکه جمهوری اسلامی در تمام\n",
      "شئون رشد داشته است.\n",
      "\n",
      "انتهای پیام/\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [29327]\n",
      "Score: [0.9143624]\n",
      "Category: [health]\n",
      "Content: \n",
      "به گزارش خبرنگار اقتصادی خبرگزاری فارس، این روزها با وجود آنکه پروژه‌های نیمه\n",
      "تمام ملی به یکی از چالش‌های کشور در راه توسعه اقتصادی تبدیل شده است، در چنین\n",
      "شرایطی، خبر از تخصیص ردیف اعتباری به پروژه‌های جدید به گوش می‌رسد، بیش از آنکه\n",
      "خبر از تکمیل پروژه‌های قبلی شنیده شود.\n",
      "\n",
      "به تازگی غلامعلی [کوهسار](https://search.farsnews.ir/?q=کوهسار&o=on)ی نماینده\n",
      "مردم رامیان و آزاد شهر در [مجلس شورای\n",
      "اسلامی](https://www.farsnews.ir/special/مجلس شورای اسلامی) از اختصاص ردیف\n",
      "بودجه برای احداث راه آهن اینچه‌برون- گنبد کاووس\\- آزادشهر- شاهرود توسط کمیسیون\n",
      "عمران مجلس و به درخواست نمایندگان مردم گلستان خبر داده است.\n",
      "\n",
      "به گفته وی با توجه به اهمیت این پروژه برای تصویب آن در کمیسیون تلفیق با رئیس\n",
      "این کمیسیون و نیز رئیس مجلس شورای اسلامی مذاکره شده است.\n",
      "\n",
      "**پروژه‌ ‌هایی که کلنگ می‌خورد، اما تکمیل نمی‌شود**\n",
      "\n",
      "تصویب این طرح در شرایطی که میزان سهم بودجه عمرانی نسبت به بودجه عمومی در لایحه\n",
      "بودجه 1400 کشور به کمترین رقم خود یعنی 12.8 درصد رسیده، ابهامات فراوانی را\n",
      "ایجاد کرده است.\n",
      "\n",
      "مشکلات عدیده دولت در تامین [کسری بودجه](https://search.farsnews.ir/?q=کسری\n",
      "بودجه&o=on) سال جاری و عدم تخصیص اعتبارات پیش بینی شده عمرانی در این سال، در\n",
      "کنار تعداد زیاد پروژه‌های زیرساختی نیمه‌تمام که [به\n",
      "صورت](https://search.farsnews.ir/?q=به صورت&o=on) قطره چکانی ردیف بودجه دریافت\n",
      "می‌کنند، موجب شده است تا کارشناسان اقتصادی به این موضوع واکنش نشان دهند.\n",
      "\n",
      "**87 هزار طرح ملی و استانی نیمه تمام فعلی 600 هزار میلیارد تومان اعتبار\n",
      "می‌خواهد**\n",
      "\n",
      "در همین رابطه، محمدجواد شاهجویی، پژوهشگر اقتصادی در گفت‌وگو با خبرنگار اقتصادی\n",
      "خبرگزاری فارس اعلام کرد: طبق برآورد مرکز پژوهش‌های مجلس شورای اسلامی، حدود 87\n",
      "هزار طرح ملی و استانی نیمه تمام در کشور وجود دارد که برای تکمیل به بودجه‌ای\n",
      "معادل 600 هزار میلیارد تومان نیاز دارد.\n",
      "\n",
      "وی افزود: از این میزان، 80 هزار میلیارد تومان مربوط به پروژه‌های ریلی نیمه\n",
      "تمام است که با توجه به تخصیص ردیف اعتباری حدودا 1400 میلیارد تومانی به شرکت\n",
      "ساخت و توسعه زیربناهای حمل و نقل کشور به عنوان متولی توسعه خطوط ریلی در کشور،\n",
      "تکمیل و بهره برداری از این پروژه‌ها به زمانی بالغ بر 60 سال نیاز خواهد داشت.\n",
      "\n",
      "این پژوهشگر اقتصادی ادامه داد: در چنین شرایطی، فشار برای اخذ ردیف بودجه‌ جهت\n",
      "سرمایه‌گذاری دولت در پروژه‌های زیرساختی جدید، حتی اگر پروژه اقتصادی باشد هم به\n",
      "صلاح کشور نیست، زیر با این روند اختصاص بودجه به پروژه‌ها در کشور، زمان طولانی\n",
      "ساخت پروژه‌ها و وجود پروژه‌های اولویت‌دار ملی، دریافت ردیف بودجه برای یک پروژه\n",
      "جدید معادل ساخته نشدن آن و طولانی‌تر شدن ساخت سایر پروژه‌ها خواهد بود.\n",
      "\n",
      "شاهجویی گفت: برای مثال، هم اکنون احداث خط ریلی 45 کیلومتری برای اتصال سبزوار\n",
      "به شبکه ریلی کشور که جمعا به 475 میلیارد تومان اعتبار نیاز دارد، از سال 1389\n",
      "کلید خورده و پیش بینی شده است که تا سال 1405 تکمیل شود، به بیان دیگر ساخت\n",
      "سالانه 3 کیلومتر خط ریلی که برای یک پروژه عمرانی در دنیا بی نظیر است،\n",
      "بنابراین، سرنوشت محتوم پروژه خط ریلی اینچه‌برون به شاهرود هم شبیه به سایر\n",
      "پروژه‌های معطل مانده کشور خواهد بود.\n",
      "\n",
      "**ورود مردم راهکاری اصلی حل مشکل تامین مالی پروژه‌های ملی**\n",
      "\n",
      "وی با اشاره به تجربه کشورهای پیشرفته در تامین مالی پروژه‌های زیرساختی، راه حل\n",
      "مشکل تامین مالی این پروژه‌ها را ورود مردم و بخش خصوصی به این حوزه دانست و\n",
      "تاکید کرد: در اغلب کشورها، با توجه به عدم توانایی دولت در تامین اعتبار مورد\n",
      "نیاز برای تکمیل پروژه‌های زیرساختی و نیاز قابل توجه اقتصاد به وجود این\n",
      "زیرساخت‌ها، تلاش شده است تا بستر لازم برای ورود کم ریسک سرمایه‌های مردمی به\n",
      "این حوزه ایجاد شود و مردم به مشارکت در این امر مهم و تاثیرگذار ترغیب و تشویق\n",
      "شوند.\n",
      "\n",
      "این پژوهشگر اقتصادی تاکید کرد: با این حال در کشور ما، تا امروز دغدغه جدی در\n",
      "بین تصمیم‌گیران برای ایجاد چنین ساختاری وجود نداشته که بخش از عدم وجود دغدغه،\n",
      "ناشی از کسب درآمدهای سهل‌الوصول نفتی در گذشته بوده است؛ به بیان دیگر، دولت‌ها\n",
      "در ایران تا امروز، اهمیت و ضرورت ورود و مشارکت مردم در امر توسعه کشور را درک\n",
      "نکرده‌اند، اما با تغییر شرایط و به وجود آمدن نوسانات اقتصادی در سال‌های اخیر،\n",
      "ضرورت تغییر رویکرد در تصمیم‌گیران و مدیران این حوزه بیشتر احساس می‌شود.\n",
      "\n",
      "**تاسیس شرکت‌های سرمایه‌گذاری پروژه محور؛ اثرگذار اما مشروط**\n",
      "\n",
      "این پژوهشگر اقتصادی با اشاره به اعطای مجوز مجلس شورای ا[سلامی\n",
      "به](https://search.farsnews.ir/?q=سلامی به&o=on) دولت برای استفاده از ظرفیت\n",
      "بازار سرمایه در جهت تکمیل پروژه‌های نیمه تمام که در هفته اول اسفندماه سال 99\n",
      "اتفاق افتاد، استفاده از بازار سرمایه برای ورود مردم به تامین مالی پروژه‌های\n",
      "عمرانی را راهکاری اساسی برای رفع همیشگی مشکل تامین نقدینگی عنوان کرد.\n",
      "\n",
      "وی افزود: استفاده از ابزارهای نوین تامین مالی همانند شرکت‌های سهامی عام پروژه\n",
      "محور که در دنیا تجربه‌های موفقی را به یادگار گذاشته‌اند، می تواند برای همیشه\n",
      "دعوای بین پروژه اولویت‌دار و پروژه بی‌اولویت را در کشور از بین ببرد؛ به تعبیر\n",
      "دیگر، در کشور ما با توجه به ظرفیت‌های اساسی و استعدادهای بی‌نظیر خدادادی،\n",
      "تقریبا هیچ پروژه‌ای بی توجیه نخواهد بود، اما وقتی با منابع محدود دولتی مواجه\n",
      "هستیم، مجبوریم پروژه‌ها را اولویت‌بندی کنیم تا وضعیتی که هم‌اکنون به آن دچار\n",
      "هستیم اتفاق نیافتد.\n",
      "\n",
      "**ملزومات استفاده از روش شرکت‌های سرمایه‌گذاری پروژه محور در تامین مالی**\n",
      "\n",
      "شاهجویی همچنین به تبیین ملزومات استفاده از روش شرکت‌های سرمایه‌گذاری پروژه\n",
      "محور در تامین مالی پرداخت و تاکید کرد: برای استفاده از این روش نکته مهم این\n",
      "است که **باید مردم در فرآیند سرمایه‌گذاری پروژه‌ها، به سهام واقعی پروژه دست\n",
      "پیدا کنند تا به این واسطه سرمایه مردم در نوسانات اقتصادی تغییری نکند**.\n",
      "\n",
      "این پژوهشگر اقتصادی ادامه داد: همچنین **باید یک نهاد ضامن، کف سود در سررسید که\n",
      "قاعدتا نباید از سود سپرده‌های بانکی کمتر باشد را برای مردم و سهام‌داران تضمین\n",
      "کند**.\n",
      "\n",
      "وی اضافه کرد: به علاوه **سود عملیاتی پس از بهره برداری باید به سرمایه‌گذاران\n",
      "به عنوان شریک واقعی پروژه تعلق بگیرد** تا مردم نیز طعم شیرین سرمایه‌گذاری در\n",
      "پروژه‌های کلان ملی را بچشند.\n",
      "\n",
      "انتهای پیام/ب\n",
      "\n",
      "\n",
      "--------------------------------------------------\n",
      "DocID: [3583]\n",
      "Score: [0.9139977]\n",
      "Category: [health]\n",
      "Content: \n",
      "**به گزارش ایسنا،** در بیانیه مشترکی که به امضای دکتر غلامی وزیر علوم و دکتر\n",
      "نمکی وزیر بهداشت رسیده، آمده است: \"پیرو اعلام نیاز به زمان بیشتر جهت برگزاری\n",
      "آزمون سراسری توسط مجریان آزمون سراسری ورود به دانشگاه‌ها به نیت یافتن فضای\n",
      "مناسب برای برگزاری منطبق با پروتکل های سختگیرانه، مشروط به تایید تغییر تاریخ\n",
      "در ستاد ملی مدیریت کرونا، از آنجا که این تغییر به دلایل متعدد مورد تایید ستاد\n",
      "قرار نگرفت، مقرر شد با همکاری استانداران محترم، مراکز آموزشی، فرهنگی، ورزشی،\n",
      "نظامی و انتظامی، کمبود فضاها و تجهیزات مورد نیاز جهت اعمال و اجرای پروتکل ها\n",
      "مهیا و آزمون سراسری در تاریخ مصوب قبلی ستاد ملی مدیریت کرونا (در روزهای 29-30\n",
      "و 31 مرداد و یکم شهریورماه) برگزار گردد.\n",
      "\n",
      "به گزارش ایسنا، تاریخ تعیین شده برای برگزاری کنکور که دو هفته پیش از سوی ستاد\n",
      "ملی مقابله با کرونا اعلام شده بود مجددا در جلسه روز گذشته دوشنبه ۲۰ مرداد که\n",
      "با حضور روسای کمیسیون‌های آموزش و تحقیقات، بهداشت و درمان و تنی چند از\n",
      "نمایندگان مجلس شورای اسلامی، وزرای علوم، تحقیقات و فناوری و بهداشت، درمان و\n",
      "آموزش پزشکی و رئیس سازمان سنجش آموزش کشور به منظور ارزیابی قابلیت‌های اعمال\n",
      "پروتکل‌های بهداشتی آزمون پیش رو برگزار شده بود، قرار بود تغییر کند.\n",
      "\n",
      "در این جلسه وزیر علوم اجرای پروتکل های بهداشتی جدید تعیین شده از سوی وزیر\n",
      "بهداشت و رییس ستاد ملی مقابله با کرونا در این فرصت یک هفته ای را غیرممکن عنوان\n",
      "کرده و بر این اساس، پیشنهاد تعویق یک ماهه آزمون سراسری را داده بود که این\n",
      "پیشنهاد در جلسه امشب ستاد ملی مقابله با کرونا مورد بحث و تصمیم گیری قرار گرفت\n",
      "که در نهایت تغییر تاریخ آزمون تصویب نشد.\n",
      "\n",
      "انتهای پیام\n",
      "\n",
      "\n",
      "--------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "example_query3 = 'تزریق دوز تقویتی واکسن کرونا'\n",
    "example_category3 = 'health'\n",
    "knn_query_search(example_query3, example_category3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "STKqC9JEkyJv"
   },
   "source": [
    "<div dir=\"rtl\">\n",
    "در این قسمت، هیچ یک از چهار داک ابتدایی مرتبط با موضوع کرونا نمی باشد و تنها آخرین داک است که به کرونا مربوط است اما در این داک نیز صحبتی از واکسن یا واکسیناسیون نشده است. همانطور که در 4 داک اول مشاهده می شود، این داک ها به اشتباه لیبل خورده اند. چرا که این داک ها شباهت بیشتری با موضوعات سیاسی و اقتصادی دارند و ارتباط آن چنانی با موضوع سلامت ندارند.\n",
    "</div>"
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "KNN (edited).ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}