tutorials/3.normalize_text.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !pip install jiwer -qq"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "%load_ext autoreload\n",
    "%autoreload 2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import sys\n",
    "sys.path.append('..')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sk import predict,get_files\n",
    "from pathlib import Path\n",
    "import jiwer\n",
    "import pandas as pd\n",
    "from words2num import normalize\n",
    "pd.set_option('max_colwidth', 400)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_path = \"/content/test-bahasa/\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(#780) [PosixPath('/content/test-bahasa/iium-audio-iium-89.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-streaming-tempatan yang menutur bahasa.txt'),PosixPath('/content/test-bahasa/wattpad-audio-wattpad-558.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-haqkiem-LJ234-000005.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-tolong-sebut-dipimpin.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-streaming-dipercayai untuk menentukan usia.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-news-audio-25.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-streaming-berlaku antara bahasa melayu.txt'),PosixPath('/content/test-bahasa/-home-husein-speech-bahasa-streaming-seorang kawan dan penasihat.txt'),PosixPath('/content/test-bahasa/iium-audio-iium-69.txt')...]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "txts = get_files(data_path,[\".txt\"],recurse=True)\n",
    "txts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# find data with number in it\n",
    "nombor = [\"satu\",\"dua\",'tiga','puluh','ratus','ribu'] # can add more text if want to filter more\n",
    "filtered_wavs = []\n",
    "for i in txts:\n",
    "    text = i.read_text().split()\n",
    "    got = any([i in nombor for i in text])\n",
    "    if got:\n",
    "        filtered_wavs.append(i.with_suffix(\".wav\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Predict single or multiple file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Total input path: 37\n",
      "Total audio found(.wav): 37\n",
      "start prediction\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 37/37 [00:06<00:00,  6.10it/s]\n"
     ]
    }
   ],
   "source": [
    "out = predict(filtered_wavs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "preds = out[\"texts\"]\n",
    "files = out[\"filenames\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "data = []\n",
    "for i,j in zip(preds,files):\n",
    "    label = j.with_suffix('.txt').read_text()\n",
    "    data.append([label,normalize(i),i])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>label</th>\n",
       "      <th>norm_pred</th>\n",
       "      <th>pred</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>adakah ia buruk bahawa iq saya ialah dua ratus empat puluh sembilan</td>\n",
       "      <td>adakah ia buruk bahawa ik saya ialah 249</td>\n",
       "      <td>adakah ia buruk bahawa ik saya ialah dua ratus empat puluh sembilan</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>udah nanya pr buat besok lagi sih ujar yasmin salah satu teman dekat libra</td>\n",
       "      <td>udahnanya pr buat besok lagi sih ujar yasmin salah 1 teman dekat libera</td>\n",
       "      <td>udahnanya pr buat besok lagi sih ujar yasmin salah satu teman dekat libera</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>aku ada dua orang sahabat baik</td>\n",
       "      <td>aku ada 2 orang sahabat baik</td>\n",
       "      <td>aku ada dua orang sahabat baik</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>laki yang duduk dengan satu perempuan yaitu libra dan daffa</td>\n",
       "      <td>lelaki yang duduk dengan 1 perempuan iaitu libera dan dafar</td>\n",
       "      <td>lelaki yang duduk dengan satu perempuan iaitu libera dan dafar</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>korban merupakan anak pertama dari tiga bersaudara pasangan</td>\n",
       "      <td>korban merupakan anak pertama dari 3 bersaudara pasangan</td>\n",
       "      <td>korban merupakan anak pertama dari tiga bersaudara pasangan</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>phuket kochi dari rm tiga ratus sembilan puluh sembilan bali dari rm enam ratus dua puluh sembilan nanjing dari rm lima ratus lapan puluh sembilan</td>\n",
       "      <td>buket koci dari rgm 300 simbila 9 bali dari rgm 629 nanjing dari rgt 589</td>\n",
       "      <td>buket koci dari rgm tiga ratus simbila puluh sembilan bali dari rgm enam ratus dua puluh sembilan nanjing dari rgt lima ratus lapan puluh sembilan</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>dua puluh enam empat</td>\n",
       "      <td>26 4</td>\n",
       "      <td>dua puluh enam empat</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>sama kalau kekasih kau ikut jantan lain kan saving duit hantaran dua puluh k kau tu</td>\n",
       "      <td>sama kalau keu kasih kau ikut jantan lainkan seving duit antara 20 k kau tu</td>\n",
       "      <td>sama kalau keu kasih kau ikut jantan lainkan seving duit antara dua puluh k kau tu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>ketika mereka berada didepan ruang kelas dua belas ipa lima tatapan mereka langsung</td>\n",
       "      <td>ktika mereka berada di depan ruang kelas 12 ip 5 tetatapan mereka langsung</td>\n",
       "      <td>ktika mereka berada di depan ruang kelas dua belas ip lima tetatapan mereka langsung</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>gila cape banget kecepatan lari kamu kalau lagi panik nambah dua kali</td>\n",
       "      <td>kila capit bangat kecapatan lari kamu kalau lagi panik enambah 2 kali</td>\n",
       "      <td>kila capit bangat kecapatan lari kamu kalau lagi panik enambah dua kali</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>selepas lebih kurang tiga</td>\n",
       "      <td>selepas lebih kurang 3</td>\n",
       "      <td>selepas lebih kurang tiga</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>may berharap perjanjian itu akan selesai sebelum dua puluh dua mei</td>\n",
       "      <td>ma berharap penjanjian itu akan selesai sebelum 22 ma</td>\n",
       "      <td>ma berharap penjanjian itu akan selesai sebelum dua puluh dua ma</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>studi ini juga mendapati sebanyak empat puluh tiga percent anak yang datang</td>\n",
       "      <td>studi ini juga mendapati sebanyak 43 persen anak yang datang</td>\n",
       "      <td>studi ini juga mendapati sebanyak empat puluh tiga persen anak yang datang</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>diikuti siswa siswi kelas sebelas ipa tiga dibelakangnya termasuk libra dan geng</td>\n",
       "      <td>diikuti siswa siswi kelas 11 ip 3 di belakangnya termasuk libera dan gang</td>\n",
       "      <td>diikuti siswa siswi kelas sebelas ip tiga di belakangnya termasuk libera dan gang</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>adakah ia baik untuk seorang wanita berumur dua belas tahun</td>\n",
       "      <td>adakah ia baik untuk seorang wanita berumur 12 tahun</td>\n",
       "      <td>adakah ia baik untuk seorang wanita berumur dua belas tahun</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>baru dua langkah dari gedung sekolah tiba tiba yasmin yang berada ditengah</td>\n",
       "      <td>baru 2 langkah dari gedung sekolah tiba tiba ya simin yang berada di tengah</td>\n",
       "      <td>baru dua langkah dari gedung sekolah tiba tiba ya simin yang berada di tengah</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>penelitian itu berdasarkan pada data lebih dari dua puluh tujuh ribu</td>\n",
       "      <td>penelitian itu berdasarkan pada data lebih dari 27000</td>\n",
       "      <td>penelitian itu berdasarkan pada data lebih dari dua puluh tujuh ribu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>semenjak ianya ditubuhkan lebih dua puluh tahun yang lalu</td>\n",
       "      <td>semenjak ianya ditubuhkan lebih 20 tahun yang lalu</td>\n",
       "      <td>semenjak ianya ditubuhkan lebih dua puluh tahun yang lalu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>adalah libra salah satu siswi di kelas sebelas ipa tiga yang selalu ingin dapat</td>\n",
       "      <td>adalah liberat salah 1 siswi di kelas 11 ipa 3 yang selalu ingin dapat</td>\n",
       "      <td>adalah liberat salah satu siswi di kelas sebelas ipa tiga yang selalu ingin dapat</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>setahun yang lalu ketika baru satu bulan semenjak libra sma libra sudah merasa</td>\n",
       "      <td>setahun yang lalu ketika baru 1 bulan semenjak liberat sma iberas sudah merasa</td>\n",
       "      <td>setahun yang lalu ketika baru satu bulan semenjak liberat sma iberas sudah merasa</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                 label  ...                                                                                                                                                pred\n",
       "0                                                                                  adakah ia buruk bahawa iq saya ialah dua ratus empat puluh sembilan  ...                                                                                 adakah ia buruk bahawa ik saya ialah dua ratus empat puluh sembilan\n",
       "1                                                                           udah nanya pr buat besok lagi sih ujar yasmin salah satu teman dekat libra  ...                                                                          udahnanya pr buat besok lagi sih ujar yasmin salah satu teman dekat libera\n",
       "2                                                                                                                       aku ada dua orang sahabat baik  ...                                                                                                                      aku ada dua orang sahabat baik\n",
       "3                                                                                          laki yang duduk dengan satu perempuan yaitu libra dan daffa  ...                                                                                      lelaki yang duduk dengan satu perempuan iaitu libera dan dafar\n",
       "4                                                                                          korban merupakan anak pertama dari tiga bersaudara pasangan  ...                                                                                         korban merupakan anak pertama dari tiga bersaudara pasangan\n",
       "5   phuket kochi dari rm tiga ratus sembilan puluh sembilan bali dari rm enam ratus dua puluh sembilan nanjing dari rm lima ratus lapan puluh sembilan  ...  buket koci dari rgm tiga ratus simbila puluh sembilan bali dari rgm enam ratus dua puluh sembilan nanjing dari rgt lima ratus lapan puluh sembilan\n",
       "6                                                                                                                                 dua puluh enam empat  ...                                                                                                                                dua puluh enam empat\n",
       "7                                                                  sama kalau kekasih kau ikut jantan lain kan saving duit hantaran dua puluh k kau tu  ...                                                                  sama kalau keu kasih kau ikut jantan lainkan seving duit antara dua puluh k kau tu\n",
       "8                                                                  ketika mereka berada didepan ruang kelas dua belas ipa lima tatapan mereka langsung  ...                                                                ktika mereka berada di depan ruang kelas dua belas ip lima tetatapan mereka langsung\n",
       "9                                                                                gila cape banget kecepatan lari kamu kalau lagi panik nambah dua kali  ...                                                                             kila capit bangat kecapatan lari kamu kalau lagi panik enambah dua kali\n",
       "10                                                                                                                           selepas lebih kurang tiga  ...                                                                                                                           selepas lebih kurang tiga\n",
       "11                                                                                  may berharap perjanjian itu akan selesai sebelum dua puluh dua mei  ...                                                                                    ma berharap penjanjian itu akan selesai sebelum dua puluh dua ma\n",
       "12                                                                         studi ini juga mendapati sebanyak empat puluh tiga percent anak yang datang  ...                                                                          studi ini juga mendapati sebanyak empat puluh tiga persen anak yang datang\n",
       "13                                                                    diikuti siswa siswi kelas sebelas ipa tiga dibelakangnya termasuk libra dan geng  ...                                                                   diikuti siswa siswi kelas sebelas ip tiga di belakangnya termasuk libera dan gang\n",
       "14                                                                                         adakah ia baik untuk seorang wanita berumur dua belas tahun  ...                                                                                         adakah ia baik untuk seorang wanita berumur dua belas tahun\n",
       "15                                                                          baru dua langkah dari gedung sekolah tiba tiba yasmin yang berada ditengah  ...                                                                       baru dua langkah dari gedung sekolah tiba tiba ya simin yang berada di tengah\n",
       "16                                                                                penelitian itu berdasarkan pada data lebih dari dua puluh tujuh ribu  ...                                                                                penelitian itu berdasarkan pada data lebih dari dua puluh tujuh ribu\n",
       "17                                                                                           semenjak ianya ditubuhkan lebih dua puluh tahun yang lalu  ...                                                                                           semenjak ianya ditubuhkan lebih dua puluh tahun yang lalu\n",
       "18                                                                     adalah libra salah satu siswi di kelas sebelas ipa tiga yang selalu ingin dapat  ...                                                                   adalah liberat salah satu siswi di kelas sebelas ipa tiga yang selalu ingin dapat\n",
       "19                                                                      setahun yang lalu ketika baru satu bulan semenjak libra sma libra sudah merasa  ...                                                                   setahun yang lalu ketika baru satu bulan semenjak liberat sma iberas sudah merasa\n",
       "\n",
       "[20 rows x 3 columns]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = pd.DataFrame(data)\n",
    "df.columns = [\"label\",\"norm_pred\",\"pred\"]\n",
    "df.head(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# word to num normalization still wip, let use know if found a bug so we can fix it ASAP\n",
    "# TODO: fix ip address digit spelling space"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}