multipos.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Quelle part du lexique français a des POS ambigües ?\n",
    "\n",
    "Les meilleurs taggeurs pour le français affichent des scores de 95 à 97.5% de précision.  \n",
    "Ce sont des scores très élevés mais il faut les rapporter à la difficulté de la tâche considérée. Pour cela il faut comparer les résultats des taggeurs à un score de référence, une *baseline*. Si l'on exclut la segmentation en partant d'un texte segmenté, la *baseline* pourra être obtenue en utilisant bêtement un lexique catégorisé à large couverture.\n",
    "\n",
    "Dans cet esprit nous allons essayer de compter, dans l'ensemble des formes fléchies, combien d'unités lexicales peuvent avoir des POS différentes, c-a-d combien il y a d'homographes. Puis nous donnerons la part que représente ces homographes dans le lexique.\n",
    "\n",
    "Pour cet exercice nous utiliserons le lefff disponible ici : http://alpage.inria.fr/~sagot/lefff.html   \n",
    "Sagot (2010). The Lefff, a freely available and large-coverage morphological and syntactic lexicon for French. In Proceedings of the 7th international conference on Language Resources and Evaluation (LREC 2010), Istanbul, Turkey\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "## Homographes du lefff ayant des @cat différentes\n",
    "## on complique exprès en ne prenant pas en compte la colonne n\n",
    "\n",
    "import re\n",
    "\n",
    "words = dict()\n",
    "pat = re.compile(\"cat=([a-z]+)\")\n",
    "\n",
    "file = \"/home/clement/data/rsrc/lefff/lefff-3.4.elex/lefff-3.4.elex\"\n",
    "\n",
    "with open(file, 'r', encoding=\"ISO-8859-1\") as f:\n",
    "    for line in f:\n",
    "        row = line.split('\\t')\n",
    "        form = row[0]\n",
    "        m = pat.search(row[3])\n",
    "        if m:\n",
    "            cat = m.group(1)\n",
    "            words.setdefault(form, set()).add(cat)\n",
    "            #ou\n",
    "            #cats = words.get(form, set())\n",
    "            #cats.add(cat)\n",
    "            #words[form] = cats\n",
    "        else:\n",
    "            words.setdefault(form, set())\n",
    "\n",
    "ambigus = [word for word in words.keys() if len(words[word]) > 1]\n",
    "print(len(words.keys()))\n",
    "print(len(ambigus))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}