Note sur le calcul de la perplexité

Posted on Mer 01 jan 2020 in NLP, Language Models, TAL, Modèles de Langue

Une perplexité qui laisse perplexe

Les modèles de langue continuent de faire l'objet de nombreuses recherches, en particulier parce que les données d'apprentissage sont abondantes, et permettent de pré-entrainer des représentations ou des réseaux qu'il est possible ensuite de détourner à d'autres fin, presque sans supervision. Le travail récent de …