Posted on Ven, 01 jan 2021 in misc
Garcia, Foret, Sellam and Parikh
Devise a model for multilingual unsupevised MT. The main idea is as follows: consider \(L\) languages, and model the joint distribution \(P(x,y,z...)\) (let us assume \(L=3\) for the sake of the argument …
Posted on Ven 09 oct 2020 in Machine Translation, Language Models
The transformer architecture of (Vaswani et al, 2017) has been transformative in the sense that is has quickly replaced more classical RNN architectures as the basic block for building large-scale structured prediction model. A TF learns to transform a structured linguistic object (typically a string) into a …
Posted on Jeu 01 oct 2020 in Multilinguality, Embeddings
This post is a short summary of what needs to be known, and slightly more, to fully get the grasp of a series of not so recent papers (2017-2018) which have tried to exploit the mathematical theory of Optimal Transport to compute multilingual word embeddings.
Posted on Mer 30 sep 2020 in Machine Translation
'Plusieurs articles récents annoncent que la traduction automatique serait parvenue à "parité avec l'humain". Cette affirmation s'appuie sur un protocole expérimental discutable, et fait l'objet de sérieuses critiques au sein de la communauté. Ce post présente ces résultats, et explique pourquoi de telles affirmations doivent effectivement prises avec des pincettes.'
Posted on Mer, 30 sep 2020 in reviewing • Tagged with reviewing, ACL
I review a lot. If review for conferences, workshops, journals. I am also AE for TACL, ACM Computing Surveys, Computer Speech and Language and Traitement Automatique des Langues (mostly in French). Which means that I review too much. Hopefully my employer (CNRS) does not seem …
Posted on Mer 01 jan 2020 in NLP, Language Models, TAL, Modèles de Langue
Les modèles de langue continuent de faire l'objet de nombreuses recherches, en particulier parce que les données d'apprentissage sont abondantes, et permettent de pré-entrainer des représentations ou des réseaux qu'il est possible ensuite de détourner à d'autres fin, presque sans supervision. Le travail récent de …