Нейронные языковые модели в дистрибутивной семантике

Дистрибутивная семантика — это наука о том, как понять значение слова только на основании контекста. Существует гипотеза, что если у двух слов одни и те же соседи — значит, эти слова означают одно и то же. Поэтому в традиционной дистрибутивной семантике слова описываются векторами, где в качестве измерений или компонентов выступают соседи этих слов в огромном текстовом корпусе.

Я расскажу о ставших популярными в последние годы нейронных или предсказательных моделях, которые переворачивают этот подход с ног на голову. Эти модели позволяют быстро получать вектора, во много тысяч раз компактнее, чем при традиционном подходе. Качество же при этом только повышается.

Такие векторные представления хорошо описывают семантические свойства лексики. Их применяют в любых практических задачах, где нужно автоматически сравнивать слова или их последовательности: для расширения поисковых запросов, машинного перевода, вычисления семантической близости, классификации и кластеризации текстов, определения тональности высказывания и многого другого.