Двумерный текст: визуализация контекстуализированных языковых моделей

Мы используем модель ELMo ruwikiruscorpora_tokens_elmo_1024_2019, чтобы сгенерировать контекстуализированные вектора для слов в вашем запросе. Затем для каждого такого вектора мы ищем наиболее похожие слова среди 10 тысяч самых частотных слов в словаре этой же модели. Поскольку в контекстуализированных моделях отсутствуют бесконтекстные вектора слов, мы сгенерировали их путём усреднения контекстных векторов каждого вхождения этих слов в обучающем корпусе модели ruwikiruscorpora_tokens_elmo_1024_2019.

Лексические подстановки иначе называются парадигматические замены. Это слова, которые можно было подставить на место соответствующего слова в предложении.

Подстановки будут меняться в зависимости от контекста, окружающего слово. Чем больше размер шрифта у подстановки, тем более уверена в ней модель.