Модели

Все модели можно скачать и свободно использовать на условиях лицензии CC-BY (жирным выделены модели, доступные для использования в веб-интерфейсе и API).

Контекстуализированные модели

Статические модели

Таблицу можно (и нужно) пролистывать по горизонтали!

Корпуса

1. НКРЯ: Национальный Корпус Русского Языка в полном объёме;
2. Википедия: дамп русской Википедии за соответствующую дату;
3. Новости: поток новостей с 1 500 преимущественно русскоязычных новостных сайтов (около 30 миллионов документов);
4. Araneum Russicum Maximum: веб-корпус русскоязычных текстов, собранный Владимиром Бенко в 2016 году (скачать лемматизированный корпус);
5. Тайга: открытый и структурированный корпус русского языка, снабженный морфологической и синтаксической разметкой (подкорпус поэзии не использовался); собран Татьяной Шавриной;
6. GeoWAC: сэмпл русскоязычных документов из дампа CommonCrawl, сбалансированный по географии авторов собран Jonathan Dunn и Ben Adams;
7. Веб: случайно отобранные 9 миллионов русскоязычных веб-страниц; обкачаны в декабре 2014 года.

Предобработка корпусов

Перед обучением все корпуса были токенизированы, разбиты на предложения, лемматизированы (за исключением моделей с идентификаторами, содержащими "_tokens_") и размечены по частям речи при помощи UDPipe (кроме моделей на fastText и ELMo). Тэги частей речи соответствуют  формату Universal PoS Tags (например, «печь_NOUN»). Таблица конверсии в UPoS из тэгов Mystem доступна здесь. Стоп-слова (союзы, местоимения, предлоги, частицы, пунктуация и т.п.) были удалены (за исключением моделей с идентификаторами, содержащими "_func" или "_tokens_").

Процесс предобработки корпусов с примерами кода в деталях описан в тьюториале. Также доступны готовые скрипты, воспроизводящие нашу предобработку на любом русском тексте: вариант для UDPipe и вариант для Mystem.

Некоторые устойчивые и частотные словосочетания из двух слов (биграммы) были объединены в один токен через спецсимвол «::» (особенно это касается имен собственных), например, борис::гребенщиков_PROPN. Для сравнения доступна и модель без склейки биграмм (ruwikiruscorpora-nobigrams_upos_skipgram_300_5_2018), а также модель, в которой были склеены все возможные биграммы продуктивных типов, независимо от их частотных характеристик (ruwikiruscorpora-superbigrams_skipgram_300_2_2018).

Начиная с 2019 года, скачиваемые модели содержат ненормированные вектора. Модели ELMo обучены на корпусах с минималистичной предобработкой: только токенизация и (опциально) лемматизация при помощи UDPipe. Стоп-слова не удалялись, частеречные тэги не добавлялись.

Для локальной работы с нашими (и не только нашими) моделями ELMo мы подготовили лёгкую в использовании библиотеку для Python.

Оценка моделей

Оценка качества дистрибутивно-семантических моделей сама по себе является сложной проблемой. Лучше всего напрямую оценивать, насколько хорошо модель работает для конкретной практической задачи (extrinsic evaluation). Однако, если модели обучаются «для всего» или для демонстрации возможностей метода (как в случае с нашим сервисом), приходится тестировать некую общую способность моделей работать с языком, без привязки к конкретной задаче (intrinsic evaluation).

Мы оцениваем наши модели двумя хорошо известными способами:

1. Корреляция (по Спирмену) значений парной схожести слов, сгенерированных моделью, и значений, взятых из вручную размеченного тестового сета. Мы применяем тестовый сет RuSimLex965, построенный на базе Multilingual SimLex999 dataset (наша статья о RuSimLex965).
2. Точность решения задач на аналогии (пропорций). Для оценки мы использовали русскую версию семантических секций Google Analogies Dataset (перевод Татьяны Кононовой; почитать подробнее о задаче решения аналогий).

Модели ELMo оцениваются на задаче word sense disambiguation (WSD), используя тестовый сет Human-Annotated Sense-Disambiguated Word Contexts for Russian (он же RUSSE'18). Итоговая оценка - макро-усредненная F1 по всем словам тестового сета. Подробнее об оценке моделей ELMo читайте в нашей статье. В качестве дополнительной метрики мы используем задачу классификации пар документов. Датасетом здесь является корпус проекта ParaPhraser.

Скачать все наши тестовые сеты (с частеречными тэгами или без них, в лемматизированном и сыром виде).

Кто использует модели RusVectōrēs?

1. Habra-юзер drafterleo сделал поэтичный поисковик по стишкам-пирожкам.

2. Доцент школы лингвистики НИУ ВШЭ Борис Орехов создал "векторные пересказы" классических произведений русской литературы.

3. Github-юзер opennota разработал семантический поисковик по стихам Александра Сергеевича Пушкина.

4. Sberbank AI использует наши модели в качестве baseline на соревновании по стихотворному искусственному интеллекту "КлассикAI".

5. Группа Михаила Копотева из Хельсинкского университета использует автоматическое выделение конструкций на основе семантической близости коллокатов в проекте CoCoCo: Colligations, Collocations & Constructions.

6. Группа Ольги Митрофановой с кафедры математической лингвистики СПбГУ работает над дистрибутивно-семантическим калькулятором для предсказания русскоязычных коллокаций с заданными свойствами.

7. ...

У вас есть что добавить к этому списку? Пишите нам!