Word2vec

Word2vec — общее название для совокупности моделей на основе искусственных нейронных сетей, предназначенных для получения векторных представлений слов на естественном языке. Используется для анализа семантики естественных языков, основанный на дистрибутивной семантике, машинном обучении и векторном представлении слов. Программное обеспечение под названием «word2vec» было разработано группой исследователей Google в 2013 году^[1][2]. Инструменты для создания векторно-семантических моделей существовали и ранее^[3][4], но word2vec стал первой популярной реализацией: в первую очередь из-за удобства использования, открытого исходного кода и скорости работы.^{[источник не указан 2247 дней][5]}

Алгоритм word2vec принимает большой текстовый корпус в качестве входных данных, строит из него словарь и далее из корпуса и словаря строит сопоставление. Каждому слову из словаря сопоставляется вектор чисел с плавающей точкой, векторное представление слов, на выход алгоритм выдаёт это сопоставление.

Векторное представление слов вычисляется для всех слов словаря с помощью алгоритма машинного обучения на входном тексте корпуса. Целью машинного обучения является сопоставление контекстно близким словам близко расположенных векторов: слова, встречающиеся в тексте рядом с одинаковыми словами (и следовательно, имеющие сходный смысл), будут иметь близкие (по косинусной схожести, cosine similarity) вектора.

Полученные векторные представления слов могут быть использованы для алгоритмов обработки естественного языка как на первом этапе преобразования слов в вектора, так и в случае надобности на конечном этапе преобразования результирующих векторов алгоритмов (генеративных моделей) в слова.

В двух основных работах о word2vec 2013 года предложены методы существенного ускорения работы алгоритма машинного обучения (вплоть до ускорения в 25–100 раз) благодаря использованию техник семплирования (sampling), и, в частности, техники отрицательного семплирования (negative sampling), иерархического семплирования, и суб-семплирования, благодаря которым векторное представление слов и получило после этого свое распространение во всех алгоритмах ОЕЯ(NLP) основанных на нейронных сетях вообще и на сетях глубокого обучения в частности.

Слова в алгоритме обучения рассматриваются в контексте — окне предварительно определённой ширины 2 m + 1 {\displaystyle 2m+1} .

Word2vec имеет два варианта моделирования слов контекста (построения предсказывающей модели слов контекста):

• CBoW (англ. Continuous Bag of Words, «непрерывный мешок слов», англ. bag — мультимножество) — вариант word2vec, который предсказывает текущее центральное слово окна контекста, исходя из окружающих его слов в этом окне;
• Skip-gram (n-грамма с пропущенным центральным словом) — вариант word2vec, который, наоборот, предсказывает окружающие слова в окне контекста на основе текущего центрального слова окна.

В алгоритме word2vec порядок слов контекста внутри окна не влияет на результирующий вектор представления.

Можно представить алгоритм word2vec как минимализированную и ускоренную нейросеть. Базовый алгоритм машинного обучения алгоритма word2vec преследует целью максимизацию правдоподобия предсказываемых слов и с этой целью осуществляет нахождение минимума функционала J ( Θ ) {\displaystyle J(\Theta )} отрицательного логарифмического правдоподобия (NLL, Negative Log Likelihood) функции потерь перекрёстной энтропии совстречаемых слов в окне контекста.

Для нахождения минимума функционала NLL производится дифференцирование функции потерь (нахождение градиента ∇ J = ∂ J ∂ Θ {\displaystyle \nabla J={\frac {\partial J}{\partial \Theta }}} ), а затем поиск минимума функции J ( Θ ) {\displaystyle J(\Theta )} в пространстве векторных представлений слов Θ {\displaystyle \Theta } с помощью алгоритма стохастического градиентного спуска (SGD).

В процессе итераций SGD с целью упрощения обработки векторов представлений слов вектора слова (для двух вышеобозначенных вариантов) эти два вектора одного и того же слова считаются отдельно, и в конце работы алгоритма обучения объединяются в один путём взятия их среднего. Без применения этого трюка расчёты усложняются из-за того, что само слово не часто встречается в своём собственном контексте, но, будучи встреченным, породит искажение в расчётах.

Параметром обучения алгоритма является множество векторов Θ = [ w c 1 , w c 2 , … , w c V , w o 1 , w o 2 , … , w o V ] {\displaystyle \Theta =[wc_{1},wc_{2},\ldots ,wc_{V},wo_{1},wo_{2},\ldots ,wo_{V}]} , где:

• V {\displaystyle V} — мощность списка слов, встреченных в корпусе (словаря);
• w i {\displaystyle w_{i}} — искомые векторные представления слов;
• w c i {\displaystyle wc_{i}} — вектор, соответствующий расчетам, когда очередное слово w i {\displaystyle w_{i}} встретилось в центре контекстного окна;
• w o i {\displaystyle wo_{i}} – вектор, соответствующий расчетам, когда очередное слово w i {\displaystyle w_{i}} не центральное слово в окне контекста;
• i {\displaystyle i} принимает значения от 1 до V {\displaystyle V} .

Алгоритм SGD, работая над матрицей Θ {\displaystyle \Theta } , стремится найти такие значения Θ {\displaystyle \Theta } , при которых достигается минимум функции потерь. В результате в Θ {\displaystyle \Theta } получаются векторные представления слов.

Алгоритм word2vec (как и основанный на нем эффективный по скорости алгоритм fastText) достиг своей популярности и признания благодаря своей повышенной скорости (в 25–100 раз) по сравнению со скоростью базового варианта алгоритма. Базовый вариант алгоритма использует чрезвычайно многократное вычисление функции softmax() на каждом шаге.

Ускорение алгоритма word2vec достигается применением различных приемов. Эти приемы состоят, в том или ином виде, в отбрасывании существенной части расчетов, которыми можно пренебречь для целей задачи получения векторных представлений слов. Приемы можно разделить на 2 группы:

• ускорение;
• разные виды сэмплирования (sub-sampling, отрицательное сэмплирование, hierarchical softmax и другие).

Идея отрицательного сэмплирования (negative sampling, SGNS) состоит в замене предсказания вероятности встретить слова из словаря в данном контексте на алгоритм, отбрасывающий и для этого штрафующий слова, не встречаемые в этих контекстах. Такую замену этой части алгоритма можно представить как переформулировку задачи в виде задачи классификации совместно встречаемых и не встречаемых слов в рамках окна контекста. И вычислить такую классификацию получается намного быстрее.

Оказалось, что включение в расчеты невстречаемых слов (достаточно 5–20 слов на каждом шаге) дает существенно удешевление вычислительных затрат по сравнению с вычислением точной вероятности вхождения всех слов словаря (вызов softmax()) на каждом шаге.

Получаемые на выходе векторные представления слов позволяют вычислять семантическое расстояние между словами и похожие по значению слова. Обычно приводят пример с королём и королевой:

королева → ≈ король → − мужчинa → + женщинa → {\displaystyle {\overrightarrow {\text{королева}}}\approx {\overrightarrow {\text{король}}}-{\overrightarrow {\text{мужчинa}}}+{\overrightarrow {\text{женщинa}}}}

Word2vec выполняет прогнозирование на основании контекстной близости этих слов. Так как алгоритм основан на обучении простой нейронной сети, то чтобы добиться его наиболее эффективной работы, необходимо использовать большие корпусы для его обучения. Это позволяет повысить качество предсказаний.

В 2010 году Томаш Миколов (на тот момент работавший в Брненском техническом университете) вместе с соавторами применил простую рекуррентную нейронную сеть с одним скрытым слоем для языкового моделирования.^[6]

Алгоритм Word2vec был разработан, запатентован^[7] и опубликован в 2013 году группой исследователей под руководством Миколова в Google в двух научных статьях. Первоначальная статья была отклонена рецензентами конференции ICLR в 2013 году. Также потребовались месяцы, чтобы код получил одобрение на публикацию с открытым исходным кодом. Позднее другие исследователи проанализировали и объяснили алгоритм.^[8]

Векторы вложений, создаваемые с использованием алгоритма Word2vec, имеют преимущества по сравнению с ранними подходами, такими как n-граммы и латентно-семантический анализ.

Алгоритм GloVe, разработанный командой из Стэнфорда, был создан как конкурент Word2vec. В оригинальной статье о GloVe были указаны улучшения по сравнению с Word2vec.^[9] Однако Миколов утверждал, что сравнение было некорректным, так как GloVe обучался на большем объёме данных. Он также отметил, что проект fastText демонстрирует превосходство Word2vec при обучении на одинаковых данных.^[10]

По состоянию на 2025 год подход Word2vec считается устаревшим для большинства задач. Однако он продолжает использоваться в нишевых приложениях, где требуется высокая вычислительная эффективность или ограниченные ресурсы. Например, Word2vec используется для обработки текстов на редких языках и для задач с небольшими объёмами данных, где современные трансформерные модели оказываются слишком ресурсозатратными.

Модели на основе трансформеров, такие как ELMo, BERT, GPT и другие, стали стандартом в обработке естественного языка (NLP). Они превосходят Word2vec по многим метрикам, добавляя несколько слоёв внимания и позволяя учитывать контекст на уровне всего текста. Тем не менее, развитие Word2vec и подобных алгоритмов продолжается: появляются модификации, ориентированные на специфические задачи, такие как мультиязыковая обработка или интеграция с квантовыми вычислениями.

Современные исследования продолжают изучать взаимосвязь между традиционными методами, такими как Word2vec, и новыми архитектурами. Это позволяет находить компромиссы между точностью, скоростью работы и вычислительными затратами, что особенно важно для практического применения.

• Дистрибутивная семантика
• Векторное представление слов

• Mikolov T., Chen K., Corrado G., Dean J. Efficient Estimation of Word Representations in Vector Space // In Proceedings of Workshop at ICLR. — 2013a.
• Mikolov T., Yih W.-T., Zweig G. Linguistic Regularities in Continuous Space Word Representations // In Proceedings of NAACL HLT. — 2013b.
• Bengio Y., Ducharme R., Vincent P. A neural probabilistic language model // In Journal of Machine Learning Research. — 2003.
• Collobert R., Weston J. A unified architecture for natural language processing: Deep neural networks with multitask learning // In Proceedings of the 25th ICML. — 2008.

• https://code.google.com/archive/p/word2vec/
• RusVectōrēs — пример применения к русскому языку

Реализации на разных языках программирования

• C
• C++
• Java/Scala
• Python
• Python