Was ist Word2Vec?

Word2Vec ist ein Algorithmus, der im Bereich der natürlichen Sprachverarbeitung genutzt wird, um Wörter in numerische Werte umzuwandeln. Dabei wird versucht, dass die semantische Bedeutung und der Inhalt der Wörter weiterhin in dem Vektor erfasst bleibt, sodass der Kontext des Paragraphen erhalten bleibt. Die Idee dahinter basiert auf der Grundlage, dass Worte, die in ähnlichen Kontexten verwendet werden, auch eine gemeinsame Bedeutung teilen.

Was ist Word Embedding?

Das Word Embedding umschreibt verschiedene Methoden, die in der Verarbeitung natürlicher Sprache (NLP) genutzt werden, um Worte in numerische Vektoren umzuwandeln, die von Computern einfacher verarbeitet werden können. Das Ziel besteht darin, dass die numerische Repräsentation immer noch wesentliche Informationen über das Wort, den Kontext und die Bedeutung enthält. Diese sogenannten Worteinbettungen (englisch: Word Embeddings) sind ein wichtiger Ausgangspunkt für das Training von Sentiment Analysen, die maschinelle Übersetzung oder die Erkennung von Entitäten in Texten, wie beispielsweise Orts- oder Zeitangaben.

Der einfachste Ansatz für ein Word Embedding ist das sogenannte One-Hot Encoding. Dabei wird die Anzahl der einzigartigen Wörter in einem Text gezählt und anschließend ein Vektor mit dieser Anzahl von Nullen gefüllt. Ein Wort wird dann durch den Vektor repräsentiert, der an der Stelle des Wortes in der Reihenfolge eine eins und keine Null hat. Jedoch ist dies eine sehr primitive Umsetzung, die mit einigen Problemen zu kämpfen hat. Zum einen wird die Dimensionalität des Vektors schnell sehr hoch und es lassen sich auch keine semantischen Beziehungen zwischen den Worten abbilden.

One Hot Encoding Example — Beispiel für One-Hot-Encoding | Quelle: Autor

Andere Methoden im Word Embedding versuchen diese Einschränkungen zu umgehen, indem jedes Wort als niedrigdimensionaler Vektor mit kontinuierlichen und nicht binären Werten dargestellt wird. Dafür werden große Mengen an Textdaten und unterschiedliche Unsupervised Learning Algorithmen, wie zum Beispiel Word2Vec genutzt. Typischerweise haben die resultierenden Vektoren zwischen 50 und 300 Dimensionen und sind dadurch rechentechnisch effizient.

Die Word Embeddings sind ein zentraler Bestandteil bei der Arbeit mit natürlicher Sprache. In diesem Bereich wurde in den letzten Jahren viel Forschung betrieben, weshalb es auch bereits viele vortrainierte Modelle gibt, die direkt für verschiedene Sprachen genutzt werden können.

Word2Vec ist eine weit verbreitete Methode aus dem Bereich des Word Embeddings, die immer mehr an Bedeutung gewinnt und bereits 2013 von Google-Forschern entwickelt wurde. Es ermöglicht die Erstellung von Wortvektoren, die semantische Bedeutung und den Inhalt in numerische Werte umwandelt, welche dann in anderen Machine Learning Modellen als Input genutzt werden können.

Das Word2Vec basiert auf der Idee, dass Wörter eine ähnliche Bedeutung haben, wenn sie in ähnlichen Kontexten genutzt werden. Diese Ähnlichkeit muss anschließend mit entsprechend ähnlichen Vektoren abgebildet werden können, um eine hochdimensionale Vektordarstellung bilden zu können.

Wie funktioniert Word2Vec?

Der Word2Vec Ansatz nutzt eine flache neuronale Netzwerarchitektur, um die Word Embeddings zu erlernen. Die Eingabeschicht greift auf die One-Hot Vektoren der Wörter im gesamten Wortschatz zurück. Diese Eingabe wird an die nächste Schicht, die Hidden Layer weitergeleitet, die aus einer großen Menge von Neuronen besteht. Diese sorgen für die hochdimensionale Vektordarstellung des Wortes, da jedes Neuron ein bestimmtes Ergebnis weitergibt, das einen Teil der Wortbedeutung enthält. Die Ausgabeschicht schließlich besteht aus einer weiteren Gruppe von Neuronen, deren Anzahl schlussendlich über die Dimensionalität des Vektors bestimmt. Diese Ausgabeschicht errechnet eine Wahrscheinlichkeitsverteilung über die Wörter des Vokabulars, um die sogenannten Kontextwörter vorherzusagen. Dies sind Wörter, die am wahrscheinlichsten im gleichen Kontext wie das Zielwort verwendet werden.

Word2Vec basiert meist auf einer von zwei Hauptarchitekturen: Continuous Bag of Words (CBOW) oder Skip-gram. Die Grundlage der CBOW-Architektur besteht darin, das Zielwort auf Basis der Kontextwörter vorherzusagen, währen die Skip-Gram Architektur versucht die Kontextwörter auf Grundlage des Zielworts vorherzusagen. In vielen NLP-Aufgaben schneidet jedoch die Skip-Gram Architektur besser ab, weshalb sie häufiger Anwendung findet als die CBOW-Architektur.

Wie funktionieren Continuous Bag of Words und Skip-gram?

Word2Vec ist eine beliebte Methode, um Wortvektoren zu trainieren, die als Input für Machine Learning Modelle genutzt werden können. Das Ziel hierbei ist es, die Bedeutung und den semantischen Kontext in dem das Wort auftaucht, bestmöglich in einen numerischen Wert umzuwandeln. Dieser Ansatz basiert dabei auf einem kleinen neuronalen Netzwerk mit einer Input-Layer, einer Hidden Layer und einer Output Layer. Die Gewichtungen in der Hidden Layer, die während dem Training erlernt werden, bilden später die Wortvektoren. Nun unterscheidet man zwei verschiedene Ansätze beim Training, nämlich den Continuous Bag of Words (CBOW) Ansatz und Skip-gram.

Bei CBOW wird das Modell trainiert, indem als Input immer eine gewisse Menge an sogenannten Kontextwörtern übergeben wird und das Ziel des Modells ist es, das Zielwort daraus abzuleiten. Dabei werden Sätze aus dem Text entnommen und ein Zielwort bestimmt. Anschließend werden die umliegenden Worte um das Zielwort herum, die sogenannten Kontextwörter, als Input an das Modell gegeben, das nun das entsprechende Zielwort vorhersagen soll. Die Output Layer hat genau wie die Input Layer die Anzahl aller einzigartigen Wörter als Neuronenanzahl, sodass wieder ein One-Hot Encoded Vector entsteht. Nach dem Training wird die Hidden Layer, die sogenannte Embedding Layer genutzt, um Wortvektoren zu produzieren.

Der Aufbau für den Skip-Gram Ansatz ist erstmal ähnlich. Zu jedem Zielwort werden die umliegenden Kontextwörter gebildet. Dabei ist die Anzahl der betrachteten Wörter um das Zielwort herum frei wählbar. Der grundlegende Aufbau ähnelt auch dem des CBOW Ansatzes mit dem Unterschied, dass nicht die Kontextwörter als Input dienen, sondern das Zielwort. Das Modell wird anschließend darauf trainiert anhand des Zielwortes die umliegenden Kontextwörter vorherzusagen. Nach dem Training dient die einzelne Hidden Layer wieder als Ausgangspunkt, um die Wortvektoren zu erstellen.

Dies sind die beiden häufigsten genutzten Ansätze für Word2Vec und haben jeweils ihre Stärken und Schwächen.

Was sind die Anwendungen von Word2Vec?

Word2Vec ist eine grundlegende Technik im Bereich der natürlichen Sprachverarbeitung und dient als Vorverarbeitumgsschritt für diverse Anwendungen. Die darauf trainierten Modelle können zum Beispiel für folgendes verwendet werden:

Machine Translation, also das automatisierte Übersetzung von einem Text in eine andere Sprache.
Chatbots bezeichnet eine Schnittstelle für eine automatisierte Kommunikation zwischen einem Menschen und einer Maschine. Dabei muss auf die inhaltlichen Fragestellungen des Menschen eingegangen werden können.
Text Summarization werden genutzt, um große Textmengen schneller durchforsten zu können, indem lediglich eine geeignete Zusammenfassung gelesen wird. Neueste Modelle, wie beispielsweise GPT-3, können dabei auch verschiedene Zusammenfassungen mit unterschiedlichen Schwierigkeitsleveln erstellen.
Stimmungsanalyse: Die generierten Wortvektoren können genutzt werden, um Stimmungsanalysen zu trainieren, die klassifizieren, ob ein Text mit einer positiven oder negativen Stimmung geschrieben wurde. Dies ist beispielsweise bei der Klassifizierung von Kundenbewertungen oder Social Media Kommentaren wichtig.

Insgesamt bildet Word2Vec den entscheidenden Grundbaustein für viele Modelle im Bereich des Natural Language Processing. Die Fortschritte in diesem Bereich haben manche Errungenschaften im NLP erst möglich gemacht.

Was sind die Einschränkungen und Herausforderungen bei der Verwendung von Word2Vec?

Trotz der großen Beliebtheit und Anwendungsvielfalt von Word2Vec gibt es einige Herausforderungen und Einschränkungen, die bei der Nutzung beachtet werden sollten:

Nicht im Wortschatz enthaltene Wörter (OOV): Das Word2Vec Verfahren kann zu ungenauen Vorhersagen bei der Arbeit mit seltenen Wörtern führen, die nicht Teil des ursprünglichen Datensatzes waren. Dadurch kann die Leistung der Modelle und deren Vorhersage beeinträchtigt werden.
Mehrdeutigkeit von Wörtern: Jedes Wort kann lediglich eine Einbettung, also einen Wortvektor erhalten, was bei Wörtern mit mehreren Bedeutungen zu Unschärfe führen kann. Abhängig vom Kontext verändert sich die Bedeutung des Wortes, was in einem einzelnen Vektor nicht ausreichend berücksichtigt werden kann.
Kontextuelles Verständnis: Word2Vec nutzt zwar Mechaniken um die syntaktischen und semantischen Beziehungen zwischen Wörtern ausreichend zu erfassen, jedoch kann es trotzdem zu Problemen kommen, ein ausreichend kontextuelles Verständnis zu erreichen. Die einbezogenen Kontextwörter sind oft nicht umfassend genug gewählt, um den vollen Kontext des Textes abbilden zu können.
Verzerrungen in den Trainingsdaten: Beim Training von Word2Vec sollte darauf geachtet werden, die Trainingsdaten ausreichend vorzubereiten, um Stereotypen und andere Gesinnungen nicht in das Training mit einzubeziehen. Ansonsten erlernt das Modell diese Verzerrungen mit.
Rechnerische Ressourcen: Bei großen Datensätzen mit vielen verschiedenen Worten, kann das Training eines Word2Vec Modells sehr rechenintensiv sein, wodurch die Anwendbarkeit stark eingeschränkt wird.

Abschließend ist Word2Vec ist leistungsfähiges Tool bei der Arbeit mit natürlicher Sprache, jedoch ist es wichtig, diese Grenzen und Herausforderungen zu kennen und bei der Auswahl einer Trainingsmethode mit zu beachten.

Wie schneidet Word2Vec im Vergleich zu anderen Word Embedding Methoden ab?

Word2Vec ist nicht die einzige verbreitete Worteinbettungstechnik. Im Laufe der Zeit haben sich auch andere, leistungsstarke Methoden entwickelt, von denen ein paar in diesem Abschnitt vorgestellt werden:

GloVe (Global Vectors): Dieses Verfahren basiert auf der Grundidee von Word2Vec, unterscheidet sich jedoch darin, die semantischen Beziehungen zwischen den Wörtern mithilfe einer Co-Occurrence Matrix abzubilden.
FastText: Hierbei handelt es sich um eine Erweiterung von Word2Vec, die sich dadurch auszeichnet, dass nicht komplette Wörter betrachtet werden, sondern sogenannte n-Grams, also Unterworteinheiten, wie Silben oder Wortstämme.
ELMo (Embeddings from Language Models): Bei dieser Methode wird eine bidirektionales LSTM Netzwerk zur Erzeugung von Worteinbettungen genutzt. Dadurch lassen sich längere Kontexte in der Sprache berücksichtigen.
BERT (Bidirektionale Encoder-Darstellungen aus Transformatoren): In den letzten Jahren hat sich die transformerbasierte Architektur immer mehr durchgesetzt und wird auch für Worteinbettungen verwendet. Dabei wird ein tieferes kontextuelles Verständnis gebildet, das auf der Verwendung von sogenannten Attentionlayer beruht.

Trotz dieser konkurrierenden Methoden ist Word2Vec weiterhin ein beliebtes Verfahren, das durch seine Einfachheit und Effektivität besticht.

Das solltest Du mitnehmen

Word2Vec ist eine weit verbreitete Methode im Bereich der natürlichen Sprachverarbeitung, das eine Vektordarstellung von Wörtern ermöglicht.
Dabei werden kontextuelle und semantische Beziehungen zwischen Wörtern weitestgehend erhalten und fließen in die numerische Umwandlung mit ein.
Es hat sich gezeigt, dass Word2Vec traditionelle Ansätze, wie beispielsweise Bag-of-Words, schlagen kann und ist auch deshalb zu einem beliebten Standardwerkzeug geworden.
Jedoch hat Word2Vec auch einige Grenzen, wie beispielsweise der Umgang mit seltenen Wörtern oder das Erfassen von langen Zusammenhängen.