Was ist eine Aktivierungsfunktion?

Aktivierungsfunktionen spielen in Deep-Learning-Modellen eine entscheidende Rolle. Sie sind die mathematischen Funktionen, die die Eingangssignale eines Neurons in seine Ausgangssignale umwandeln. Ohne Aktivierungsfunktionen wären Deep-Learning-Modelle nicht in der Lage, die komplexen und nichtlinearen Muster zu lernen, die in realen Daten vorhanden sind.

In diesem Artikel werden wir untersuchen, was Aktivierungsfunktionen sind, wie sie funktionieren und warum sie in Deep-Learning-Modellen wichtig sind.

Was ist eine Aktivierungsfunktion?

Die Aktivierungsfunktion befindet sich in den Neuronen eines neuronalen Netzwerks und wird auf die gewichtete Summe der Eingabewerte des Neurons angewendet. Da die Aktivierungsfunktion nichtlinear ist, kann das Perzeptron auch nichtlineare Korrelationen erlernen.

Dadurch erhalten die neuronalen Netze die Eigenschaft, komplexe Zusammenhänge zu lernen und abzubilden. Ohne die nichtlineare Funktion könnten nur lineare Abhängigkeiten zwischen den gewichteten Eingabewerten und den Ausgabewerten erzeugt werden. Dann könnte man aber auch eine lineare Regression verwenden. Die Vorgänge innerhalb eines Perceptrons werden im Folgenden kurz beschrieben.

Das Perzeptron hat mehrere Eingänge, an denen es numerische Informationen, d.h. Zahlenwerte, erhält. Je nach Anwendung kann die Anzahl der Eingänge unterschiedlich sein. Die Eingänge haben unterschiedliche Gewichte, die angeben, wie einflussreich die Eingänge auf die letztendliche Ausgabe sind. Während des Lernprozesses werden die Gewichte geändert, um die bestmöglichen Ergebnisse zu erzielen.

Aufbau eines Perceptrons — Struktur eines Perceptrons | Quelle: Autor

Das Neuron selbst bildet dann die Summe der Eingangswerte multipliziert mit den Gewichten der Eingänge. Diese gewichtete Summe wird an die sogenannte Aktivierungsfunktion weitergegeben. In der einfachsten Form eines Neurons gibt es genau zwei Ausgänge, so dass nur binäre Ausgänge vorhergesagt werden können, zum Beispiel “Ja” oder “Nein” oder “Aktiv” oder “Inaktiv” usw.

Wenn das Neuron binäre Ausgabewerte hat, wird eine Aktivierungsfunktion verwendet, deren Werte ebenfalls zwischen 0 und 1 liegen. Die Ausgabewerte ergeben sich also direkt aus der Verwendung der Funktion.

Wie funktionieren Aktivierungsfunktionen?

Aktivierungsfunktionen führen Nichtlinearität in das neuronale Netz ein und ermöglichen es ihm, komplexe Muster in den Daten zu lernen. Dies ist wichtig, da reale Daten selten linear trennbar sind. Mit anderen Worten, es gibt normalerweise keine geraden Linien, die die verschiedenen Klassen in den Daten trennen können. Mit Hilfe von Aktivierungsfunktionen kann das neuronale Netz nicht-lineare Entscheidungsgrenzen lernen, die die verschiedenen Klassen voneinander trennen können.

Aktivierungsfunktionen helfen auch dabei, das Problem des verschwindenden Gradienten zu lösen, das in tiefen neuronalen Netzen auftreten kann. Das Problem des verschwindenden Gradienten tritt auf, wenn die Gradienten bei der Ausbreitung durch das Netz sehr klein werden, so dass es schwierig wird, die Gewichte der früheren Schichten zu aktualisieren. Die ReLU-Funktion zum Beispiel hilft, dieses Problem zu lösen, indem sie alle negativen Werte auf 0 abbildet, wodurch sichergestellt wird, dass die Gradienten nicht zu klein sind.

Warum sind Aktivierungsfunktionen wichtig?

Aktivierungsfunktionen sind in Deep-Learning-Modellen wichtig, weil sie es dem neuronalen Netz ermöglichen, komplexe und nicht lineare Muster in den Daten zu lernen. Ohne Aktivierungsfunktionen wären neuronale Netze darauf beschränkt, nur lineare Muster zu lernen, die für reale Probleme oft unzureichend sind.

Aktivierungsfunktionen helfen auch dabei, das Problem des verschwindenden Gradienten zu lösen, das in tiefen neuronalen Netzen auftreten kann. Indem sie Nichtlinearität in das Netz einführen und negative Werte auf 0 abbilden, stellen Aktivierungsfunktionen sicher, dass die Gradienten nicht zu klein werden, wenn sie durch das Netz propagiert werden.

Was sind die am häufigsten verwendeten Aktivierungsfunktionen?

Mehrere Aktivierungsfunktionen werden häufig in Deep-Learning-Modellen verwendet. In den folgenden Abschnitten stellen wir die am häufigsten verwendeten vor.

Binary Step Function

Die binäre Stufenfunktion ist die einfachste Art der Aktivierungsfunktion. Es handelt sich um eine Schwellenwertfunktion, die eine Eingabe annimmt und eine binäre Ausgabe von entweder 0 oder 1 zurückgibt. Die binäre Schrittfunktion ist wie folgt definiert:

Wenn die Eingabe kleiner als Null ist, gibt die Funktion den Wert 0 zurück.
Wenn die Eingabe größer oder gleich Null ist, gibt die Funktion den Wert 1 zurück.

Die binäre Schrittfunktion ist nützlich für binäre Klassifizierungsprobleme, bei denen die Ausgabe entweder 0 oder 1 sein muss. Sie wird jedoch in komplexeren neuronalen Netzwerkmodellen nicht häufig verwendet, da sie mehrere Einschränkungen aufweist, u. a.:

Sie ist nicht kontinuierlich, was ihre Verwendung in gradientenbasierten Optimierungsalgorithmen erschwert.

Sie ist nicht differenzierbar, was bedeutet, dass sie nicht mit Backpropagation, einem beliebten Optimierungsalgorithmus für neuronale Netze, verwendet werden kann.
Sie kann nur zwei Werte ausgeben, was ihre Nützlichkeit bei komplexeren Klassifizierungsproblemen mit mehreren Klassen einschränkt.

Trotz dieser Einschränkungen kann die binäre Stufenfunktion in bestimmten Situationen immer noch nützlich sein, insbesondere in den frühen Phasen der Modellentwicklung, wenn eine einfache und interpretierbare Aktivierungsfunktion gewünscht wird.

Softmax Function

Softmax ist eine mathematische Funktion, die einen Vektor als Eingabe nimmt und seine einzelnen Werte in Abhängigkeit von ihrer Größe in Wahrscheinlichkeiten umwandelt. Ein hoher numerischer Wert führt zu einer hohen Wahrscheinlichkeit im resultierenden Vektor.

In Worten: Jeder Wert des Vektors wird durch die Summe aller Werte des Ausgangsvektors geteilt und im neuen Vektor gespeichert. Rein mathematisch sieht diese Formel dann wie folgt aus:

\(\) \[\sigma (x)_{j} = \frac{e^{z_{j}}}{\sum_{k=1}^{K} e^{z_{k}}} \text{for } j = 1, …, K.\]

Anhand eines konkreten Beispiels wird die Funktionsweise der Softmax-Funktion deutlicher:

\(\) \[\begin{pmatrix}1 \\ 2 \\3 \end{pmatrix} \underrightarrow{Softmax} \begin{pmatrix}\frac{1}{1 + 2 + 3} \\ \frac{2}{1 + 2 + 3} \\ \frac{3}{1 + 2 + 3} \end{pmatrix} = \begin{pmatrix} 0.166 \\ 0.33 \\ 0.5 \end{pmatrix} \]

Die positive Eigenschaft dieser Funktion ist, dass sie sicherstellt, dass die Summe der Ausgabewerte immer kleiner oder gleich 1 ist. Dies ist vor allem bei der Wahrscheinlichkeitsberechnung sehr vorteilhaft, da gewährleistet ist, dass keine addierte Wahrscheinlichkeit größer als 1 ausfallen kann.

ReLU Function

Die Rectified Linear Unit (kurz ReLU) ist eine lineare Aktivierungsfunktion, die eingeführt wurde, um das Problem des verschwindenden Gradienten zu lösen, und die in den letzten Jahren in Anwendungen immer beliebter geworden ist. Kurz gesagt, sie behält positive Werte bei und setzt negative Eingangswerte gleich Null. Mathematisch wird dies durch den folgenden Term ausgedrückt:

\(\) \[ f(x) = \begin{cases}
x & \text{if x ≥ 0}\\
0 & \text{if x < 0}
\end{cases} \]

Die ReLU-Aktivierungsfunktion hat sich vor allem wegen der folgenden Vorteile durchgesetzt:

Einfache Berechnung: Im Vergleich zu den anderen Optionen ist die ReLU-Funktion sehr einfach zu berechnen und spart somit viel Rechenleistung, insbesondere bei großen Netzen. Dies schlägt sich entweder in geringeren Kosten oder in einer geringeren Trainingszeit nieder.
Kein Problem des verschwindenden Gradienten: Aufgrund der linearen Struktur gibt es keine asymptotischen Punkte, die parallel zur x-Achse liegen. Infolgedessen ist der Gradient nicht verschwindend und der Fehler geht selbst bei großen Netzen durch alle Schichten. Dies stellt sicher, dass das Netz tatsächlich Strukturen lernt und beschleunigt den Lernprozess erheblich.
Bessere Ergebnisse für neue Modellarchitekturen: Im Vergleich zu den anderen Aktivierungsfunktionen kann ReLU Werte gleich Null setzen, nämlich sobald sie negativ sind. Im Gegensatz dazu nähern sich die Werte bei den Funktionen Sigmoid, Softmax und Tanh nur asymptotisch der Null, werden aber nie gleich Null. Dies führt jedoch bei neueren Modellen, wie z. B. Autoencodern bei der Erstellung von Deep Fakes, zu Problemen, da in der so genannten Codeschicht echte Nullen benötigt werden, um gute Ergebnisse zu erzielen.

Allerdings gibt es auch bei dieser einfachen Aktivierungsfunktion Probleme. Da negative Werte konsequent gleich Null gesetzt werden, kann es passieren, dass einzelne Neuronen ebenfalls eine Gewichtung gleich Null haben, da sie keinen Beitrag zum Lernprozess leisten und somit “absterben”. Für einzelne Neuronen mag das zunächst kein Problem sein, aber es hat sich gezeigt, dass in manchen Fällen sogar 20 – 50 % der Neuronen aufgrund von ReLU “absterben” können.

Was sind die Merkmale einer Aktivierungsfunktion?

Aktivierungsfunktionen sind ein wesentlicher Bestandteil von künstlichen neuronalen Netzen. Sie werden verwendet, um Nichtlinearität in die Ausgabe des Modells einzuführen, wodurch es komplexe Beziehungen in den Daten lernen kann. Hier sind einige wichtige Merkmale von Aktivierungsfunktionen:

Nicht-Linearität: Aktivierungsfunktionen sind von Natur aus nichtlinear. Diese Nichtlinearität ist entscheidend dafür, dass neuronale Netze lernen und nichtlineare Beziehungen in Daten modellieren können.
Bereich: Der Wertebereich, den eine Funktion erzeugen kann, ist ein wesentlicher Gesichtspunkt bei der Auswahl einer Funktion für ein neuronales Netz. Die Ausgabe der Funktion muss innerhalb eines bestimmten Bereichs begrenzt sein, um die Stabilität des neuronalen Netzes zu gewährleisten.
Differenzierbarkeit: Die Differenzierbarkeit ist eine entscheidende Eigenschaft von Aktivierungsfunktionen. Sie ermöglicht die Verwendung von Backpropagation, der wichtigsten Methode zum Trainieren neuronaler Netze.
Monotonie: Monotonie bezieht sich auf die Richtung der Steigung der Aktivierungsfunktion. Eine monoton steigende Funktion erzeugt immer steigende Ausgaben, während eine monoton fallende Funktion immer fallende Ausgaben erzeugt.
Kontinuität: Diese Funktionen müssen kontinuierlich sein, um sicherzustellen, dass kleine Änderungen der Eingabedaten zu kleinen Änderungen der Ausgabe führen. Diese Kontinuität ist für die Stabilität des neuronalen Netzes unerlässlich.
Berechnungseffizienz: Die Berechnungseffizienz einer Aktivierungsfunktion ist ebenfalls wichtig. Sie sollte schnell berechnet werden können, um sicherzustellen, dass das neuronale Netz in angemessener Zeit trainieren und Vorhersagen treffen kann.

Insgesamt spielen diese speziellen Funktionen eine entscheidende Rolle für die Leistung neuronaler Netze, und die Auswahl der geeigneten Funktion für eine bestimmte Aufgabe ist eine wesentliche Überlegung.

Das solltest Du mitnehmen

Aktivierungsfunktionen sind nichtlineare mathematische Funktionen, die auf die Eingabe eines Neurons angewendet werden, um dessen Ausgabe in einem Deep-Learning-Modell zu erzeugen.
Sie sind wichtig, weil sie es dem neuronalen Netz ermöglichen, komplexe und nicht lineare Muster in den Daten zu lernen und das Problem des verschwindenden Gradienten zu lösen.
Zu den häufig verwendeten Aktivierungsfunktionen gehören die Sigmoid-Funktion, die ReLU-Funktion, die tanh-Funktion und die Softmax-Funktion.
Die Wahl der Aktivierungsfunktion hängt von der spezifischen Problemstellung und der Art der Daten ab.
Aktivierungsfunktionen sind eine entscheidende Komponente von Deep-Learning-Modellen und für die Erzielung einer hohen Genauigkeit bei komplexen Aufgaben unerlässlich.