Im Bereich des maschinellen Lernens ist die Optimierung der Eckpfeiler der Modellschulung. Ein solcher Optimierungsalgorithmus, der an Bekanntheit gewonnen hat, ist Adagrad. Adagrad, die Abkürzung für Adaptive Gradient Descent, bietet einen dynamischen Ansatz für Lernraten und ist damit ein leistungsstarkes Tool für das Training von Deep-Learning-Modellen. In diesem Artikel untersuchen wir die Funktionsweise von Adagrad, seine Vorteile und wie es die Landschaft des maschinellen Lernens verändert.

Was sind Optimierungsalgorithmen?

Im sich ständig weiterentwickelnden Bereich des maschinellen Lernens ist das Streben nach der Erstellung genauer und effizienter Modelle ein zentrales Ziel. Der Weg zur Perfektion des Modells führt oft über komplizierte mathematische Prozesse, und eine entscheidende Komponente auf diesem Weg ist die Optimierung. Optimierungsalgorithmen sind die Motoren, die das Training von Modellen des maschinellen Lernens vorantreiben und sicherstellen, dass sich diese Modelle anpassen, verbessern und schließlich die gewünschten Ergebnisse liefern.

Die Optimierung ist im Zusammenhang mit dem maschinellen Lernen aus mehreren Gründen von entscheidender Bedeutung:

• Modelltraining: Das Herzstück eines jeden Modells für maschinelles Lernen ist die Notwendigkeit, seine Parameter an die Daten anzupassen. Optimierungsalgorithmen übernehmen diese Herkulesaufgabe, indem sie den idealen Satz von Modellparametern finden, der eine bestimmte Kosten- oder Verlustfunktion minimiert.
• Konvergenz: Ohne Optimierung wäre das Modelltraining ein chaotischer und zielloser Prozess. Optimierungsalgorithmen sorgen für Ordnung und Struktur, indem sie die Modellparameter in Richtung Konvergenz lenken, bei der der Verlust minimiert wird und das Modell eine optimale Leistung erbringt.
• Effizienz: Bei der Optimierung geht es um Effizienz. Es geht darum, die besten Ergebnisse mit dem geringsten Aufwand zu erzielen, sei es in Form von Rechenressourcen, Zeit oder Daten. Ein effizienter Optimierungsalgorithmus kann den Modellbildungsprozess erheblich beschleunigen.
• Verallgemeinerung: Modelle für maschinelles Lernen sollen nicht nur für die Trainingsdaten, sondern auch für ungesehene, reale Daten genaue Vorhersagen machen. Ein gut optimiertes Modell ist eher in der Lage, effektiv zu verallgemeinern und genaue Vorhersagen für neue Daten zu treffen.
• Komplexitätsmanagement: Viele Modelle für maschinelles Lernen sind hochkomplex und weisen eine große Anzahl von Parametern auf. Die Optimierung ist der Kompass, der durch diese Komplexität navigiert und sicherstellt, dass das Modell seine beste Konfiguration erreicht, ohne sich in der verworrenen Landschaft der Parameter zu verlieren.
• Abstimmung der Hyperparameter: Neben den Parametern des Modells gibt es Hyperparameter, die einer Feinabstimmung bedürfen. Optimierungsalgorithmen erweitern ihren Nutzen auf die Optimierung von Hyperparametern und ermöglichen es Datenwissenschaftlern, die Architektur und die Einstellungen des Modells für eine maximale Leistung fein abzustimmen.

Zusammenfassend lässt sich sagen, dass Optimierungsalgorithmen beim maschinellen Lernen die Grundlage für ein effektives Modelltraining bilden. Sie spielen eine grundlegende Rolle für die Konvergenz, die Effizienz, die Generalisierung und den Erfolg von Modellen für maschinelles Lernen. Um tiefer in die Welt der Optimierungsalgorithmen einzutauchen, werden wir uns mit dem Konzept von Adagrad beschäftigen, einem bemerkenswerten Algorithmus, der die Lernraten anpasst und den Weg für effizientes Modelltraining ebnet.

Warum brauchen wir adaptive Lernraten?

Die Entwicklung adaptiver Lernraten, wie sie von Algorithmen wie Adagrad veranschaulicht werden, geht auf die Notwendigkeit zurück, einige der Einschränkungen und Herausforderungen zu überwinden, die mit festen Lernraten in Optimierungsalgorithmen verbunden sind. Das Verständnis dieser Motivation ist der Schlüssel zum Verständnis der Bedeutung adaptiver Lernraten beim maschinellen Lernen:

Herausforderungen bei festen Lernraten:

• Auswahl der Lernrate: Feste Lernraten erfordern eine manuelle Abstimmung, ein Prozess, der oft arbeitsintensiv und zeitaufwändig ist. Die Wahl der richtigen Lernrate kann eine Versuch-und-Irrtum-Aufgabe sein, und eine ungeeignete Wahl kann zu Problemen wie langsamer Konvergenz oder Divergenz führen.
• Empfindlichkeit gegenüber Hyperparametern: Feste Lernraten sind empfindlich gegenüber der Wahl von Hyperparametern. Kleine Lernraten können zu einer langsamen Konvergenz führen, während große Lernraten zu einem Überschießen der optimalen Parameterwerte und zu Oszillationen führen können.
• Sich ändernde Datenmerkmale: In realen Szenarien des maschinellen Lernens können sich die Dateneigenschaften im Laufe der Zeit ändern. Feste Lernraten sind nicht in der Lage, sich an solche Veränderungen anzupassen. Wenn sich beispielsweise die Skala der Eingangsmerkmale ändert, kann eine feste Lernrate unzureichend werden.
• Dünne Daten: Feste Lernraten können für spärliche Daten, bei denen einige Merkmale viel häufiger vorkommen als andere, schlecht geeignet sein. In solchen Fällen kann eine globale Lernrate die Gradienten nicht angemessen erfassen, was zu einer langsamen Konvergenz führt.
• Unterschiedliche Gradienten: Bei der Optimierung haben nicht alle Parameter den gleichen Einfluss auf die Verlustfunktion. Einige Parameter können größere Gradienten haben, was darauf hindeutet, dass sie kleinere Lernraten für die Stabilität benötigen, während andere kleinere Gradienten haben können, was darauf hindeutet, dass sie größere Lernraten benötigen, um sinnvolle Aktualisierungen durchzuführen.

Die Rolle der adaptiven Lernraten:

Adaptive Lernratenalgorithmen wie Adagrad wurden entwickelt, um diese Herausforderungen zu meistern, indem sie die Lernraten für jeden Parameter während des Trainingsprozesses dynamisch anpassen. So gehen sie diese Probleme an:

• Automatische Anpassung: Adaptive Algorithmen passen die Lernraten automatisch auf der Grundlage der historischen Gradienteninformationen an. Parametern mit großen Gradienten werden kleinere Lernraten zugewiesen, um stabile Aktualisierungen zu gewährleisten, während Parameter mit kleineren Gradienten größere Lernraten erhalten, um die Konvergenz zu beschleunigen.
• Effizienz: Durch die adaptive Feinabstimmung der Lernraten verbessern diese Algorithmen die Trainingseffizienz. Sie verringern die Notwendigkeit der manuellen Abstimmung von Hyperparametern und machen die Modellschulung weniger mühsam und leichter zugänglich.
• Robustheit: Adaptive Lernraten verbessern die Robustheit von Optimierungsalgorithmen. Sie sind besser in der Lage, mit unterschiedlichen Datencharakteristika umzugehen, und es ist weniger wahrscheinlich, dass sie unter Problemen wie Divergenz oder zu langsamer Konvergenz leiden.
• Umgang mit spärlichen Daten: Adaptive Algorithmen gehen effektiver mit spärlichen Daten um, indem sie die Lernraten für einzelne Parameter anpassen. Dies ist besonders wertvoll bei der Verarbeitung natürlicher Sprache und bei Empfehlungssystemen, wo die Daten oft spärlich sind.

Zusammenfassend lässt sich sagen, dass die Motivation für die Entwicklung adaptiver Lernratenalgorithmen wie Adagrad in ihrer Fähigkeit liegt, die Grenzen fester Lernraten zu überwinden. Indem sie die Lernraten für jeden Parameter während des Trainings dynamisch anpassen, verbessern diese Algorithmen die Effizienz, Robustheit und Anpassungsfähigkeit, was sie zu wertvollen Werkzeugen bei der Optimierung von Modellen für maschinelles Lernen macht.

Was ist Adagrad?

Adagrad, kurz für Adaptive Gradient Descent, ist ein beliebter Optimierungsalgorithmus, der beim maschinellen Lernen und beim Deep Learning eingesetzt wird. Er zeichnet sich durch seine Anpassungsfähigkeit aus, indem er die Lernraten für jeden Parameter einzeln während des Trainingsprozesses festlegt. Diese Anpassungsfähigkeit macht ihn zu einem leistungsstarken Werkzeug für das effiziente Training von Modellen des maschinellen Lernens, da er sicherstellt, dass Modellparameter, die häufig große Gradienten erhalten, kleinere Lernraten zugewiesen bekommen, während diejenigen mit kleineren Gradienten größere Lernraten erhalten.

Das Kernprinzip von Adagrad besteht darin, die Lernrate auf der Grundlage der historischen Gradienteninformationen für jeden Parameter anzupassen. Diese Anpassungsfähigkeit ist ein deutlicher Unterschied zu traditionellen Optimierungsalgorithmen mit festen Lernraten. Die in Adagrad involvierten Schritte lassen sich wie folgt zusammenfassen:

• Initialisierung: Zunächst wird die Summe der quadrierten Gradienten für jeden Parameter auf Null initialisiert.
• Iterative Aktualisierungen: Bei der Iteration durch Trainingsmuster oder -stapel werden die Gradienten für jeden Parameter in Bezug auf die Verlustfunktion berechnet.
• Adaptive Lernraten: Für jeden Parameter passt Adagrad die Lernrate individuell an, basierend auf der akkumulierten Summe der Quadrate der vergangenen Gradienten. Die Lernrate für jeden Parameter ist umgekehrt proportional zur Quadratwurzel dieser Summe.
• Aktualisierung der Parameter: Jeder Parameter wird mit der angepassten Lernrate aktualisiert. Parameter, die seltener aktualisiert werden, haben größere Lernraten, was eine schnellere Konvergenz ermöglicht, während Parameter, die seltener aktualisiert werden, höhere Lernraten haben.
• Wiederholen: Setze diesen Prozess für eine vordefinierte Anzahl von Iterationen fort oder bis Konvergenz erreicht ist.

Die mathematische Formulierung von Adagrad kann wie folgt beschrieben werden:

Lasse η die globale Lernrate sein, normalerweise eine kleine Konstante. Die Aktualisierung für jeden Parameter θ in der Iteration t wird wie folgt berechnet:

\(\)\[\theta(t+1) = \theta(t) – \frac{η}{\sqrt{G(t) + \epsilon)) \cdot ∇L(\theta(t)}}\]

• θ(t+1) ist der aktualisierte Parameter.
• θ(t) ist der aktuelle Parameter.
• η ist die globale Lernrate.
• G(t) ist die Summe der quadrierten Gradienten für θ bis zur Iteration t.
• ε ist eine kleine Konstante (z.B. 1e-7), die zum Nenner hinzugefügt wird, um eine Division durch Null zu verhindern.
• ∇L(θ(t)) ist der Gradient der Verlustfunktion in Bezug auf θ bei Iteration t.

Adagrad bietet mehrere Vorteile gegenüber herkömmlichen Optimierungsalgorithmen wie stochastischem Gradientenabstieg (SGD) und RMSprop:

• Individuelle Lernraten: Adagrad passt die Lernraten für jeden Parameter individuell an und eignet sich daher gut für Modelle mit einer großen Bandbreite an Parametersensitivitäten.
• Umgang mit spärlichen Daten: Adagrad arbeitet effektiv mit spärlichen Daten, da es die Lernraten für die Parameter automatisch anpasst, selbst wenn einige von ihnen nur selten aktualisiert werden.
• Effiziente Konvergenz: Adagrad kann in vielen Fällen zu einer schnelleren Konvergenz führen, da es die Notwendigkeit einer manuellen Abstimmung der Lernraten reduziert.
• Begrenzter Speicherbedarf: Obwohl Adagrad eine historische Aufzeichnung der Gradienten führt, ist es im Vergleich zu einigen anderen adaptiven Methoden speichereffizient.
• Auto-Anpassung: Adagrad passt die Lernraten während des Trainings kontinuierlich an und ist damit weniger anfällig für Probleme wie Lernratenpläne in SGD.

Im Gegensatz zu RMSprop sind die historischen Gradienteninformationen von Adagrad nicht exponentiell gewichtet, was in manchen Situationen zu einer langsameren Konvergenz führen kann. Nichtsdestotrotz bleibt Adagrad aufgrund seiner Anpassungsfähigkeit und Effektivität in der Praxis eine wertvolle Wahl für verschiedene maschinelle Lernaufgaben.

Was sind die Vor- und Nachteile von Adagrad?

Adagrad ist ein Optimierungsalgorithmus, der für seine Anpassungsfähigkeit bei der Festlegung der Lernraten während der Modellschulung bekannt ist. Wie jeder Algorithmus hat auch dieser eine Reihe von Vor- und Nachteilen, die bei der Auswahl des richtigen Optimierungsansatzes für eine Aufgabe des maschinellen Lernens zu berücksichtigen sind.

Vorteile:

• Adaptive Lernraten: Der Hauptvorteil von Adagrad liegt in seiner adaptiven Natur. Es passt die Lernrate für jeden Modellparameter individuell an, basierend auf den historischen Gradienten, auf die es gestoßen ist. Durch diese Anpassungsfähigkeit eignet sich Adagrad sehr gut für die Optimierung von Modellen mit einer großen Bandbreite an Parameterempfindlichkeiten.
• Effiziente Konvergenz: Im Vergleich zu Optimierungsalgorithmen mit festen Lernraten führt Adagrad häufig zu einer schnelleren Konvergenz. Durch die Zuweisung kleinerer Lernraten für häufig aktualisierte Parameter und größerer Lernraten für weniger häufig aktualisierte Parameter kann der Lernprozess beschleunigt werden.
• Reduziert die Abstimmung der Hyperparameter: Adagrad reduziert den Bedarf an umfangreicher manueller Abstimmung von Hyperparametern, insbesondere von Lernraten. Datenwissenschaftler können sich auf die Anpassungsfähigkeit von Adagrad verlassen, um effektive Lernraten auszuwählen, was das Programm benutzerfreundlicher macht.
• Effektiv bei spärlichen Daten: In Szenarien mit spärlichen Daten, wie z.B. der Verarbeitung natürlicher Sprache und Empfehlungssystemen, glänzt Adagrad. Es kann die Lernraten für Parameter, die sowohl mit häufigen als auch mit seltenen Merkmalen verbunden sind, dynamisch anpassen und so ein effizientes Training gewährleisten.
• Stabile Konvergenz: Die Anpassungsfähigkeit von Adagrad fördert eine stabile Konvergenz. Sie hilft, Probleme wie Oszillationen, Überschwingen oder divergierendes Verhalten zu vermeiden, die mit festen Lernraten verbunden sein können.

Nachteile:

• Langsames Abklingen der Lernrate: Ein Nachteil von Adagrad ist das langsame Abklingen der Lernrate. Im Laufe der Zeit neigen die Lernraten dazu, langsam zu sinken, was dazu führen kann, dass sich das Training verlangsamt, wenn sich das Modell der Konvergenz nähert. Dies kann ein Nachteil sein, insbesondere wenn eine schnellere Konvergenz gewünscht ist.
• Speicherbedarf: Auch wenn Adagrad im Vergleich zu einigen adaptiven Algorithmen speichereffizienter ist, müssen dennoch historische Gradienten für jeden Parameter gespeichert werden. Bei Modellen mit einer großen Anzahl von Parametern kann diese Speicherung zu einem begrenzenden Faktor werden.
• Überempfindlichkeit gegenüber kleinen Gradienten: Die Anpassungsfähigkeit von Adagrad kann manchmal zu einer Überempfindlichkeit gegenüber kleinen Gradienten führen. Parameter mit kleinen Gradienten können übermäßig hohe Lernraten erhalten, was zu Instabilität und Oszillationen beim Training führt.
• Nicht universell optimal: Adagrad ist nicht immer die beste Wahl für jede Aufgabe des maschinellen Lernens. In Szenarien wie dem Training von tiefen neuronalen Netzen kann es Probleme geben und im Vergleich zu anderen Optimierungsalgorithmen wie Adam oder RMSprop eine langsamere Konvergenz aufweisen.
• Hyperparameter ε: Adagrad stützt sich auf eine kleine Konstante (ε), die zum Nenner hinzugefügt wird, um eine Division durch Null zu verhindern. Die Wahl von ε kann sich auf die Leistung des Algorithmus auswirken, und die Bestimmung des optimalen Werts ist nicht immer einfach.

Zusammenfassend lässt sich sagen, dass Adagrads Anpassungsfähigkeit und Effizienz bei der Handhabung parameterspezifischer Lernraten ihn zu einem wertvollen Optimierungsalgorithmus für verschiedene Aufgaben des maschinellen Lernens machen, insbesondere wenn es um spärliche Daten oder ein breites Spektrum von Parameterempfindlichkeiten geht. Die langsame Abklingzeit der Lernrate und die Empfindlichkeit gegenüber kleinen Gradienten sind jedoch Einschränkungen, die bei der Auswahl von Adagrad für eine bestimmte Anwendung sorgfältig bedacht werden müssen. Die Eignung von Adagrad sollte auf der Grundlage der Merkmale des jeweiligen maschinellen Lernproblems beurteilt werden.

Welche Hyperparameter werden bei Adagrad genutzt?

Wie viele Optimierungsalgorithmen stützt sich auch Adagrad auf eine Reihe von Hyperparametern, die sein Verhalten während des Modelltrainings beeinflussen. Zwei kritische Hyperparameter im Zusammenhang mit Adagrad sind die anfängliche Lernrate und Epsilon (ε), eine kleine Konstante, die zum Nenner hinzugefügt wird, um eine Division durch Null zu verhindern. Die richtige Einstellung dieser Hyperparameter ist entscheidend für die effektive und effiziente Funktionsweise von Adagrad.

1. Anfängliche Lernrate:

Die anfängliche Lernrate (oft als η bezeichnet) ist der Ausgangspunkt für die den einzelnen Parametern in Adagrad zugewiesenen Lernraten. Sie spielt eine wichtige Rolle bei der Bestimmung der anfänglichen Schrittgröße während des Optimierungsprozesses. Eine geeignete anfängliche Lernrate ermöglicht eine schnellere Konvergenz und stellt gleichzeitig sicher, dass der Trainingsprozess stabil bleibt.

Abstimmung der anfänglichen Lernrate:

• Faustformel: Eine gängige Praxis ist es, die anfängliche Lernrate auf einen kleinen Wert wie 0,01 oder 0,1 einzustellen. Mit einer kleinen Lernrate zu beginnen, ist im Allgemeinen eine sichere Wahl, da sie dem Algorithmus erlaubt, die Verlustfläche vorsichtig zu erkunden.
• Rastersuche und Kreuzvalidierung: Die Feinabstimmung der anfänglichen Lernrate kann mithilfe der Rastersuche in Kombination mit der Kreuzvalidierung erfolgen. Experimentiere mit einer Reihe von Werten und bewerte deren Auswirkungen auf die Leistung des Modells. Diese Methode hilft, die optimale anfängliche Lernrate für eine bestimmte Aufgabe zu finden.

2. Epsilon (ε):

Epsilon (ε) ist eine kleine Konstante, die bei der Berechnung der Lernrate zum Nenner hinzugefügt wird. Sie verhindert eine Division durch Null, die auftreten könnte, wenn die Summe der historischen Gradienten eines Parameters sehr klein ist. Eine Division durch eine kleine Zahl könnte zu übermäßig großen Lernraten führen, was eine Instabilität beim Training zur Folge hätte.

Abstimmung Epsilon (ε):

• Standardwert: Epsilon wird in der Regel auf einen kleinen Wert eingestellt, z. B. 1e-7 (0,0000001). Dieser Wert funktioniert in den meisten Fällen gut und hilft, die numerische Stabilität zu erhalten.

• Empfindlichkeitstests: Obwohl der Standardwert in der Regel ausreicht, kannst Du mit verschiedenen ε-Werten experimentieren, wenn Du Probleme mit der numerischen Stabilität feststellst. In der Praxis ist eine Anpassung von ε jedoch nur selten erforderlich.

Allgemeine Empfehlungen:

• Beginne mit Standardwerten: Es ist oft eine gute Praxis, mit den Standardwerten für die anfängliche Lernrate und ε zu beginnen, die von der Adagrad-Implementierung in Deinem maschinellen Lernsystem bereitgestellt werden.
• Überwache den Trainingsfortschritt: Während des Trainings ist es wichtig, die Verlust- und Lernraten zu überwachen, um sicherzustellen, dass der Algorithmus effizient konvergiert. Passe die Hyperparameter an, wenn Du eine langsame Konvergenz oder Instabilität feststellst.

Zusammenfassend lässt sich sagen, dass die Einstellung der Hyperparameter von Adagrad, insbesondere der anfänglichen Lernrate und des Epsilons, ein entscheidender Schritt zur Optimierung des Modelltrainings ist. Die Wahl dieser Hyperparameter sollte durch Experimente und die Berücksichtigung der spezifischen Merkmale der maschinellen Lernaufgabe geleitet werden. Die richtige Einstellung der Hyperparameter kann zu einer schnelleren Konvergenz, verbesserter Stabilität und optimaler Modellleistung führen.

Wie kann man Adagrad in Python implementieren?

Um Adagrad in Python für die Optimierung von Modellen für maschinelles Lernen zu implementieren, kannst Du die folgenden Schritte ausführen. In diesem Beispiel wird ein einfaches Gradientenabstiegsszenario verwendet, um die Implementierung von Adagrad zu demonstrieren. Für komplexere Modelle kannst Du Machine-Learning-Bibliotheken wie TensorFlow oder PyTorch verwenden, die integrierte Adagrad-Unterstützung bieten.

1. Importiere die benötigten Bibliotheken:

2. Definiere Dein Modell:

In diesem Beispiel werden wir eine einfache Kostenfunktion und Modellparameter verwenden, um Adagrad zu demonstrieren. Du kannst dies durch Dein tatsächliches maschinelles Lernmodell ersetzen.

3. Initialisiere die Hyperparameter:

Lege die anfängliche Lernrate und Epsilon (ε) fest.

4. Initialisiere die Variablen für Adagrad:

Erstelle Variablen, um die historische Summe der quadrierten Gradienten für jeden Parameter zu speichern.

5. Implementiere den Trainingsprozess:

Lasse die Trainingsschleife für eine bestimmte Anzahl von Iterationen laufen. Berechne in jeder Iteration den Gradienten der Kostenfunktion in Bezug auf die Parameter und aktualisiere die Parameter mit Adagrad.

6. Bewerte das Modell:

Nach dem Training kannst Du die Leistung Ihres Modells anhand geeigneter Metriken und Testdaten bewerten.

Dieses einfache Beispiel zeigt, wie man Adagrad in Python für ein einfaches Optimierungsproblem implementiert. Für komplexere Machine-Learning-Aufgaben würdest Du Adagrad in Dein gewähltes Machine-Learning-Framework wie TensorFlow oder PyTorch integrieren und es zur Optimierung von Deep-Learning-Modellen verwenden.

Das solltest Du mitnehmen

• Die Anpassungsfähigkeit von Adagrad bei der Einstellung individueller Lernraten für Modellparameter macht es zu einem leistungsstarken Optimierungsalgorithmus.
• Adagrad führt oft zu einer schnelleren Konvergenz, indem es die Lernraten dynamisch anpasst und so den Bedarf an manueller Abstimmung reduziert.
• Dank seiner Anpassungsfähigkeit eignet er sich hervorragend für Szenarien mit spärlichen Daten, wie z.B. die Verarbeitung natürlicher Sprache und Empfehlungssysteme.
• Adagrad fördert eine stabile Konvergenz und verhindert Probleme wie Oszillationen oder Überschwingen während des Trainings.
• Das langsame Abklingen der Lernrate und die Empfindlichkeit von Adagrad gegenüber kleinen Gradienten können Einschränkungen mit sich bringen, die sorgfältig bedacht werden müssen.
• Die richtige Einstellung der anfänglichen Lernraten und von Epsilon (ε) ist entscheidend für die Optimierung der Leistung von Adagrad.
• Die Wahl des Optimierungsalgorithmus, einschließlich Adagrad, sollte von den spezifischen Merkmalen der maschinellen Lernaufgabe abhängen.
• Adagrad bleibt ein wertvolles Werkzeug für die Optimierung von Modellen des maschinellen Lernens und bietet Anpassungsfähigkeit und Effizienz beim Training.

Andere Beiträge zum Thema Adagrad

Hier findest Du die Dokumentation, wie Du Adagrad in Keras verwenden kannst.