Zum Inhalt springen

Was ist Gradient Boosting?

Gradient Boosting ist eine Machine Learning Methode, die mehrere sogenannte „weak learners“ zu einem leistungsfähigen Modell für Klassifizierungen oder Regressionen zusammenbaut. In diesem Artikel beschäftigen wir uns mit den Konzepten des Boosting und Ensemble Learning und erklären wie das Gradient Boosting funktioniert.

Was ist Ensemble Learning und Boosting im Machine Learning?

Im Machine Learning kommen nicht immer nur einzelne Modelle zum Einsatz. Um die Leistung des gesamten Programms zu verbessern, werden teilweise auch mehrere einzelne Modelle zu einem sogenannten Ensemble zusammengefasst. Ein Random Forest beispielsweise besteht aus vielen, einzelnen Decision Trees, deren Ergebnisse dann zu einem Resultat vereint werden. Die Grundidee dahinter ist die sogenannte „Wisdom of Crowds„, die besagt, dass der Erwartungswert von mehreren unabhängigen Schätzungen besser ist, als jede einzelne Schätzung. Diese Theorie wurde formuliert, nachdem auf einer mittelalterlichen Messe das Gewicht eines Ochsen von keiner Einzelperson so genau geschätzt wurde, wie vom Durchschnitt der Einzelschätzungen.

Das Boosting beschreibt die Vorgehensweise wie mehrere Modelle zu einem Ensemble zusammengefasst werden. Am Beispiel von Decision Trees, werden die Trainingsdaten genutzt, um einen Baum zu trainieren. Für alle die Daten, für die der erste Decision Tree schlechte oder falsche Ergebnisse liefert, wird ein zweiter Decision Tree gebildet. Dieser wird dann ausschließlich mit den Daten trainiert, die der erste falsch klassifiziert hat. Diese Kette wird weitergeführt und der nächste Baum wiederum nutzt die Informationen, die bei den ersten beiden Bäumen zu schlechten Ergebnissen geführt haben.

Das Bild zeigt den Gradient Boosting Prozess, wie er bei XGBoost genutzt wird.
Gradient Boosting Prozess | Quelle: Autor

Das Ensemble aus all diesen Decision Trees kann dann für den gesamten Datensatz gute Ergebnisse liefern, da jedes einzelne Modell die Schwächen der anderen kompensiert. Man spricht auch davon, dass viele „schwache Lerner“ (english: weak learners) zu einem „starken Lerner“ (english: „strong learner“) zusammengefasst werden.

Man spricht von schwachen Lernern, da diese in vielen Fällen nur eher schlechte Ergebnisse liefern. Ihre Genauigkeit ist in vielen Fällen zwar besser als einfaches Raten, aber auch nicht deutlich besser. Sie bieten jedoch den Vorteil, dass sie in vielen Fällen einfach zu berechnen sind und dadurch sich einfach und kostengünstig kombinieren lassen.

Was ist Gradient Boosting?

Das Gradient Boosting wiederum ist eine Untergruppe von vielen, verschiedenen Boosting Algorithmen. Die Grundidee dahinter ist, dass das nächste Modell so gebaut werden sollte, dass es die Verlustfunktion des Ensembles weiter minimiert.

In den einfachsten Fällen beschreibt die Verlustfunktion einfach die Differenz zwischen der Vorhersage des Modells und dem tatsächlichen Wert. Angenommen wir trainieren eine KI zur Vorhersage eines Hauspreises. Die Verlustfunktion könnte dann einfach der Mean Squared Error zwischen dem tatsächlichen Preis des Hauses und dem vorhergesagten Preis des Hauses sein. Im Idealfall nähert sich die Funktion im Lauf der Zeit null an und unser Modell kann korrekte Preise vorhersagen.

Es werden solange neue Modelle hinzugefügt, wie sich Vorhersage und Realität nicht mehr unterscheiden, also die Verlustfunktion das Minimum erreicht hat. Jedes neue Modell versucht dabei den Fehler des vorherigen Modells vorherzusagen.

Kommen wir zurück zu unserem Beispiel mit den Hauspreisen. Angenommen ein Objekt hat eine Wohnfläche von 100m², vier Zimmer, eine Garage und kostet 200.000€. Der Ablauf des Gradient Boostings würde dann wie folgt aussehen:

  1. Training einer Regression zur Vorhersage des Kaufpreises mit den Features Wohnfläche, Anzahl Zimmer und Garage. Dieses Modell sagt einen Kaufpreis von 170.000 € vorher anstatt den tatsächlichen 200.000 €, der Fehler beträgt also 30.000 €.
  2. Training einer weiteren Regression die den Fehler des vorherigen Modells vorhersagt mit den Features Wohnfläche, Anzahl Zimmer und Garage. Dieses Modell sagt eine Abweichung von 23.000 € voraus anstatt den tatsächlichen 30.000 €. Der verbleibende Fehler beträgt also 7.000 €.

Was sind die Vor- und Nachteile von Boosting im Allgemeinen?

Der allgemeine Vorteil von Boosting ist, dass viele schwache Lerner zu einem starken und leistungsfähigen Modell kombiniert werden. Trotz der großen Anzahl der kleinen Modelle sind diese Boosting Algorithmen meist einfacher zu berechnen als vergleichbare Neuronale Netzwerke. Das muss jedoch nicht bedeuten, dass sie auch schlechtere Ergebnisse liefern. Teilweise können Ensemble Modelle die komplexeren Netzwerke sogar im Hinblick auf die Genauigkeit schlagen. Somit sind sie auch interessante Kandidaten für Text- oder Bildklassifikationen.

Darüber hinaus neigen Boosting Algorithmen, wie beispielsweise auch AdaBoost, auch weniger zu Overfitting. Dies bedeutet einfach gesagt, dass sie nicht nur mit dem Trainingsdatensatz gute Ergebnisse liefern, sondern auch mit neue Daten mit einer hohen Genauigkeit gut klassifizieren. Man geht davon aus, dass die mehrstufige Modellberechnung von Boosting Algorithmen nicht so anfällig für Abhängigkeiten, wie die Schichten in einem Neuronalen Netzwerk, da die Modelle nicht zusammenhängend optimiert werden, wie dies bei der Backpropagation im Modell der Fall ist.

Durch das schrittweise Trainieren von Einzelmodellen haben Boosting Modelle oft eine relativ langsame Lernrate und benötigen dadurch mehr Iterationen um gute Ergebnisse zu liefern. Des Weiteren benötigen sie sehr gute Datensätze, da die Modelle sehr sensibel auf Noise reagieren und dieses somit im Data Preprocessing entfernt werden sollte.

Gradient Boosting vs. AdaBoost

Bei AdaBoost werden viele verschiedene Decision Trees mit nur einer Entscheidungsebene, also sogenannte Decision Stumps, sequenziell mit den Fehlern der vorherigen Modelle zu trainieren. Beim Gradient Boosting hingegen wird versucht durch die sequenzielle Anordnung die Verlustfunktion immer weiter zu minimieren, indem nachfolgende Modelle darauf trainiert werden das sogenannte Residual, also die Differenz zwischen Vorhersage und dem tatsächlichen Wert, weiter zu verringern.

AdaBoost
Unterschied zwischen Decision Tree und Decision Stump | Quelle: Autor

Dadurch lassen sich mit dem Gradient Boosting Regressionen, also die Vorhersage von stetigen Werten, als auch Klassifikationen, also die Einordnung in Gruppen, vornehmen. Der AdaBoost Algorithmus hingegen kann nur für Klassifizierungen genutzt werden. Dies ist tatsächlich auch der Hauptunterschied zwischen diesen beiden Boosting Algorithmen, denn im Kerngedanken versuchen beide durch sequenzielles Lernen und die höhere Gewichtung von falschen Vorhersagen, schwache Lerner zu einem starken Modell zu kombinieren.

Welchen Boosting Algorithmus soll man wählen?

Die Wahl des richtigen Boosting-Algorithmus hängt von mehreren Faktoren ab, z. B. von der Größe und Komplexität des Datensatzes, dem erforderlichen Grad der Interpretierbarkeit und den verfügbaren Rechenressourcen.

Im Folgenden findeest Du einen kurzen Überblick über die drei von Ihnen erwähnten gängigen Boosting-Algorithmen:

  • AdaBoost (Adaptive Boosting) ist ein weit verbreiteter Boosting-Algorithmus, der mehrere schwache Klassifikatoren zu einem starken Klassifikator kombiniert. Er weist den Trainingsproben Gewichte zu und passt diese Gewichte in jeder Iteration an, um sich auf die falsch klassifizierten Proben zu konzentrieren. AdaBoost ist eine gute Wahl für einfache Klassifizierungsaufgaben mit mittelgroßen Datensätzen.
  • XGBoost (Extreme Gradient Boosting) ist ein beliebter und leistungsfähiger Boosting-Algorithmus, der Entscheidungsbäume als Basis-Lernprogramme verwendet. Er verwendet einen regularisierten Ansatz, um eine Überanpassung zu verhindern, und kann große Datensätze mit hochdimensionalen Merkmalen verarbeiten. XGBoost ist rechnerisch effizient und kann sowohl für Regressions- als auch für Klassifikationsprobleme verwendet werden.
  • Gradient Boosting ist ein allgemeiner Boosting-Algorithmus, der mit verschiedenen Verlustfunktionen und Basislernern verwendet werden kann. Er funktioniert durch iteratives Hinzufügen schwacher Lerner, um einen starken Lerner zu bilden, der die Verlustfunktion minimiert. Gradient Boosting ist flexibel und kann verschiedene Datentypen verarbeiten, einschließlich kategorischer Merkmale.

Zusammenfassend lässt sich sagen, dass AdaBoost eine gute Wahl sein kann, wenn Du eine einfache Klassifizierungsaufgabe mit mittelgroßen Datensätzen hast. Wenn Du einen großen Datensatz mit hochdimensionalen Merkmalen haben und ein Overfitting verhindern willst, könnte XGBoost die bessere Wahl sein. Gradient Boosting ist ein vielseitiger Algorithmus, der für verschiedene Arten von Daten und Verlustfunktionen verwendet werden kann.

Das solltest Du mitnehmen

  • Gradient Boosting ist eine Machine Learning Methode aus dem Bereich der Boosting Algorithmen.
  • Das Ziel ist es, mehrere sogenannte „weak learners“ zu einem leistungsfähigen Modell zusammenzufügen.
  • Beim Gradient Boosting werden dazu hintereinander mehrere Modelle trainiert, die jeweils versuchen den vorherigen Fehler gut vorherzusagen.

Andere Beiträge zum Thema Gradient Boosting

Eine Anleitung für Gradient Boosting in Scikit-Learn findest Du hier.

Das Logo zeigt einen weißen Hintergrund den Namen "Data Basecamp" mit blauer Schrift. Im rechten unteren Eck wird eine Bergsilhouette in Blau gezeigt.

Verpass keine neuen Beiträge!

Wir versenden keinen Spam! Lies die Details gerne in unserer Datenschutzrichtlinie nach.

Cookie Consent mit Real Cookie Banner