XGBoost steht für Extreme Gradient Boosting und ist eine Open-Source Machine Learning Bibliothek. Sie bietet gängige Machine Learning Algorithmen, welche den sogenannten Boosting Algorithmus nutzen. Die Bibliothek geht dabei äußerst effizient mit dem Speicher und der Rechenleistung um und liefert dadurch eine hohe Performance beim Trainieren der Modelle.

Was ist Boosting?

Im Machine Learning kommen nicht immer nur einzelne Modelle zum Einsatz. Um die Leistung des gesamten Programms zu verbessern, werden teilweise auch mehrere einzelne Modelle zu einem sogenannten Ensemble zusammengefasst. Ein Random Forest beispielsweise besteht aus vielen, einzelnen Decision Trees, deren Ergebnisse dann zu einem Resultat vereint werden.

Das Boosting beschreibt die Vorgehensweise wie mehrere Modelle zu einem Ensemble zusammengefasst werden. Am Beispiel von Decision Trees, werden die Trainingsdaten genutzt, um einen Baum zu trainieren. Für alle die Daten, für die der erste Decision Tree schlechte oder falsche Ergebnisse liefert, wird ein zweiter Decision Tree gebildet. Dieser wird dann ausschließlich mit den Daten trainiert, die der erste falsch klassifiziert hat. Diese Kette wird weitergeführt und der nächste Baum wiederum nutzt die Informationen, die bei den ersten beiden Bäumen zu schlechten Ergebnissen geführt haben.

Das Ensemble aus all diesen Decision Trees kann dann für den gesamten Datensatz gute Ergebnisse liefern, da jedes einzelne Modell die Schwächen der anderen kompensiert. Man spricht auch davon, dass viele „schwache Lerner“ (english: weak learners) zu einem „starken Lerner“ (english: „strong learner“) zusammengefasst werden.

Was ist Gradient Boosting?

Das Gradient Boosting wiederum ist eine Untergruppe von vielen, verschiedenen Boosting Algorithmen. Die Grundidee dahinter ist, dass das nächste Modell so gebaut werden sollte, dass es die Verlustfunktion des Ensembles weiter minimiert.

In den einfachsten Fällen beschreibt die Verlustfunktion einfach die Differenz zwischen der Vorhersage des Modells und dem tatsächlichen Wert. Angenommen wir trainieren eine KI zur Vorhersage eines Hauspreises. Die Verlustfunktion könnte dann einfach der Mean Squared Error zwischen dem tatsächlichen Preis des Hauses und dem vorhergesagten Preis des Hauses sein. Im Idealfall nähert sich die Funktion im Lauf der Zeit null an und unser Modell kann korrekte Preise vorhersagen.

Es werden solange neue Modelle hinzugefügt, wie sich Vorhersage und Realität nicht mehr unterscheiden, also die Verlustfunktion das Minimum erreicht hat. Jedes neue Modell versucht dabei den Fehler des vorherigen Modells vorherzusagen.

Kommen wir zurück zu unserem Beispiel mit den Hauspreisen. Angenommen ein Objekt hat eine Wohnfläche von 100m², vier Zimmer, eine Garage und kostet 200.000€. Der Ablauf des Gradient Boostings würde dann wie folgt aussehen:

1. Training einer Regression zur Vorhersage des Kaufpreises mit den Features Wohnfläche, Anzahl Zimmer und Garage. Dieses Modell sagt einen Kaufpreis von 170.000 € vorher anstatt den tatsächlichen 200.000 €, der Fehler beträgt also 30.000 €.
2. Training einer weiteren Regression die den Fehler des vorherigen Modells vorhersagt mit den Features Wohnfläche, Anzahl Zimmer und Garage. Dieses Modell sagt eine Abweichung von 23.000 € voraus anstatt den tatsächlichen 30.000 €. Der verbleibende Fehler beträgt also 7.000 €.

Diese Schritte werden so lange wiederholt, bis der verbleibende Fehler möglichst klein oder sogar Null ist.

Was sind die Vor- und Nachteile von Boosting im Allgemeinen?

Der allgemeine Vorteil von Boosting ist, dass viele schwache Lerner zu einem starken und leistungsfähigen Modell kombiniert werden. Trotz der großen Anzahl der kleinen Modelle sind diese Boosting Algorithmen meist einfacher zu berechnen als vergleichbare Neuronale Netzwerke. Das muss jedoch nicht bedeuten, dass sie auch schlechtere Ergebnisse liefern. Teilweise können Ensemble Modelle die komplexeren Netzwerke sogar im Hinblick auf die Genauigkeit schlagen. Somit sind sie auch interessante Kandidaten für Text- oder Bildklassifikationen.

Darüber hinaus neigen Boosting Algorithmen, wie beispielsweise auch AdaBoost, auch weniger zu Overfitting. Dies bedeutet einfach gesagt, dass sie nicht nur mit dem Trainingsdatensatz gute Ergebnisse liefern, sondern auch mit neue Daten mit einer hohen Genauigkeit gut klassifizieren. Man geht davon aus, dass die mehrstufige Modellberechnung von Boosting Algorithmen nicht so anfällig für Abhängigkeiten, wie die Schichten in einem Neuronalen Netzwerk, da die Modelle nicht zusammenhängend optimiert werden, wie dies bei der Backpropagation im Modell der Fall ist.

Durch das schrittweise Trainieren von Einzelmodellen haben Boosting Modelle oft eine relativ langsame Lernrate und benötigen dadurch mehr Iterationen um gute Ergebnisse zu liefern. des Weiteren benötigen sie sehr gute Datensätze, da die Modelle sehr sensibel auf Noise reagieren und dieses somit im Data Preprocessing entfernt werden sollte.

Welche Vorteile bietet die Nutzung von XGBoost?

Die XGBoost Bibliothek bietet die Möglichkeit große Datensätze mit bewährten Machine Learning Algorithmen zu trainieren und dabei die Rechenleistung zu optimieren. Darüber hinaus bietet XGBoost diese Vorteile:

• Open-Source Plattform für verschiedene Programmiersprachen, wie Python oder R.
• Eine große Zahl an Nutzern und Entwicklern, die die Plattform durchgehend weiterentwickeln.
• Algorithmen für eine Vielzahl an Anwendungsfällen, wie beispielsweise Klassifizierung oder Regression.
• Flexibles und performantes Training von Machine Learning Modellen, das zusätzlich auch in die Cloud verlagert werden kann.

Welche Anwendungen können mit XGBoost gelöst werden?

Die XGBoost Bibliothek wurde entwickelt, um eine hohe Rechenleistung beim Training bereitzustellen und das Training zu parallelisieren und zu beschleunigen. Dafür sorgt das bereits erklärte Gradient Boosting, welches viele, sogenannte schwache Lerner zu einem leistungsstarken Modell zusammenfasst.

Es handelt sich dabei um mehrere Decision Trees, die nicht wie bei einem Random Forest zu einem Ensemble zusammengeführt werden, sondern nach dem Gradient Boosting Algorithmus miteinander kombiniert werden, um eine optimale Performance zu gewährleisten. Dementsprechend können auch diesselben Anwendungsfelder umgesetzt werden, wie bei herkömmlichen Entscheidungsbäumen.

Die Entscheidungsbäume werden abhängig von der Zielvariablen für Klassifizierungen oder Regressionen genutzt. Wenn der letzte Wert des Baums auf einer kontinuierlichen Skala abbildbar ist, spricht man von einem Regressionsbaum. Wenn die Zielvariable hingegen einer Kategorie angehört, sprechen wir von einem Klassifizierungsbaum.

Durch die einfache Struktur ist diese Art der Entscheidungsfindung sehr beliebt und wird in verschiedensten Bereichen eingesetzt:

• Betriebswirtschaft: Undurchsichtige Kostenstrukturen können mithilfe einer Baumstruktur veranschaulicht werden und machen deutlich, welche Entscheidungen wie viele Kosten nach sich ziehen.
• Medizin: Für Patienten sind Entscheidungsbäume eine Hilfe, um herauszufinden, ob sie ärztliche Hilfe aufsuchen sollten.
• Machine Learning und Künstliche Intelligenz: In diesem Bereich werden Decision Trees verwendet, um Klassifizierungs- oder Regressionsaufgaben zu erlernen und dann Vorhersagen zu treffen.

Das solltest Du mitnehmen

• XGBoost steht für Extreme Gradient Boosting und ist eine Open-Source Machine Learning Bibliothek.
• Sie bietet gängige Machine Learning Algorithmen, welche den sogenannten Boosting Algorithmus nutzen. Dieser wird genutzt um mehrere Decision Trees zu einem performanten Ensemble Modell zusammenzufügen.
• Die Vorteile von XGBoost sind die effiziente Nutzung von Rechenleistung und die guten Ergebnisse, welche die Modelle in vielen Anwendungsfällen liefern.
• Nichtsdestotrotz konnten Neuronale Netzwerke bereits in vielen Vergleichsexperimenten die bereits guten Ergebnisse von XGBoost Modellen schlagen.

Andere Beiträge zum Thema XGBoost

• XGBoost Dokumentation