Random Forest

Der Random-Forest-Rechner erstellt ein Vorhersagemodell aus einer abhängigen Variable und zwei oder mehr Prädiktorvariablen. Ist die abhängige Variable kategorial, führt numiqo eine Random-Forest-Klassifikation durch. Ist die abhängige Variable metrisch, führt numiqo eine Random-Forest-Regression durch.

Um einen Random Forest online zu berechnen, öffne Prädiktive Analytik, wähle Random Forest, lege die abhängige Variable fest und wähle die unabhängigen Variablen aus, die als Prädiktoren verwendet werden sollen.

Was ist ein Random Forest?

Ein Random Forest ist ein Ensemble-Verfahren. Statt nur einen Entscheidungsbaum zu verwenden, erstellt es viele Entscheidungsbäume und kombiniert deren Vorhersagen. Jeder Baum wird mit einer Bootstrap-Stichprobe der Daten trainiert, und bei jeder Aufteilung wird nur eine zufällige Teilmenge der Prädiktoren berücksichtigt. Dadurch hängt das Modell weniger von einem einzelnen instabilen Baum ab und erzielt in der Regel eine bessere Vorhersageleistung.

Bei der Klassifikation stimmt jeder Baum für eine Kategorie der abhängigen Variable ab, und der Forest sagt die Kategorie mit den meisten Stimmen vorher. Bei der Regression sagt jeder Baum einen numerischen Wert vorher, und der Forest verwendet den Mittelwert der Vorhersagen aller Bäume.

So funktioniert der Random-Forest-Rechner

Der Rechner folgt einem CART-ähnlichen Ansatz. Für jede Bootstrap-Stichprobe wird ein binärer Baum aufgebaut. Aufteilungen bei der Klassifikation werden anhand der Gini-Unreinheit bewertet. Aufteilungen bei der Regression werden anhand des quadratischen Fehlers bewertet. Das endgültige Modell kombiniert alle Bäume bei der Klassifikation über eine Mehrheitsentscheidung und bei der Regression über den Mittelwert der Vorhersagen.

1. Bootstrap-Stichproben: Jeder Baum wird mit einer Zufallsstichprobe trainiert, die mit Zurücklegen aus den ursprünglichen Zeilen gezogen wird.
2. Zufällige Prädiktorauswahl: An jedem Knoten wird nur eine Teilmenge der Prädiktoren für die Aufteilung berücksichtigt. Standardmäßig verwendet der Rechner die Quadratwurzel aus der Anzahl der ausgewählten Prädiktoren.
3. Binäre Aufteilungen: Kategoriale Prädiktoren werden aufgeteilt, indem eine Kategorie von den übrigen Kategorien getrennt wird. Metrische Prädiktoren werden mit Schwellenwertregeln aufgeteilt.
4. Kombinierte Vorhersage: Die Klassifikation verwendet eine Mehrheitsentscheidung. Die Regression bildet den Mittelwert der numerischen Vorhersagen der Bäume.
5. Out-of-Bag-Validierung: Zeilen, die in der Bootstrap-Stichprobe eines Baums nicht verwendet wurden, werden von diesem Baum vorhergesagt. Diese Out-of-Bag-Vorhersagen schätzen die Modellleistung, ohne dass ein separates Testset erforderlich ist.

Random-Forest-Ergebnisse

Die Random-Forest-Ausgabe enthält eine Methodentabelle, die Out-of-Bag-Leistung und die relative Variablenwichtigkeit. Klassifikationsmodelle enthalten zusätzlich eine Konfusionsmatrix. Regressionsmodelle geben RMSE, MAE und R-Quadrat aus.

Out-of-Bag-Genauigkeit

Die Out-of-Bag-Genauigkeit ist der Anteil korrekt klassifizierter Zeilen, wobei nur Bäume verwendet werden, in deren Bootstrap-Stichprobe die jeweilige Zeile nicht enthalten war. Sie ist ein praktisches internes Validierungsmaß und wird häufig bei Random-Forest-Modellen verwendet.

Regressionsleistung

Bei der Random-Forest-Regression zeigt die Out-of-Bag-Tabelle RMSE, MAE und R-Quadrat. RMSE und MAE beschreiben den typischen Vorhersagefehler in den Einheiten der abhängigen Variable. R-Quadrat beschreibt, wie viel der Out-of-Bag-Varianz durch die Vorhersagen erklärt wird.

Konfusionsmatrix

Die Konfusionsmatrix vergleicht die beobachtete Kategorie mit der vorhergesagten Kategorie. Die Zeilen zeigen die tatsächlichen Kategorien, die Spalten die vorhergesagten Kategorien. Der korrekte Prozentsatz pro Zeile zeigt, wie häufig Beobachtungen aus dieser tatsächlichen Kategorie richtig klassifiziert wurden.

Variablenwichtigkeit

Die Variablenwichtigkeit fasst zusammen, wie stark jeder Prädiktor die Aufteilungen der Bäume im Forest verbessert. Eine höhere relative Wichtigkeit bedeutet, dass die Variable stärker zur Verbesserung der Aufteilungen im Forest beigetragen hat. Die Wichtigkeit ist hilfreich, um Prädiktoren zu priorisieren, sollte aber nicht als Nachweis für Kausalität interpretiert werden.

Random Forest vs. Entscheidungsbaum

Ein einzelner CHAID-Entscheidungsbaum ist leichter zu interpretieren, weil der vollständige Baum betrachtet werden kann. Ein Random Forest ist für Vorhersagen meist leistungsfähiger, weil er viele Bäume mittelt. Er fasst das Modell jedoch mit Leistungskennzahlen und Variablenwichtigkeit zusammen, statt es als einzelnes einfaches Baumdiagramm darzustellen.

Wann sollte ein Random Forest verwendet werden?

Verwende eine Random-Forest-Klassifikation, wenn die abhängige Variable kategorial ist und eine Gruppenzugehörigkeit vorhergesagt werden soll. Verwende eine Random-Forest-Regression, wenn die abhängige Variable metrisch ist und ein numerischer Wert vorhergesagt werden soll. Typische Anwendungen sind die Vorhersage von Kundenabwanderung, Risikoklassifikation, Qualitätsprüfung, Nachfrageprognosen und Kundensegmentierung.

Einschränkungen

Zeilen mit fehlenden Werten in den ausgewählten Variablen werden von der Berechnung ausgeschlossen. Die aktuelle Implementierung verwendet binäre Aufteilungen im CART-Stil und eine interne Out-of-Bag-Validierung. Vorhersagen für neue Zeilen, Partial-Dependence-Plots oder erweiterte Optionen zur Behandlung fehlender Werte sind noch nicht enthalten.