Was sind Hyperparameter?

Was sind Hyperparameter und wie optimiert die Forecast App sie?

Hyperparameter sind Einstellungen, die das Verhalten eines Machine-Learning-Modells bestimmen und vor dem Training festgelegt werden. Sie steuern wie das Modell trainiert wird und wie die Architektur des Modells aussieht. Anders als Modellparameter (z. B. Gewichte und Biases), die während des Trainings gelernt werden, werden Hyperparameter manuell oder mithilfe von Optimierungsverfahren festgelegt.

---

Beispiele für wichtige Hyperparameter

1. Anzahl der Schichten (Layers): Bestimmt die Tiefe des Modells, z. B. die Anzahl der LSTM-Schichten.

2. Anzahl der Neuronen pro Schicht (Units): Gibt an, wie viele Berechnungszellen in jeder Schicht verwendet werden.

3. Aktivierungsfunktionen: Steuern, wie die Neuronen aktiviert werden. Beispiele: tanh, relu, sigmoid, linear.

4. Dropout-Rate: Gibt an, welcher Prozentsatz der Neuronen während des Trainings deaktiviert wird, um Overfitting zu vermeiden.

5. Lernrate (Learning Rate): Bestimmt, wie stark das Modell seine Parameter in jedem Schritt anpasst.

6. Optimierungsverfahren: Die Methode, mit der das Modell Fehler minimiert. Beispiele: adam, sgd, rmsprop.

7. Epochen (Epochs): Anzahl der vollständigen Durchläufe durch die Trainingsdaten.

8. Patience: Anzahl der Epochen ohne Verbesserung auf den Validierungsdaten, bevor das Training abgebrochen wird.

---

Warum sind Hyperparameter wichtig?

Jedes Dataset ist unterschiedlich und besitzt eigene Muster und Eigenschaften. Ein Modell, das auf kurzfristige Datenmuster trainiert wurde (z. B. stündliche Vorhersagen), benötigt andere Einstellungen als ein Modell, das langfristige Trends erkennt (z. B. saisonale Muster über Monate).

Beispiele:

• Daten mit kurzen Zyklen: Benötigen weniger Schichten und schnellere Lernraten.

• Daten mit komplexen, saisonalen Mustern: Benötigen tiefere Modelle mit mehreren Schichten und mehr Neuronen.

Daher ist es wichtig, die Hyperparameter automatisch zu optimieren, um die beste Architektur für die gegebenen Daten zu finden.

---

Wie die Forecast App die besten Hyperparameter findet

Die Forecast App übernimmt die gesamte Hyperparameter-Suche für Sie. Das Verfahren ist so gestaltet, dass es flexibel an die Struktur Ihrer Daten angepasst wird. Der Ablauf ist wie folgt:

1. Automatischer Start der Hyperparameter-Suche: Wenn keine Hyperparameter angegeben werden, beginnt die App automatisch mit der Suche nach den optimalen Einstellungen.

2. Teildatensatz zur Optimierung: Um die Suche effizient zu halten, wird nur 1% der Daten verwendet (percent_data: 0.01).

   • Tipp: Bei großen Datenmengen können Sie diesen Wert erhöhen (z. B. 0.05 für 5%).

3. Maximale Versuche: Standardmäßig werden 100 Modellkonfigurationen getestet (max_trials: 100).

   • Sie können diesen Wert erhöhen, um eine noch genauere Architektur zu finden.

4. Training der Konfigurationen: Jede getestete Modellkonfiguration wird mit den folgenden Standardparametern trainiert:

   • Epochs: 50 Durchläufe.

   • Patience: Abbruch nach 5 Epochen ohne Verbesserung.

   • Validation Split: 20% der Daten werden zur Validierung genutzt.

5. Auswahl der besten Architektur:

   • Nach jeder getesteten Konfiguration wird die Leistung auf den Validierungsdaten geprüft.

   • Die beste Modellarchitektur wird zwischengespeichert und steht schon während der Suche für erste Vorhersagen zur Verfügung.

6. Endgültige Auswahl der besten Modelle:

   • Die besten 5% der getesteten Architekturen (best_trails_percent: 0.05) werden auf bisher nicht gesehenen Testdaten überprüft.

   • Das Modell mit der besten Leistung wird anschließend ausgewählt.

7. Training auf allen Daten: Die beste Architektur wird abschließend auf dem gesamten Datensatz trainiert, um die höchste Genauigkeit zu erreichen.

8. Speicherung der finalen Parameter: Nach der Optimierung werden die besten Hyperparameter in den Modellparametern gespeichert.

---

Standard-Hyperparameter-Suche in der Forecast App

Falls Sie keine eigenen Hyperparameter angeben, nutzt die App folgende Standardwerte für die Suche:

"hyperparameters": {
    "activation": ["tanh", "relu", "sigmoid", "linear"],
    "dense_activation": ["tanh", "relu", "sigmoid", "linear"],
    "num_lstm_layers": { "min_value": 1, "max_value": 4, "step": 1 },
    "lstm_units": { "min_value": 32, "max_value": 256, "step": 32 },
    "dropout_rate": { "min_value": 0.0, "max_value": 0.5, "step": 0.1 },
    "recurrent_dropout_rate": { "min_value": 0.0, "max_value": 0.5, "step": 0.1 },
    "num_dense_layers": { "min_value": 0, "max_value": 3, "step": 1 },
    "dense_units": { "min_value": 32, "max_value": 256, "step": 32 },
    "learning_rate": { "min_value": 0.0001, "max_value": 0.01, "sampling": "log" },
    "optimizer_type": ["adam", "sgd", "rmsprop", "adagrad", "adadelta", "adamax", "nadam"],
    "use_batch_norm": false,
    "percent_data": 0.01,
    "max_trials": 100,
    "best_trails_percent": 0.05
}

---

Fazit

Die Forecast App übernimmt die komplette Optimierung der Hyperparameter, um die beste Modellarchitektur für Ihre Daten zu finden. Dies spart Zeit und stellt sicher, dass das Modell optimal an die Eigenschaften Ihrer Daten angepasst wird – ganz automatisch und ohne technisches Vorwissen.

Egal, ob Ihre Daten kurzfristige Schwankungen oder langfristige Trends enthalten: Die App wählt flexibel die beste Konfiguration aus und sorgt für präzise Vorhersagen.