Zeitreihen - Modelle von neuronalen Netzen

Author: Hans Lohninger

Beschäftigt man sich mit neuronalen Netzwerken, wird man erkennen, dass der Modellierungsprozess dem für ARIMA sehr ähnlich ist. Auch bei neuronalen Netzwerken können die folgenden drei Phasen unterschieden werden:

• Modellauswahl
• Parameterabschätzung
• Leistungsüberprüfung

Nur die Terminologie ist normalerweise verschieden. Ferner ist die Heuristik, die die Erzeugung des Modells leitet, nicht so detailliert wie die für ARIMA-Modelle. Das hängt zum Teil mit den nicht linearen Abbildungen, die von neuronalen Netzwerken produziert werden, zusammen. Eine sorgfältige Analyse der Zeitreihen (zumindest eine Trendanalyse, das Überprüfen von saisonbedingten Mustern und das Überprüfen der Autokorrelation) ist auf jeden Fall empfehlenswert, weil sie relevante Eigenschaften, die die Daten charakterisieren, aufdeckt. Wenn man ein standardmäßiges Multi-Layer-Perzeptron einsetzt, können einige Parameter des Netzes frei ausgewählt werden, die das Verhalten des Netzes teilweise stark beeinflussen (z.B. die Zahl der Schichten, die Zahl der Neuronen pro Schicht, die Randbedingungen bei Training, etc.). Im Allgemeinen sollte als Ziel gelten, möglichst kleine Netzwerke zu finden, da diese weniger Freiheitsgrade besitzen und weniger Trainingsdaten benötigen, um verlässliche Resultate zu liefern. Für große neuronale Netzwerke ist eine große Anzahl an Daten notwendig. Die Zahl der Neuronen in den verdeckten Schichten sollte so klein sein, dass die gewünschte Abbildungsfunktion erreicht wird und gleichzeitig eine Generalisierung stattfinden kann.

Fensternetzwerke

Weil neuronale Netzwerke nicht dazu entwickelt wurden, mit sequenziellen Signalen umzugehen, muss entweder das Eingangssignal vorverarbeitet oder das Modell an die jeweilige Aufgabe angepasst werden. Die Vorverarbeitung des Eingangssignals ist der einfachere Weg. Dabei wird eine Sequenz von Zeitreihenelementen durch Verschieben eines Zeitfensters in das jeweils passende Eingangssignal umgewandelt. Die folgende Darstellung demonstriert, wie dies funktioniert:

Dabei soll das jeweils nächste Sequenzelement aus den vorhergehenden Sequenzelementen vorhergesagt werden. (Das ähnelt einem AR-Modell aus der Klasse der ARIMA-Modelle, wo die Fenstergröße der Ordnung des AR-Modells entspricht.) Der Vorteil bei der Verwendung eines Zeitfensters ist, dass ein standardmäßiges neuronales Netzwerk verwendet werden kann.

Zeitverzögerte neuronale Netzwerke (Time Delay Neural Networks, TDNN)

Zur Bearbeitung von sequenziellen Signalen wurde eine große Zahl von hochspezialisierten Netzwerkmodellen entwickelt. Sie sind alle mit einer Art "Erinnerungsvermögen" ausgestattet, das es ermöglicht, vergangene Informationen im System wirken zu lassen. Neuronale Netzwerke ohne solche Erinnerungselemente "vergessen" nach der Bearbeitung eines Eingangssignals die gesamte Information. Bei zeitverzögerten Netzwerken haben die Verbindungen Zeitverzögerungen unterschiedlicher Länge eingebaut, die es gestatten, mit einer Sequenz aus Zeitreihen umzugehen. Bei jedem Schritt wird jeweils nur ein einzelnes Element der Sequenz in den Eingang eingegeben, während das Netzwerk sein Ausgangssignal auch auf der Basis von abgespeicherten vorhergehenden Signalen berechnet. In dem Netzwerk, das von Wan beschrieben wird (), werden die Gewichte der verzögerten Verbindungen nicht getrennt trainiert. Das hält die Zahl der Freiheitsgrade niedrig. Die resultierenden zeitverzögerten Netzwerke sind leistungstarke Werkzeuge zur Handhabung sequenzieller Signale.

Rekursive Netzwerke