Effiziente Anomalieerkennung bei Windkraftanlagen mit Temporal Fusion Transformer Modellen
Transformer-Architekturen haben sich als bahnbrechend im Bereich des Natural Language Processing (NLP) erwiesen – besonders durch Modelle wie GPT-3 und Applikationen wie ChatGPT, die auch außerhalb der KI-Welt viel Aufsehen erregt haben. Doch diese leistungsstarken Modelle entfalten ihr Potenzial nicht nur in sprachlichen Anwendungen. Auch in anderen Bereichen wie der Prognose von Zeitreihen bieten Transformer-Architekturen potenziell bedeutende Vorteile gegenüber klassischen Modellen.
Eine besondere Variante dieser Technologie ist der Temporal Fusion Transformer (TFT). Neben seiner hohen Genauigkeit bei Zeitreihenprognosen zeichnet sich der TFT durch seine beeindruckende Interpretierbarkeit und Fähigkeit zur Data Fusion aus (d.h. der Möglichkeit Daten anlagenübergreifend zum Training und Prognostizieren zu nutzen). Insbesondere im Energiesektor, in dem präzise Prognosen für fundierte Entscheidungen von enormer Bedeutung sind, eröffnen sich damit interessante Anwendungsmöglichkeiten.
In einem Proof-of-Concept (PoC) hat Iqony das TFT-Modell auf seine Praxistauglichkeit geprüft.
Wegweisender Proof-of-Concept mit den scieneers
Iqony wurde dabei von den scieneers unterstützt. Die scieneers sind ein IT-Unternehmen mit 35 IT-, Daten- und Data Science-Spezialisten, die sich für den Umgang mit Daten und deren sinnvollen Einsatz begeistern. Sie bieten fokussiert Data Engineering und Data Science als Dienstleistung an, um aus Daten Erkenntnisse und damit Werte zu generieren. Sie verstärken die Teams ihrer Kunden punktuell nach Bedarf oder bieten ganze Teams, um komplette Datenprodukte zu entwerfen, zu entwickeln und vor allem auch in Produktion zu bringen.
Für Iqony ist die kontinuierliche Verbesserung der Effizienz und Sicherheit seiner energietechnischen Anlagen von besonderer Bedeutung. Die Lösungen sind in den Anlagen der Iqony aber auch bei Kunden weltweit im Einsatz. Ein zentrales Element ist dabei die frühzeitige Erkennung von Anlageschäden, um Ausfälle zu minimieren und Wartungskosten zu reduzieren. Dafür befindet sich ein komplexes Anomalieerkennungssystem im Einsatz, das sowohl für Windparks und PV-Anlagen als auch für konventionelle Erzeugungsanlagen angewendet werden kann. Es integriert zwei verschiedene Strategien: einen ingenieurstechnischen Ansatz und einen Autoencoder-Ansatz.
In unserem PoC haben wir uns auf die Nutzung des TFT-Modells für den ingenieurstechnischen Ansatz fokussiert. Dabei wird eine Zielgröße (z.B. Lagertemperatur) auf Basis diverser Eingangsdaten (z.B. Drehzahl, Außentemperatur) vorhergesagt und der Prognosewert mit dem tatsächlichen Wert verglichen. Über eine statistische Auswertung der Abweichungen beider Werte werden dann potenzielle Anomalien identifiziert und so frühzeitig Anlagenschäden erkannt. Unser Ziel war es, zu untersuchen, wie das TFT-Modell in diesem Zusammenhang im Vergleich zu dem bisher verwendeten – und langjährig optimierten - Multi Layer Perceptron (MLP) Modell abschneidet. Ein Fokus lag dabei auf der Analyse der Fähigkeit des TFT-Modells mittels Data Fusion anlagenübergreifend zu lernen, um so auch für Anlagen mit kurzer Datenhistorie (in der Praxis z.B. verursacht durch eine spätere Inbetriebnahme einzelner Anlagen) hochwertige Prognose zu erzeugen.
Für unser Projekt haben wir auf Azure als Cloud-Plattform gesetzt. Azure ML Pipelines und MLFlow ermöglichten eine reibungslose und reproduzierbare Durchführung der Modell-Durchläufe. Mit Hilfe von PyTorch wurde das TFT-Modell implementiert. Der Code wurde über Azure Devops geteilt sowie persistiert. Datengrundlage waren die SCADA-Daten eines Windparks mit 40 Turbinen und Datenverfügbarkeit abab 2018 verfügbar. Für das Training beider Modelle wurden Daten von April 2018 bis April 2019 genutzt. Die Auswertung erfolgte auf Basis der Daten von 2023.
Die direkte Bewertung der Fähigkeit zur Anomalieerkennung war aufgrund der für TFTs fehlenden Abweichungs-Statistik sowie nicht vorhandener Labels für Anomalien in den Daten nicht möglich. Um dennoch die Leistung der Modelle bewerten zu können, verglichen wir zusammen mit den Experten von scieneers die Vorhersage von TFT und MLP für drei verschiedene Use Cases (Wirkleistung, Rotorlagertemperatur und Getriebelagertemperatur) visuell für ausgewählte Tage und quantitativ mittels der Mean Absolute Error (MAE) Metrik. Ein unmittelbarer Rückschluss auf die Fähigkeit Anomalien zu erkennen ist dadurch nicht 100% valide; allerdings lassen sich auf diese Weise bereits starke Indizien für diese Fähigkeit sammeln. Um die Ergebnisse effizient teilen zu können und eine umfangreiche Analyse zu ermöglichen, wurde ein Dashboard mit Panel und Altair in Python gebaut (Abb. 1 und Abb. 2).
Hält das TFT-Modell was es verspricht?
Die Ergebnisse waren äußerst vielversprechend. Das TFT-Modell lieferte für alle Use Cases ähnlich präzise Prognosen wie das bisherige MLP-Modell. Für die Zielvariable Wirkleistung, für die wir im Rahmendes PoC aus Zeitgründen als einziges die Hyperparameter des TFT optimieren konnten, waren die Prognosen insgesamt sogar nachweislich genauer. Besonders bemerkenswert war aber die Fähigkeit des TFT über Data Fusion auch für Anlagen mit künstlich reduzierter Datenhistorie (3 vs. 12 Monate Training) Ergebnisse zu erzielen, die mit denen des MLP (12 Monate Training) vergleichbar waren. Das bestätigt die Hypothese das sogenannte „Cold Start“-Problematiken (d.h. geringe Datenbasis bei Inbetriebnahme von Anlagen), die im Energiebereich häufig auftreten, durch TFTs mitigiert werden können. Ein weiterer großer Vorteil lag darin, dass ein einziges multivariates TFT-Modell, z.B. im Falle des Use Cases Getriebelagertemperatur (~12 Zielvariablen), bis zu 480 im Betrieb befindliche MLP-Modelle ersetzen könnte, was die Komplexität für Wartung und Betrieb des Systems erheblich reduzieren würde.
Weitergehende Analysen wie z.B. die direkte Bewertung der Erkennung von Anomalien oder die Übertragbarkeit eines TFT-Modells über verschiedene Windparks hinweg sind noch durchzuführen. Dieser erste Praxistest lässt aber bereits darauf schließen, das TFT-Modelle durchaus das Potenzial haben die bestehende Anomalieerkennung bei Iqony zu verbessern. Somit könnte die Transformer-Architektur in Form der TFT-Modelle der Energiewirtschaft neue Horizonte eröffnen und Unternehmen wie Iqony ermöglichen, ihre bestehenden Systeme und Prozesse hinsichtlich Effizienz und Effektivität weiter zu optimieren.
Über scieneers GmbH
Die scieneers sind ein Team von über 30 Experten, die es sich zur Aufgabe gemacht haben, aus Daten Werte zu schaffen. Das „science“ im Namen steht nicht nur für den sicheren Umgang mit mathematisch-statistischen Methoden zur Analyse von Daten, es steht auch für den Anspruch, immer das theoretisch Mögliche sowie den aktuellen Stand der Technik im Blick zu haben. „Engineering“ bedeutet hierbei, das Machbare konsequent umzusetzen und zuverlässige Lösungen zu liefern, die skalierbar sind. Das Leistungsangebot der scieneers reicht von klassischen Business Intelligence Systemen über die Anwendung mathematischer-statistischer Verfahren und des maschinellen Lernens bis hin zum automatisierten Text-, Bild- und Sprachverständnis mit künstlicher Intelligenz. Dabei unterstützen die scieneers entlang der gesamten digitalen Wertschöpfungskette, d.h. bei der Generierung von Ideen, der Ableitung wertschaffender Business Cases, der Entwicklung von Datenstrukturen und Modellen sowie der Implementierung der Lösung sowie deren nahtlosen Integration in die operativen IT-Systeme und Geschäftsprozesse der Kunden.
