Was ist Edge AI? Wie verarbeitet künstliche Intelligenz Daten direkt auf dem Gerät?

Was ist Edge AI?

Edge AI bezeichnet den Ansatz, Algorithmen der künstlichen Intelligenz möglichst nahe an dem Ort auszuführen, an dem die Daten entstehen.

In klassischen cloudbasierten KI-Systemen werden Daten, die beispielsweise von einem Sensor, einer Kamera oder einem anderen Gerät erzeugt werden, über ein Netzwerk an ein entferntes Rechenzentrum übertragen. Dort verarbeitet das KI-Modell die Daten, anschließend wird das Ergebnis wieder an das Gerät zurückgesendet.

Bei Edge AI erfolgt dagegen die gesamte Verarbeitung oder zumindest ein wesentlicher Teil davon direkt auf lokaler Hardware.

Diese Hardware kann beispielsweise sein:

• Ein Industrie-PC
• Eine intelligente Kamera
• Eine Robotersteuerung
• Ein Fahrzeugrechner
• Ein Einplatinencomputer
• Ein Mikrocontroller
• Ein Embedded-System mit NPU oder GPU

Dadurch wird künstliche Intelligenz nicht mehr ausschließlich als Software verstanden, die in großen Rechenzentren arbeitet, sondern kann direkt in physische Systeme integriert werden.

Wie funktioniert Edge AI?

Ein Edge-AI-System beginnt in der Regel mit Daten, die von einem Sensor oder einer Kamera erzeugt werden.

Anstatt diese Daten unmittelbar an ein zentrales Cloud-System weiterzuleiten, werden sie zunächst lokal verarbeitet.

Eine Industriekamera an einer Produktionslinie kann beispielsweise kontinuierlich Bilder erzeugen.

In einer klassischen Architektur könnten diese Bilder zur Analyse an einen Server übertragen werden.

Bei Edge AI kann dagegen ein lokaler Prozessor, der mit der Kamera verbunden ist, oder ein direkt in die Kamera integrierter KI-Beschleuniger die Bilder vor Ort analysieren.

Das System kann anschließend nur das relevante Ergebnis an übergeordnete Systeme weitergeben.

Mögliche Ausgaben wären beispielsweise:

„Produkt fehlerhaft“
„Person erkannt“
„Ungewöhnliches Motorverhalten“
„Fahrzeug erkannt“

Anstatt sämtliche Rohdaten kontinuierlich an ein zentrales System zu übertragen, müssen somit nur die für die jeweilige Anwendung relevanten Informationen weitergegeben werden.

Was ist der Unterschied zwischen Edge AI und Cloud AI?

Cloud AI und Edge AI können dieselben KI-Modelle oder ähnliche Algorithmen verwenden. Der entscheidende Unterschied liegt darin, wo die Verarbeitung stattfindet.

Cloud AI

Bei Cloud-AI-Systemen werden Daten über das Internet oder ein anderes Netzwerk an zentrale Rechenzentren übertragen.

Cloud-Plattformen können eine sehr hohe Rechenleistung bereitstellen.

Sie eignen sich insbesondere für das Training großer KI-Modelle, umfangreiche Datenanalysen oder die gemeinsame Verarbeitung großer Datenmengen aus unterschiedlichen Quellen.

Da Daten jedoch kontinuierlich an entfernte Systeme übertragen werden, können Netzwerklatenzen und eine Abhängigkeit von der Verbindung entstehen.

Edge AI

Bei Edge AI erfolgt die Inferenz direkt auf dem Gerät oder auf einem Rechner in unmittelbarer Nähe zur Datenquelle.

Dieser Ansatz kann Vorteile bieten wie:

• Geringere Latenz
• Reduzierter Bandbreitenbedarf
• Höherer Datenschutz
• Betrieb ohne Internetverbindung
• Schnellere Reaktionen in physischen Echtzeitsystemen

Edge-Geräte verfügen jedoch normalerweise über deutlich weniger Rechenleistung und Energiereserven als große Rechenzentren.

Deshalb müssen Edge AI und Cloud AI nicht zwingend als direkte Alternativen betrachtet werden.

In modernen Systemen werden beide Ansätze häufig miteinander kombiniert.

Sind Edge Computing und Edge AI dasselbe?

Nein.

Edge Computing ist ein übergeordneter Begriff und beschreibt die Verarbeitung von Daten möglichst nahe an ihrer Quelle, anstatt ausschließlich in einem zentralen Rechenzentrum.

Edge AI ist eine spezielle Anwendung dieses Prinzips, bei der künstliche Intelligenz zum Einsatz kommt.

Wenn ein Industrie-PC beispielsweise Sensordaten filtert und Mittelwerte berechnet, kann dies als Edge Computing bezeichnet werden.

Verwendet derselbe Computer dagegen ein Machine-Learning-Modell, um aus Sensordaten eine mögliche Maschinenstörung vorherzusagen, handelt es sich um eine Edge-AI-Anwendung.

Edge AI basiert somit auf Edge-Computing-Prinzipien, allerdings verwendet nicht jedes Edge-Computing-System automatisch künstliche Intelligenz.

Welche Hardware wird in Edge-AI-Systemen verwendet?

Die Ausführung von KI-Modellen direkt auf einem Gerät kann spezielle Hardwareanforderungen mit sich bringen.

Welche Hardware geeignet ist, hängt von der Größe des Modells und den Leistungsanforderungen der Anwendung ab.

CPU

Allzweckprozessoren können kleine und mittelgroße KI-Modelle ausführen.

Bei Anwendungen wie Computer Vision oder Deep Learning, die eine große Anzahl paralleler Berechnungen erfordern, reicht eine CPU allein jedoch möglicherweise nicht aus.

GPU

GPUs können viele mathematische Operationen parallel durchführen und werden daher häufig für Anwendungen der künstlichen Intelligenz eingesetzt.

Embedded-GPU-Plattformen spielen insbesondere in Robotik, Bildverarbeitung und autonomen Systemen eine wichtige Rolle.

NPU

Eine NPU (Neural Processing Unit) ist eine spezialisierte Recheneinheit, die für die Beschleunigung künstlicher neuronaler Netze entwickelt wurde.

NPUs werden zunehmend in Embedded-Systemen eingesetzt, in denen KI-Inferenz bei vergleichsweise geringem Energieverbrauch erforderlich ist.

Mikrocontroller

Kleinere KI-Modelle können auch auf Mikrocontrollern ausgeführt werden.

Solche Systeme werden vor allem dort eingesetzt, wo geringer Energieverbrauch und niedrige Kosten entscheidend sind.

Dieser Ansatz wird häufig mit dem Begriff TinyML verbunden.

Was ist AI Inference?

KI-Systeme lassen sich grundsätzlich in zwei zentrale Phasen unterteilen:

Training

Inference – Inferenz

Während des Trainings lernt ein KI-Modell mithilfe von Daten, eine bestimmte Aufgabe auszuführen.

In der Inferenzphase verarbeitet das bereits trainierte Modell neue Eingangsdaten und erzeugt daraus ein Ergebnis.

Die meisten Edge-AI-Systeme trainieren Modelle nicht direkt auf dem Gerät. Stattdessen verwenden sie vortrainierte Modelle zur lokalen Inferenz.

Ein in einer Fabrik eingesetztes Bildverarbeitungsmodell kann beispielsweise auf leistungsfähigen Servern trainiert werden.

Anschließend wird das trainierte Modell auf ein Edge-Gerät an der Produktionslinie übertragen.

Während des Betriebs analysiert dieses Gerät die Bilder in Echtzeit und kann fehlerhafte Produkte erkennen.

Was ist TinyML?

TinyML bezeichnet den Ansatz, Machine-Learning-Modelle auf Mikrocontrollern mit sehr begrenzter Rechenleistung und Speicherkapazität auszuführen.

Solche Systeme unterliegen häufig starken Einschränkungen hinsichtlich Prozessorleistung, RAM und Energieverbrauch.

Daher müssen Modelle möglicherweise:

• Verkleinert
• Optimiert
• Quantisiert
• Hinsichtlich des Speicherbedarfs reduziert

werden.

TinyML ermöglicht es einem Sensorknoten oder einem energieeffizienten Embedded-System, einfache KI-Aufgaben ohne permanente Internetverbindung auszuführen.

Ein kleiner Mikrocontroller kann beispielsweise Vibrationsdaten analysieren und ungewöhnliches Maschinenverhalten lokal erkennen.

Warum kann Edge AI eine geringere Latenz ermöglichen?

Bei physischen Systemen kann die Reaktionszeit entscheidend sein.

Wenn ein Roboter nach der Erkennung einer Person seine Bewegung anpassen oder eine Maschine auf einen potenziell gefährlichen Zustand reagieren muss, kann die Übertragung an ein entferntes Rechenzentrum und zurück unerwünschte Verzögerungen verursachen.

Mit Edge AI kann die Analyse direkt auf einem lokalen Gerät erfolgen.

Dadurch lässt sich der Einfluss von Faktoren wie:

• Internetlatenz
• Auslastung von Cloud-Servern
• Netzwerk-Routing

reduzieren.

Echtzeit-Sicherheitsfunktionen sollten jedoch nicht automatisch ausschließlich allgemeinen KI-Systemen überlassen werden.

In industriellen Sicherheitsanwendungen werden weiterhin zertifizierte Sicherheitssysteme und deterministische Steuerungsmechanismen benötigt.

Edge AI kann solche Systeme unterstützen, ersetzt jedoch nicht automatisch sicherheitsgerichtete Steuerungsfunktionen.

Wie reduziert Edge AI den Bandbreitenbedarf?

Moderne Sensoren können sehr große Datenmengen erzeugen.

Insbesondere hochauflösende Kameras produzieren kontinuierliche Datenströme, deren vollständige Übertragung über ein Netzwerk aufwendig oder unpraktisch sein kann.

Mit Edge AI kann anstelle sämtlicher Rohdaten nur das Analyseergebnis übertragen werden.

Eine Kamera zur Qualitätskontrolle kann beispielsweise jede Sekunde eine große Anzahl von Bildern erzeugen.

Anstatt jedes Bild an einen zentralen Server zu senden, kann das System die Aufnahmen lokal analysieren und lediglich ein Ergebnis wie:

„Produkt in Ordnung“

oder

„Produkt fehlerhaft“

an das Produktionssystem übermitteln.

Dadurch kann der Netzwerkverkehr erheblich reduziert werden.

Edge AI und Datenschutz

Die lokale Verarbeitung von Daten kann in bestimmten Anwendungen wichtige Vorteile für Datenschutz und Privatsphäre bieten.

Müssen beispielsweise Kamerabilder analysiert werden, ist es möglicherweise nicht erforderlich, die Rohbilder kontinuierlich an einen entfernten Server zu übertragen.

Das Gerät kann die Bilder lokal auswerten und lediglich das benötigte Ergebnis weitergeben.

Dies kann insbesondere bei sensiblen Anwendungen relevant sein, darunter:

• Intelligente Gebäudesysteme
• Gesundheitsanwendungen
• Sicherheitssysteme
• Personenerkennung

Der Einsatz von Edge AI bedeutet jedoch nicht automatisch, dass ein System sicher oder datenschutzrechtlich unproblematisch ist.

Auch lokale Geräte benötigen sichere Software, Authentifizierungsmechanismen, Update-Funktionen und geeignete Maßnahmen zum Schutz von Daten.

Wie wird Edge AI in der industriellen Automatisierung eingesetzt?

Die industrielle Automatisierung gehört zu den wichtigsten Einsatzgebieten von Edge AI.

Bildbasierte Qualitätskontrolle

Kameras an Produktionslinien können Produkte analysieren und Oberflächenfehler, fehlende Bauteile oder fehlerhafte Montage erkennen.

Wenn die Analyse direkt in der Nähe der Produktionslinie erfolgt, können Entscheidungen schneller getroffen werden.

Vorausschauende Wartung

Von Motoren, Pumpen, Getrieben und anderen Maschinen können beispielsweise folgende Daten erfasst werden:

• Vibration
• Temperatur
• Elektrischer Strom
• Geräusche

Edge-AI-Modelle können diese Signale analysieren.

Indem sie Abweichungen vom normalen Betriebsverhalten erkennen, können sie frühzeitig Hinweise auf mögliche Störungen liefern.

Anomalieerkennung

Nicht jede industrielle Störung lässt sich durch eine zuvor definierte Regel beschreiben.

Machine-Learning-Modelle können typische Muster des normalen Betriebs lernen und ungewöhnliche Zustände identifizieren.

Dieser Ansatz kann insbesondere bei komplexen Industrieprozessen sinnvoll sein.

Wie wird Edge AI in der Robotik eingesetzt?

Roboter müssen in Echtzeit mit ihrer Umgebung interagieren.

Daher bietet es große Vorteile, viele KI-Berechnungen direkt auf dem Roboter auszuführen.

Mit Edge AI kann ein Roboter beispielsweise:

• Objekte erkennen
• Menschen erfassen
• Positionen aus Bilddaten bestimmen
• Seine Umgebung klassifizieren
• Bewegungs- und Navigationsentscheidungen unterstützen

Bei mobilen Robotern können Daten aus Kameras, LiDAR und anderen Sensoren direkt von einem Bordcomputer verarbeitet werden.

Dadurch wird verhindert, dass für jede Bewegungs- oder Navigationsentscheidung eine permanente Verbindung zur Cloud erforderlich ist.

Wie wird Edge AI in Fahrzeugen eingesetzt?

Moderne Fahrzeuge erzeugen große Mengen an Sensordaten.

Ein erheblicher Teil der Informationen von Kameras, Radarsystemen, Ultraschallsensoren und weiteren Sensoren wird direkt im Fahrzeug verarbeitet.

Edge-AI-Anwendungen können beispielsweise eingesetzt werden für:

• Fahrerüberwachung
• Objekterkennung
• Spurenerkennung
• Verkehrszeichenerkennung
• Sprach- und Audioverarbeitung im Fahrzeug
• Fahrerassistenzsysteme

Bei fahrrelevanten Funktionen wäre eine vollständige Abhängigkeit von einem entfernten Cloud-Server in vielen Fällen nicht praktikabel.

Daher gewinnen leistungsfähige lokale Rechenplattformen in modernen Fahrzeugen zunehmend an Bedeutung.

Wie wird Edge AI in intelligenten Kameras eingesetzt?

Klassische Kamerasysteme zeichnen Bilder meist lediglich auf oder übertragen sie an andere Systeme.

KI-fähige intelligente Kameras können Bilddaten dagegen direkt im Gerät analysieren.

Solche Kameras können Aufgaben übernehmen wie:

• Personenerkennung
• Fahrzeugerkennung
• Objektklassifizierung
• Qualitätskontrolle von Produkten
• Überwachung von Sicherheitsbereichen

Dieser Ansatz kann insbesondere in Systemen mit vielen Kameras die Datenmenge reduzieren, die an zentrale Server übertragen werden muss.

Warum ist Modelloptimierung bei Edge AI wichtig?

Edge-Geräte verfügen nur über begrenzte Hardware-Ressourcen.

Sehr große KI-Modelle lassen sich daher nicht immer direkt auf kompakten Embedded-Plattformen ausführen.

Aus diesem Grund können Modelle mit verschiedenen Verfahren optimiert werden.

Quantization

Die numerische Genauigkeit innerhalb eines Modells kann reduziert werden, um Rechenaufwand und Speicherbedarf zu senken.

Beispielsweise können niedrigere numerische Präzisionen anstelle von 32-Bit-Gleitkommaberechnungen verwendet werden.

Pruning

Weniger wichtige Verbindungen innerhalb eines neuronalen Netzes können entfernt werden, um das Modell zu verkleinern und den Rechenaufwand zu reduzieren.

Model Distillation

Bei der Model Distillation wird versucht, das Wissen eines größeren Modells auf ein kleineres und effizienteres Modell zu übertragen.

Diese Verfahren können es ermöglichen, KI-Modelle auf Hardware mit geringerer Rechenleistung auszuführen.

Bei der Optimierung muss jedoch sorgfältig zwischen Modellgenauigkeit und Hardwareleistung abgewogen werden.

Welche Vorteile bietet Edge AI?

Zu den wichtigsten Vorteilen von Edge AI gehören:

• Geringere Latenz
• Reduzierter Netzwerkverkehr
• Betrieb ohne permanente Internetverbindung
• Möglichkeit, Rohdaten lokal auf dem Gerät zu halten
• Engere Integration mit Echtzeitsystemen
• Reduzierte Abhängigkeit von Cloud-Ressourcen
• Größere Autonomie verteilter Systeme

Diese Eigenschaften machen Edge AI besonders für mechatronische Systeme interessant, die direkt mit der physischen Welt interagieren.

Welche Grenzen hat Edge AI?

Edge AI ist nicht für jede Anwendung die ideale Lösung.

Edge-Geräte können begrenzte Ressourcen besitzen hinsichtlich:

• Rechenleistung
• Arbeitsspeicher
• Energieversorgung
• Speicherkapazität
• Kühlung

Dadurch kann es schwierig sein, sehr große KI-Modelle direkt auf solchen Geräten auszuführen.

Auch die Verwaltung einer großen Anzahl im Feld eingesetzter Edge-AI-Geräte kann zusätzliche Herausforderungen mit sich bringen.

Dazu gehören:

• Software-Updates
• Verteilung neuer Modellversionen
• Gewährleistung der Cybersicherheit
• Überwachung von Geräte- und Modellleistung

Auch Veränderungen der Modellgenauigkeit im Laufe der Zeit müssen berücksichtigt werden.

Wenn sich physische Systeme oder Produktionsbedingungen verändern, kann es notwendig sein, Modelle mit neuen Daten erneut zu bewerten.

Können Edge AI und Cloud gemeinsam genutzt werden?

Ja.

In vielen modernen Systemen besteht die effizienteste Architektur aus einer Kombination von Edge AI und Cloud-Infrastruktur.

Edge-AI-Geräte in einer Fabrik können beispielsweise Entscheidungen in Echtzeit lokal treffen.

Gleichzeitig können zusammengefasste Daten, Leistungsinformationen oder ausgewählte Beispiele an ein Cloud-System übertragen werden.

In der Cloud können anschließend unter anderem folgende Aufgaben durchgeführt werden:

• Großskalige Analysen
• Modelltraining
• Flottenmanagement
• Langfristige Datenanalyse

Aktualisierte Modelle können später erneut an die Edge-Geräte verteilt werden.

Daher werden Edge und Cloud in modernen KI-Architekturen häufig als sich ergänzende Ebenen betrachtet.

Die Zukunft von Edge AI

Mit der zunehmenden Zahl von Sensoren, Robotern, Fahrzeugen und vernetzten Geräten wächst auch die Menge der in der physischen Welt erzeugten Daten sehr schnell.

Es ist nicht immer effizient oder erforderlich, sämtliche dieser Daten kontinuierlich an zentrale Rechenzentren zu übertragen.

Gleichzeitig werden NPUs, GPUs und spezialisierte KI-Beschleuniger zunehmend kleiner und energieeffizienter, wodurch künstliche Intelligenz direkt in Geräte integriert werden kann.

In Zukunft könnten immer mehr:

• Industriesensoren
• Roboter
• Kameras
• Fahrzeuge
• Mobile Systeme
• IoT-Geräte

KI lokal ausführen.

Diese Entwicklung kann dazu führen, dass künstliche Intelligenz nicht mehr hauptsächlich als Softwaretechnologie digitaler Plattformen verstanden wird, sondern zu einem integrierten Bestandteil physischer Maschinen und Steuerungssysteme wird.

Aus mechatronischer Sicht liegt genau darin die besondere Bedeutung von Edge AI.

Embedded-Systeme zur Verarbeitung von Sensordaten, physische Maschinen, Steuerungssysteme und KI-Algorithmen werden zunehmend innerhalb derselben Architektur miteinander verbunden.