Mobile KI: Die richtige Hardware für einen sicheren Transport

Transportable KI-Anwendungen (mobile KI) sind eine Herausforderung in Sachen Umwelteinflüsse, Größe, Gewicht und Leistung. In Fahrzeugen müssen die Systeme beispielsweise mit der Gleichstromversorgung zurechtkommen und sind durch wechselnde Untergründe verschiedensten Vibrationen sowie der Witterung ausgesetzt. Für diese Bereiche gilt es, eingebettete, transportoptimierte Systeme zu verwenden, die den Anforderungen der Anwendung und Umgebung entsprechen.

Mobile KI: Diese Ressourcen braucht sie

AI Transportables unterscheiden sich dabei von herkömmlichen Edge-KI-Infrastrukturen, indem sie die aus Rechenzentren gewohnten Ressourcen zur Ein-/Ausgabe, Netzwerk und Speicher in rauen Umgebungen ermöglichen. Traditionell jedoch sind auf mobile Anwendungen optimierte Systeme in ihrem Datendurchsatz begrenzt, da sie weniger anspruchsvolle und daher weniger leistungsfähige HPC-Subkomponenten nutzen. Kommende KI-Anwendungen, wie das autonome Fahren, erfordern jedoch die Erfassung großer Datensätze und eine schnelle Inferenz, ohne dass die Leistung darunter leidet. Unter Inferenz versteht man das Trainieren von Anwendungen mithilfe maschineller Lernprozesse.

Das Rückgrat von KI-Architekturen sind für gewöhnlich Grafikprozessoren (GPUs). Sie übernehmen den Großteil der Berechnungen. Die Busgeschwindigkeiten haben sich mit PCIe Gen 4.0 verdoppelt und PCIe Gen 5.0 stellt eine weitere Verdoppelung in Aussicht, wodurch PCIe-basierte Endgeräte einen deutlichen Leistungsschub erhalten.

Bandbreiten-Engpässe überwinden

Zudem ermöglichen Fortschritte im Bereich RDMA (Remote Direct Memory Access) den GPUs die direkte Kommunikation mit Speicher- und Netzwerkschnittstellen, wodurch der typische HPC-Engpass des CPU-Verbindungsbusses umgangen wird. RDMA bezeichnet einen direkten Zugriff auf den Hauptspeicher ohne die Beteiligung von Prozessor, Cache oder Betriebssystem. Um das Beste aus jeder der Teilkomponenten herauszuholen, muss der Systemarchitekt den optimalen Weg finden, neue PCIe-Teilkomponenten auf derselben PCIe-Fabric unterzubringen. Die einfachste Möglichkeit, PCIe-Subkomponenten auf demselben PCIe-Bus zu kombinieren, besteht darin, die verfügbaren PCIe-Add-in-Kartensteckplätze des Host-Servers zu nutzen. Zu den Nachteilen dieser Strategie gehören der Formfaktor sowie die Begrenzung der verfügbaren PCIe-Lanes. Bei vielen transportablen KI-Anwendungen ist ein Server in voller Größe aus Platzgründen nicht umsetzbar.

Um die Durchsatzschwelle des Workflows zu erreichen, muss dabei eine Anzahl von NVMe-, GPU-, NIC- und FPGA-Geräten unterstützt werden. In diesen Szenarien sollte der Systemarchitekt PCIe-Erweiterungssysteme in Betracht ziehen. Solche Systeme werden entweder direkt per Kabel oder über einen PCIe-Switch an einen kleineren, optimierten Host-Knoten angeschlossen. So bildet sich ein skalierbares erweiterungsfähiges Cluster. Konfiguriert als JBox (GPU, SSD, FPGA, NIC), können diese Bausteine hinzugefügt werden, um den Engpass zu überwinden. Eine JBox ist dabei eine abgewandelte Form eines JBoD („Just a Bunch of Disks“) – also einem Verbund von Speichermedien. Analog ist eine JBox ein Verbund von allem denkbaren wie GPUs, SSDs, FPGAs, NICs – sozusagen „Just a Bunch of everything“.

KI-Training per Server-Cluster

Das Training anspruchsvollerer KI-Modelle, die komplexe Aufgaben erfüllen, ist sehr rechenintensiv und erfordert große Datensätze. Aktuelle Ansätze für das Trainieren von Modellen erfordern in den meisten Fällen Computersysteme mit mehreren GPUs. Selbst wenn diese Systeme ein einzelnes Modell trainieren, kann dies Stunden oder sogar Tage in Anspruch nehmen.

Aus diesem Grund werden für die Entwicklung und das Training von KI-Modellen häufig gemeinsam genutzte Rechenzentrumsressourcen mit GPU-Server-Clustern von mehreren Datenwissenschaftlern verwendet. Scheduling-Anwendungen verwalten anhand von Prioritäten und Richtlinien die einzelnen Aufträge in Warteschlangen, um eine maximale GPU-Auslastung und einen fairen gemeinsamen Zugriff zu gewährleisten.

Im Gegensatz dazu ist bei der KI-Inferenz der Rechenbedarf für eine einzelne Anfrage gering. Sie profitiert immer noch von der parallelen Architektur der Grafikprozessoren, benötigt aber nur einen Bruchteil der verfügbaren Rechenleistung eines Grafikprozessors.

Rugged Server für mobile KI

Um den vollen Funktionsumfang zu gewährleisten ist ein transportabler GPU-Server in vielen Anwendungsfällen unumgänglich. HPC-Hardware-Anbieter und -Systemintegrator Bressner Technology hat dazu in Zusammenarbeit mit One Stop Systems (OSS) die Short-Depth-Lösung „OSS 3U-SDS“ entwickelt. Dieser GPU-Server mit 20-Zoll Tiefe ist speziell für den Einsatz in Schiffen, Flugzeugen und Landfahrzeugen konzipiert. Bei maximaler Konfiguration erreicht die Hardware eine Rechenleistung von bis zu 9,9 Peta-Ops, wobei Ops für „Operations per Second“ steht.

Mit bis zu sieben PCIe-Gen4-Steckplätzen bietet das System die Möglichkeit, skalierbare Anwendungen mit mehreren leistungsstarken Servern in mobilen Racks über Hochgeschwindigkeitsnetzwerke zu realisieren. Umgekehrt können die sieben verfügbaren Steckplätze ein Scale-Out auf ein oder mehrere PCIe-Erweiterungssysteme unterstützen, um einen großen Systemverbund für Datenerfassung, -verarbeitung, -speicherung und KI-Inferenz zu schaffen.

Laut MarketsandMarkets wird der Edge-Computing-Markt bis 2025 mit einer durchschnittlichen jährlichen Wachstumsrate von 34 Prozent auf 15,7 Milliarden US-Dollar wachsen. Der neue Rugged Server adressiert die steigende Nachfrage nach AI Transportables, einem schnell wachsenden Segment im Edge Computing.

Der Autor Athanasios Koutsouridis ist Content Marketing Manager bei Bressner Technology.

Lesen Sie auch: Embedded SIM: Fit für die Industrie 4.0