Edge Computing System: So lassen sich KI-Anwendungen realisieren

Anbieter zum Thema

MPDV Mikrolab GmbH

AMD Advanced Micro Devices GmbH

UberCloud

Mit der Veröffentlichung der neuen System-on-Module Architektur Jetson AGX Orin hat Hersteller Nvidia den Markt für Hardware-Lösungen ordentlich aufgewirbelt. Doch wie viel Einfluss wird die neue Plattform für skalierbares Embedded und Edge Computing in der Zukunft nehmen und welche Anwendungen sind denkbar?

Edge Computing System: Künstliche Intelligenz wird in naher Zukunft überall um uns herum sein. Schon heute liefern vollständig autonome Drohnen Pakete an Endkunden oder prüfen Ackerflächen auf Schädlingsbefall und potenzielle Ernteerträge. Die Auto­matisierung industrieller Sektoren schreitet unaufhörlich voran und die Euphorie wird durch neue Technologien wie 5G und 6G nur noch weiter angeheizt.

Edge Computing System: Raus aus der Cloud

Hardware-Hersteller und IT-Distributoren versuchen die Netzwerklast von ohnehin schon strapazierten Clouds zu reduzieren und nutzen ein dezentralisierte Edge Computing System in unmittelbarer Nähe zur Anwendung. Als Plattform für autonome Maschinen schöpft Nvidia Jetson das volle Potenzial von KI-gestützten mobilen Robotern, Drohnen, Netzwerk-Videorekordern oder optischen Inspektionen aus. Die Ankündigung der Jetson AGX Orin Module im September 2022, wirft daher die Frage auf, wie sich die neue Architektur auf zukünftige Hardware-Systeme auswirken wird.

Festfunktionsbeschleuniger für Deep-Learning-Operationen

Bei Nvidia Jetson handelt es sich um eine Serie von System-on-Modules (SOM) inklusive Prozessor, Grafikkarte, Speicher, Energiemanagement, High-Speed Schnittstellen und mehr. Die Systeme variieren dabei im Formfaktor, der Ausstattung sowie der Energieeffizienz, um verschiedene Branchen abdecken zu können. Die neu vorgestellten Jetson Orin Module bieten in der höchsten Modellklasse bis zu 275 TOPS (Tera Operations per Second), was dem achtfachen KI-Leistungspotenzial der Xavier Generation entspricht.

Die integrierte Ampere GPU besteht aus 2 Grafik-Prozessor-Clustern (GPC), bis zu 8 Textur-Prozessor-Clustern (TPC) sowie bis zu 16 Streaming-Multiprozessoren (SM) mit 192 KByte an L1-Cache und 4 MByte L2 Cache. Zusätzlich werden 128 CUDA-Kerne pro SM unterstützt, wodurch die 64-GByte-Version des Orin Moduls insgesamt 2048 CUDA-Kerne und 64 Tensor-Kerne zu bieten hat. Der Nvidia Deep Learning Accelerator (DLA) ist ein Festfunktionsbeschleuniger, der für Deep-Learning-Operationen optimiert ist. Er ist für die vollständige Hardware-Beschleunigung der faltungsneuronalen Netzinferenz geschaffen worden. Der Orin SoC bietet Unterstützung für die nächste Generation von NVDLA 2.0 mit der neunfachen Leistung von NVDLA 1.0 sowie einer energieeffizienteren Architektur.

Edge-KI-Anwendungen erfordern mehr Ressourcen für Computer Vision

Die GPU- und DLA-Optimierungen heben die KI-Leistung von Orin auf Serverniveau. Unterdessen steigen auch die Anforderungen an die Rechenleistung um Größenordnungen für Funktionen wie Multi-Sensor-Wahrnehmung, Kartierung und Lokalisierung, Planung und Steuerung sowie Situationsbewusstsein und Sicherheit. Insbesondere die Robotik und andere Edge-KI-Anwendungen erfordern immer mehr Ressourcen für Computer Vision und konversationelle KI.

Das Jetson AGX Orin Modul liefert die bis zu 3,3-fache Leistung von Jetson AGX Xavier bei realen KI-Anwendungen (gemessen in Inferenzen pro Sekunde), wie vortrainierte Modelle bereits zeigen. Ausgehend davon ließe sich diese Leistung mit zukünftigen Software-Updates um das beinah fünffache steigern.

Zusätzliche Performance und Energieeffizienz für Unternehmen

Mit Orin Entwickler-Kits können Unternehmen komplexe und zukunftsgerichtete KI-Anwendungen an der Edge realisieren. Dazu zählen Anwendungsbereiche wie Industrial IoT, Logistik und Transportwesen, Agrarwirtschaft oder das Gesundheitswesen. Durch die Kompatibilität von Cloud-nativen Workflows und KI-Software, die schon auf Vorgänger-Plattformen verwendet wurde, ermöglichen die neuen Module Unternehmen zusätzliche Performance und Energieeffizienz, um mobile Roboter für verschiedene Alltagsaufgaben entwickeln zu können. Autonome Maschinen sortieren schon heute Waren in Logistikhallen oder betreuen selbstständig Kunden im Einzel- oder Großhandel. Auch automatisierte Zutrittskontrollen für Gefahrenbereiche, in denen Mitarbeiter nur mit Helm und Sicherheitsweste eintreten dürfen, werden durch kompakte Jetson Hardware in Echtzeit ermöglicht.

Edge Computing System: Jetson AGX Orin Plattform mit Schlüsselrolle

Die Nachfrage nach den neuen Modulen ist vorhanden und wird - in Anbetracht des Preis-Leistungsverhältnisses - weiter steigen. Hersteller und Systemhäuser haben unlängst einen straffen Zeitplan geschaffen. In den nächsten Monaten und Jahren werden Embedded PCs und GPU-Computer auf Basis von Orin SoCs zur Marktreife gelangen. Hardware-Hersteller für frei konfigurierbare Edge Intelligence-Lösungen wie AI-BLOX berichteten bereits seit Dezember 2022 über neuartige Prozessormodule mit Jetson AGX Orin. Weitere Modelle mit Orin NX und Orin Nano sollen zeitnah folgen. Das NASDAQ-Unternehmen One Stop Systems plant für 2023 in Zusammenarbeit mit dem Systemhaus Bressner Technology ein kompaktes Dual-Orin System in einem Ruggedized-Chassis. Die High-Performance-Computing-Experten nutzen Synergien, um den europäischen Markt für industrielle Supercomputer zu erschließen.

Die Veröffentlichung der neuen Nvidia Jetson AGX Orin Plattform wird zweifelsfrei großen Einfluss auf die Zukunft des Edge Computing haben. Die Kombination aus Leistungsfähigkeit und Skalierbarkeit entspricht den Anforderungen, die industrielle Betriebe an moderne KI-Anwendungen stellen: Klassifizierung, Objekterkennung, Text-to-Speech, Sprachübersetzung, Empfehlungsdienste, Stimmungsanalyse und vieles mehr. Künstliche Intelligenz wird in naher Zukunft immer mehr Teil unseres Alltags sein und das Edge Computing System Jetson AGX Orin Plattform wird eine Schlüsselrolle in dieser Entwicklung spielen.

Bressner Technology

Als Systemintegrator, Hersteller, Value-Added-Distributor und Systemhaus für industrielle Hardwarelösungen, Komponenten und Built-to-Order bietet Bressner ein großes Portfolio für unterschiedliche Einsätze in der Industrie. Maßgeschneiderte Lösungen für Maschinenautomation, Logistik & Transport und Produktion gehören ebenso zum Leistungsspektrum wie ein umfassender Service rund um Themen wie KI-Applikationen, Machine und Deep Learning, Netzwerke, Intelligent Retail, Kommunikation sowie Sicherheit.

Der Autor Athanasios Koutsouridis ist Marketing Manager bei Bressner Technology.

Lesen Sie auch: Nvidia-Ada: Mehr Leistung für Ihre Produktivitätssteigerung