AI-Technologie: Mehr Rechenpower am Edge

AI trägt nicht nur zur Automatisierung bei, sondern auch zur besseren Planung und Wartung der Anlagen. Die Technologie vermindert Ressourcenverschwendung beispielsweise in Form von Ausschuss und unterstützt neue Mobilitätskonzepte. Damit unterstützt AI-Technologie auch den wachsenden Trend zu Nachhaltigkeit.

Selbstlernende Algorithmen bei der AI-Technologie im Trend

Inferenz ist dabei ein wichtiges Stichwort: Es steht dafür, mit Hilfe trainierter neuronaler Netze aus Informationen zu lernen und neue Schlüsse abzuleiten. Allerdings benötigen Inferenz-Anwendungen gewöhnlich eine erhebliche Rechenleistung. Das gilt vor allem in Echtzeitszenarien wie zum Beispiel bei autonomen Fahrzeugen oder wenn es, wie in der Robotik, um das Thema Arbeitsschutz geht. Diese Voraussetzungen lassen sich mit klassischen Standard-Prozessoren nicht effektiv erreichen, denn sie verbrauchen zu viel Strom oder erreichen nicht die benötigte Geschwindigkeit.

Im Grunde wird am Edge, also im Device selbst, eine Rechenpower nötig, die bisher vor allem durch High Performance Computing im Rechenzentrum geliefert werden konnte, mit entsprechenden Nachteilen bezüglich der Latenz und Zuverlässigkeit der Cloud-Verbindung.

Chip-Architektur für neuronale Netze

Als Embedded-Systems-Spezialist fokussiert Kontron daher auf neue Ansätze, um die nötige Performance auch am Edge zu ermöglichen. Einer dieser Ansätze ist ein neuer AI-Chip des israelischen Start-ups Hailo. Der Hailo-8-Chip ist eine Technologie, die den Anforderungen im AI-Umfeld mit einer spezifisch für das Rechnen von neuronalen Netzen entwickelten Chip-Architektur begegnet.

Im Rahmen einer strategischen Technologiepartnerschaft sollen AI-Edge-Inferenzlösungen entstehen. Grundlage dafür ist der neue AI-Co-Prozessor mit einer Leistung von 26 Tera-Operationen pro Sekunde (TOPS) bei einer Effizienz von circa 3 TOPS/Watt. In einer typischen Applikation ergibt sich in der Regel eine Verlustleistung von nur 2,5 bis 5 Watt, je nach Setup und Rechenmodell.

Der Einsatz vor Ort, oft unter den restriktiven Bedingungen in Fertigung und Produktion oder im öffentlichen Raum, bringt hohe Anforderungen an die Ai-Devices mit sich. Sie müssen nicht nur mit den teilweise rauen Umgebungen, sondern auch mit einem breiten Temperaturspektrum umgehen können. Zugleich müssen sie sich auf engem Raum in Geräte und Produktionsanlagen einzufügen: Etwa für Assistenzsysteme in einem autonomen Fahrzeug, in einem Roboterkopf oder einem kleinen Kameragehäuse sind spezifische, kleine Formfaktoren erforderlich.

Schnelle Entwicklung von Anwendungen

Je genauer sich AI-Algorithmen und -Hardware aufeinander abstimmen lassen, desto besser die Performance und desto niedriger der Stromverbrauch. Hailo stellt in seiner „Developer Zone“ viele vortrainierte neuronale Netze („Model Zoo“) zur Verfügung, auf deren Basis Unternehmen schnell neue AI-Anwendungen entwickeln und damit deren Time-to-Market deutlich verkürzen können. Grundlage ist die High-Performance Application Toolkit Tappas (Template Applications and Solutions) des israelischen Start-ups. Es gibt bereits eine Reihe von Lösungen mit diesem Ansatz am Markt.

Um die Rechenpower zu erhöhen, kommen meist Accelerator-Devices für die Beschleunigung zum Tragen, oft maßgeschneidert für bestimmte AI-Anwendungsszenarien. Allerdings unterscheidet sich die neue Technologie darin, dass der Prozessor Domain-spezifisch gezielt für bestimmte Anwendungen optimierbar und in höherem Maß programmierbar ist. Dabei lassen sich nicht nur wie üblich die Parameter der trainierten Netzwerke in den Chip programmieren, sondern es besteht die Möglichkeit, die Hardware gezielt auf bestimmte gewünschte Eigenschaften zu optimieren.

Mit einem bitgenauen Simulator und dem Performance-Tool Dataflow Compiler kann von den Entwicklern individuell festlegt werden, welche Leistungsaspekte ihnen für einen spezifischen Use Case besonders wichtig sind. Aspekte, die sich austarieren lassen, sind beispielsweise Stromverbrauch, Latenz oder Geschwindigkeit. Das Trade-off erfolgt dann analog zum jeweils wichtigsten Anwendungsziel.

AI-Technologie: Ans neuronale Netz anpassbar

Neuronale Netzwerke sind Strukturen mit vielen Layern, in denen Neuronen auf unterschiedliche Arten miteinander verknüpft sind. Je nachdem, welcher Output angestrebt wird, kommen verschiedene Netzarchitekturen zum Einsatz. Beispiele dafür sind MobileNet, ResNet, SqueezeNet oder Tiny-Yolo. In den letzten Jahren kamen neue Architekturen hinzu, die sich vor allem für den Einsatz auf mobilen und Egde-Geräten eignen.

Der Hailo-Chip ist besonders gut auf das jeweils zu rechnende Netzwerk zu optimieren, da die Kernels auf das jeweilige Netzwerk anpassbar sind. Durch den bitgenauen Simulator kann die Applikation außerhalb der Zielhardware zum Beispiel auf einem PC optimiert werden. So lassen sich Geschwindigkeit, Latenz und Leistungseffizienz optimieren.

Neue Chiparchitektur

Der neue Chip verzichtet beispielsweise auf externe Speicher, sondern integriert diese bereits im Chip und damit eng an den konfigurierbaren Rechenkernels. Der AI-Prozessor wiederrum wird am PCIe-Bus der Host-CPU des Edge Computers von Kontron betrieben. Mit der Lösung lassen sich selbst die strengen Sicherheitsvorgaben in der Automotive- und Industrial-Compliance einhalten.

Bildverarbeitungs-Applikationen

In der Industrie sind aktuell Anwendungen rund um das Thema Computer Vision ein wichtiges Einsatzszenario. Etwa zur Objekterkennung, im Qualitätsmanagement oder bei der vorausschauenden Wartung. Entscheidend ist dabei oft die Latenzzeit und Auflösung, die im Prozess benötigt wird. Wenn Objekte auf einem Fließband schnell oder aus großer Entfernung exakt erkannt werden müssen, steigen die Anforderungen an die Performance der eingesetzten Hardware.

Der Hailo-Chip ist mit Latenzen im Millisekundenbereich auch für die anspruchsvolle, schnelle Bilderkennung mit extrem hoher Auflösung ausgelegt. So kann die zur Verfügung stehende Rechenleistung auch dazu verwendet werden, hochauflösende Bilder durch „Tiling“ in mehrere parallel gerechnete Video-Datenströme umzuwandeln, um kleinste Objekte korrekt zu erfassen. Viele kamerabasierte Bilderfassungssysteme hingegen arbeiten mit limitierter Auflösung oder liefern die Ergebnisse mit vergleichsweise hoher zeitlicher Verzögerung, und sind somit für die oben genannten Einsätze nicht optimal einsetzbar.

Dank seiner hohen Geschwindigkeit eignet sich der neue AI-Chip auch für Szenarien, in denen schnell etwas gezählt oder sortiert werden soll; aber auch zum Beispiel für autonome Transportsysteme, die ihre Umgebung erkennen sowie in Cobots, die direkt mit Menschen zusammenarbeiten. Die Architektur mit der anpassbaren Struktur, die kurzen Latenzen und die hohe Performance machen den Chip um eine Größenordnung schneller als bisherige marktübliche Beschleuniger.

Praxishürden für AI-Technologie überwinden

Kontrons Ziel ist, die AI-Technologie gemeinsam mit dem Anwender und einem AI-Core-Support in die Praxis zu bringen. Größter Hemmschuh ist bisher insbesondere im Mittelstand der Fachkräfteengpass im Bereich Data Science. Damit die Potenziale der Künstlichen Intelligenz nicht weiter brachliegen, hat sich Kontron vom klassischen Hardware-Anbieter weiterentwickelt und setzt mit seinen Professional Services darauf, eigene AI-Expertise in den Projekten anzubieten.

Geplant ist zudem eine enge Zusammenarbeit mit dem Chiphersteller auch auf Board-Level: Künftig sollen die AI-Chips auf unterschiedliche Boards integriert werden, konkrete Pläne sind hier bereits in Diskussion. Zudem wird es möglich sein, mehrere der AI-Chips für besonders rechenintensive, unterschiedliche Anwendungszwecke zu kombinieren – je nach individueller Anforderung. Letztlich sind praktisch alle Unternehmen und Organisationen gefragt, den Nutzen von AI-Technologie für ihre Prozesse und Produkte zu evaluieren und erproben. Die Anwendungsfälle werden in den nächsten Jahren nicht ausgehen und die ‚Early Birds‘ können sich teilweise deutliche Vorsprünge vor ihren Wettbewerbern erarbeiten.

Der Autor Christoph Neumann ist Vice President Technology bei der Kontron Gruppe.

Lesen Sie auch: Box-PC: Lüfterloser Computer mit modernster Prozessortechnologie