Beschleuniger machen den Unterschied

am 09. August 2019
KI-Anwendungen stellen unterschiedliche Anforderungen an die Hardware. Während beim Inferencing im Prinzip Industrie-Standard-Rechner genügen, erfordert das Training von Machine-Learning Modellen leistungsfähigere Infrastrukturen - bis hin zu optimierten KI-Prozessoren.

KI-Anwendungen lassen sich heute ohne große eigene Ressourcen über die populären Cloud-Dienstleister erstellen. Amazon, Microsoft oder Google stellen hierfür zahlreiche KI-Tools und -Services zur Verfügung. Kosten-, Effizienz- oder Compliance-Gründe können allerdings dafür sprechen, KI-Anwendungen im eigenen Haus zu entwickeln.

In diesem Fall stellt sich die Frage, wie die unternehmenseigene IT-Landschaft strukturiert sein sollte, um die Anforderungen der geplanten KI-Use-Cases abdecken zu können. Gefragt werden muss insbesondere, welche Hardware für einen möglichst performanten und effizienten Betrieb zum Einsatz kommen soll.

Grundsätzlich sollten bei der Definition der Hardware-Anforderungen zwei Anwendungsbereiche unterschieden werden. Das eine ist das sehr rechenzeitintensive Trainieren von neuronalen Netzen. Das andere ist das so genannte Inferencing, das Schlussfolgern aus den eingehenden Inputs, also die eigentliche KI-Leistung.

Training und Inferencing

Beim Training lernt ein Machine-Learning-System aus vielen aufbereiteten Beispieldaten. Im Laufe des Trainings wird die Güte der Schlussfolgerung des KI-Modells immer weiter verbessert. Nach Abschluss der Lernphase kann das KI-System auch unbekannte Daten beurteilen.

Eine Quelle für Trainingsdaten können zum Beispiel IoT-Daten sein, mit denen Datenwissenschaftler maschinelle Lernmodelle für viele Anwendungsfälle trainieren - von der Fehlererkennung bis hin zur Verbraucherinformation. Für das wichtigste Machine-Learning Verfahren mittels neuronaler Netze - Deep Learning - nutzt man heute Frameworks wie TensorFlow.

Beim Inferencing handelt es sich hingegen lediglich um Schlussfolgerungen, die mit Hilfe eines fertigen Modells und eingehender Daten gezogen werden. Ein bereits trainiertes Modell wendet neue Daten an, um Klassifizierungen oder Vorhersagen zu treffen. In der Produktion kann beispielsweise eine KI-Anwendung die Bilder von Fertigungsteilen in gute Teile und Ausschussware klassifizieren.

Die wichtigsten KI-Beschleuniger

Trainings sind im Allgemeinen sehr rechenintensiv und lassen sich bisher am besten mit GPUs beschleunigen. Die Grafikkarten mit ihrer parallelen Architektur und den Tausenden von Kernen reduzieren die Trainingszeiten erheblich. Ein kleiner Datensatz mit einer Trainingszeit von drei bis vier Minuten auf einer klassischen CPU benötigt bei Verwendung einer GPU nur wenige Sekunden. Bei Deep Learning, für das der Trainingsaufwand besonders hoch ist, können sich Trainingszeiten von Wochen auf Tage reduzieren.

Die führenden Server-Hersteller nutzen heute GPUs von NVIDIA, um ihre Systeme für KI- und analytische Anwendungen zu optimieren. Speziell für KI optimierte GPUs können Hunderte von parallelen Berechnungen durchführen und bringen es so auf eine Rechenleistung von über 100 Tera Fließkommaoperationen pro Sekunde (TeraFLOPS).

GPUs waren entscheidend dafür verantwortlich, dass Deep Learning wirtschaftlich rentabel wurde - optimal für KI-Erfordernisse sind die GPUs aber noch nicht. Einige Hersteller bieten deshalb speziell optimierte KI-Chips an. Fujitsu hat mit seiner Deep Learning Unit (DLU) diesen Weg eingeschlagen.

Für das Inferencing sind die Computer-Anforderungen weit weniger hoch. Weil hier der Rechenaufwand deutlich geringer ist,genügt im Prinzip Standard-Hardware. Dennoch kann auch das Inferencing von GPUs profitieren - dann nämlich, wenn die Ergebnisse möglichst schnell und vielleicht in Realtime oder Nahezu Realtime präsentiert werden sollen. "Inferencing findet heute oft bereits auf Tablets und Smartphones statt - oder an der Edge in einer Fabrik", sagt Eric Schnepf, KI-Experte bei Fujitsu. "Wenn an der Edge eine Kamera ein gefertigtes Teil fotografiert,geht das Bild direkt an ein passendes Device, das dann das Inferencing übernimmt."

Standard-Server, GPUs oder KI-Chips?

Hardware-Hersteller, die ihren Kunden die passende KI-Konfiguration anbieten möchten, sollten die Kundenanforderungen genau analysieren. "Wir bei Fujitsu sprechen mit dem Kunden, wofür er die Hardware braucht", sagt Eric Schnepf. "Benötigt er sie eher für große Trainingsaufgaben mit viel Performance auf kompaktem Raum? Oder geht es ihm um Inferencing und Bilderkennung - dann kommen ganz andere Karten ins Spiel."

Fujitsu bietet Optionen für beide KI-Anwendungsbereiche. "Fürs Inferencing setzen wir auf Industriestandard-Server, die gegebenenfalls noch um GPUs erweitert werden", sagte Eric Schnepf. "In unsere PRIMERGY-Server integrieren wir die Beschleunigerkarten von NVIDIA. Die Server sind dann sehr flexibel einsetzbar. Denn wir können die Grafikkarten so konfigurieren, dass sie nur für Grafik- oder Rendering-Zwecke genutzt werden können - oder eben fürs Inferencing."

Die NVIDIA GPUs sind in unterschiedlichen Ausführungen für unterschiedliche Anwendungsfälle verfügbar. Wird fürs Inferencing besonders viel Rechenleistung benötigt ist der neueste NVIDIA -Chip Tesla T4 ein guter Kandidat. "Diese Karte braucht nur 75 Watt, ist aber beim Inferencing sehr schnell. Weil sie so wenig Leistung verbraucht kann man sogar mehrere dieser Karten in einen Server stecken." Für das Training von Machine-Learning-Modellen empfiehlt Fujitsu NVIDIA GPUs mit Volta Kernen - wie zum Beispiel die Tesla V100. Diese Karten sind sehr groß und belegen zwei Slots - allerdings verbrauchen sie auch viel Strom und haben einen höheren Preis.

Kunden, die für das Training noch anspruchsvollere Anforderungen haben und insbesondere viel mit Deep-Learning Modellen arbeiten, empfiehlt Schnepf die DLU. Die Einstiegsvariante eines Deep Learning-Systems besteht aus einem Server mit zwei DLUs, bei höheren Anforderungen kann das System auf bis zu 8 DLUs erweitert werden. Reicht auch dies nicht aus, lassen sich die Systeme clustern, so dass noch mehr DLUs miteinander performant verbunden sind.

Fazit: Zusammenfassend lässt sich sagen, dass gerade in der KI Analyse und Beratung extrem wichtig sind. Ziel ist es, die Anforderungen der Kunden-Anwendung möglichst effizient auf eine integrierte IT-Infrastruktur-Lösung bestehend aus Hardware, System-Software und Applikation abzubilden.