Edge Server für generative KI-Aufgaben

INDUSTRIECOMPUTER

Der AIR-520 Edge AI Server von Advantech nutzt einen AMD EPYC 7003 Prozessor, integriert SQ ai100 AI SSDs, NVIDIA RTX GPU Karten, ein Edge AI SDK, und NVIDIA AI Enterprise.



Die Edge-KI-Serverlösung ist mit der aiDAPTIV+-Technologie von Phison ausgestattet.

Generative KI-Tools wie Large Language Models (LLMs) automatisieren Organisation, Abruf und Analyse von Daten. Kundenspezifische LLMs verbessern die Genauigkeit, während Edge-Training den Datenschutz erhöht, auch wenn es kostspieliger sein kann. Das Gerät unterstützt das LLM-Finetuning mit 1 bis 4 GPU-Karten und SQ ai100 AI SSDs und ermöglicht es, LLMs zu trainieren.


Vier Ausführungen

Der Hersteller bietet vier Optionen an: AIR-520-L13B, L33B, L70B und L70B-Plus, die für verschiedene Skalierungen und Anwendungen geeignet sind.

  • L13B ist für Echtzeitanwendungen wie Chatbots und Sprachübersetzung vorgesehen.
  • L33B ist für komplexere Aufgaben und die Erstellung von Inhalten geeignet.
  • L70B bietet eine anspruchsvolle Datenanalyse und Entscheidungsfindung in speziellen Bereichen.
  • L70B-Plus ist mit der NVIDIA AI Enterprise Software-Plattform ausgestattet und bietet optimierte KI-SDKs mit Support und Beratungsleistungen.


Die Größes des Geräts ist mit der eines Desktop-PCs vergleichbar, er kann mit Zubehör in ein Rack eingebaut werden.