KI-basierte Objektverfolgung mit Multi-Kamera-Plattform

FPGA-EDA SENSORIK

N A Tvision Muli Camera Object Tracking Platform
©N.A.T. Gesellschaft für Netzwerk- und Automatisierungs-Technologie

N.A.T. (nateurope.com) hat seine Vision-Plattform NATvision mit integrierter künstlicher Intelligenz zur Objekterkennung und -verfolgung ausgestattet. Die FPGA-basierte MicroTCA-Plattform für Multi-Kamera-Applikationen basiert auf AMDs (ehemals Xilinx) ZYNQ UltraScale+ MPSoC FPGA-Prozessoren und unterstützt die flexibel implementierbaren AMD Deep Learning Processor Units (DPU).

Die FPGA-basierte MicroTCA-Plattform basiert auf AMDs ZYNQ UltraScale+ MPSoC FPGA-Prozessoren und unterstützt die AMD Deep Learning Processor Units (DPU). Durch die DPU-Integration können konvolutionale neuronale Netzwerktechnologien wie VGG, ResNet, GoogLeNet, YOLO, SSD, MobileNet sowie FPN für ihre Multi-Kamera-basierte Objektverfolgung genutzt werden.

In Kombination mit der parallelen Videodatenvorverarbeitung mittels FPGAs ist das Gesamtsystem für den Einsatz in Echtzeit- und High-Resolution-Anwendungen ausgelegt. Unterstützt werden bis zu 48 direkt angebundene 10GbE Kameras in einem 19-Zoll-2U-Formfaktor mit bis zu 100 GbE Datendurchsatz sowie CPU-Boards für übergeordnete Management- und Steuerungsfunktionen.


Typische Echtzeitanwendungen …

für Multi-Kamera-Applikationen finden sich beispielsweise in den Bereichen Schüttgut-Sortierung, Inline-Inspektion und Forschung. Weitere Einsatzgebiete sind Slow-Motion-Anwendungen in der Chemie, Material- und Verfahrenstechnik, Material-, Konstruktions- und Belastungstests sowie die Sportanalytik.


Technische Details

  • Das FPGA-basierte Vision-System NATvision kann mit einer bis zwölf FPGA-Karten für bis zu 48 direkt angebundene 10GbE Kameras in einem 19-Zoll-2U-Formfaktor bestückt werden.
  • Die Leistung der AMD ZYNQ UltraScale+ MPSoC Prozessoren kann von 103.000 bis zu 1,143 Millionen Logikzellen skaliert werden.
  • Von B512 bis B4096 werden alle Architekturen der AMD Deep Learning Processor Units (DPU) unterstützt. Diese sind modular aufgebaut und können daher auch mehrfach parallel integriert werden. Dadurch ist die KI-Leistung skalierbar.
  • Das Design des GigEVision-Firmwarepakets für die FPGA-Karten ist ebenfalls modular aufgebaut, sodass statt GigEVision in der Zukunft auch andere Kamerainterfaces wie CoaXPress etc. integriert werden können.
  • Die Beispielanwendungen und das GenICam-kompatible SDK unterstützen die Inbetriebnahme und Integration in eigene Software-Routinen.
Link(s)