Entwicklung: Kameramodul-Hardware für KI-Anwendungen

EMBEDDED SYSTEMS

Ein von STMicroelectronics angebotenes AI Firmware Function Pack in Verbindung mit einem Kameramodul-Hardware-Bundle gibt Embedded-Entwicklern die Möglichkeit zur Realisierung Computer-Vision-Anwendungen, die lokal auf STM32-Mikrocontrollern laufen.



Das STM32Cube Function Pack FP-AI-VISION1 umfasst mehrere Codebeispiele zur Demonstration kompletter Computer-Vision-Anwendungen mit einem Convolutional Neural Network (CNN) auf einem STM32H747, die sich auf alle anderen STM32-MCUs portieren lassen. Die Firmware schlägt mehrere Anwendungsbeispiele vor, ermöglicht den Entwicklern dabei aber das erneute Training der neuronalen Netze mit selbst gewählten Datensätzen, was die Möglichkeit zur Realisierung unterschiedlichster Anwendungsfälle bietet.


Zu den Features gehören ...

die Unterstützung für USB VC Camera (Webcam-Modus) zur Bilderfassung sowie Codebeispiele für die Nahrungsmittel-Klassifizierung und die Präsenzerkennung von Menschen, zur Einrichtung eines visuellen „Aktivierungsworts“, um das System aus dem Stromspar-Modus herauszuholen. In einem Artikel in der STM32-Wiki wird gezeigt, wie das Online-Tool „Teachable Machine“ zusammen mit STM32Cube.AI und dem FP-AI-VISION1 Function Pack genutzt werden kann, um eine Bildklassifizierungs-Anwendung zu realisieren.

Das Kamera-Bundle B-CAMS-OMV ist für die Verwendung mit dem FP-AI-VISION1 optimiert. Das Bundle enthält das MB1379 Tochter-Board auf Basis des 5-Megapixel-Farbkameramoduls OV5640, das zu sämtlichen STM32 Discovery und Evaluation Boards mit ZIF-Steckverbinder kompatibel ist. Die Adapterkarte kann ebenfalls mit der für Automotive-Anwendungen vorgesehenen Grauskalen-Global-Shutter-Kamera VG5661 von ST verwendet werden. Mit Waveshare- und OpenMV-Steckverbindern können Anwender außerdem verschiedene, im Infrarotbereich und sichtbaren Spektrum arbeitende Kameras von Drittanbietern anschließen. Ein weiterer ST-Wiki-Artikel beschreibt die Integration von Code, der mit STM32Cube.AI im OpenMV-System generiert wurde.


Künstliche neuronale Netze

Zum Funktionsumfang von FP-AI-VISION1 gehören verschiedene Framebuffer-Verarbeitungsfunktionen, Kameratreiber und Software für die Bilderfassung, die Vorverarbeitung und die Neural-Network-Inferenz. Es stehen unterschiedliche Neural-Network-Modelle zur Auswahl, darunter ein gleitkommabasiertes Modell und ein quantisiertes Modell. Letzteres wurde von X-CUBE-AI generiert, dem C-Code-Generator von ST für künstliche neuronale Netze. Dank der Unterstützung für Speicherkonfigurationen ist eine Feinabstimmung des Modells auf die jeweilige Anwendung möglich.

Das Function Pack steht auf www.st.com kostenlos zum Download zur Verfügung. Das  Kameramodul-Bundle B-CAMS-OMV kann auf www.st.com und bei Distributoren zum Preis von 56,- US$ bestellt werden.

Fachartikel