Diplomarbeit: FPGA & DSP basierendes Bildverarbeitungssystem

Entwicklung eines Bildverarbeitungssystems für CMOS-Kamerabilder basierend auf Field Programmable Gate Array (FPGA) und digitalen Signalprozessoren

In der Bildverarbeitung werden üblicherweise Firewire- oder USB-Kameras mit einem Standard-PC verwendet. Mit dieser Arbeit wurde ein universelles Bildverarbeitungssystem entwickelt, welches die Vorteile von preisgünstigen CMOS-Bildsensoren, FPGAs und DSPs miteinander vereinigt. Das System verfügt über ausreichende Leistungsreserven, um auch aufwendige Berechnungen in Echtzeit durchzuführen. Die Leistungsfähigkeit konnte anhand mehrerer Anwendungsbeispiele aus verschiedenen Bereichen gezeigt werden.

Aus dem Inhalt:

Demo Video

Video 1: M-Cam Demo Video: Sobel-Kantenerkennung, High/Low-Pass, Object-Recognition, Squirrel-Tracker und 3D-Scanner. Alles läuft direkt auf dem FPGA und dem DSP (ohne PC).

DM642-DSP-Board mit aufgesteckter Schnittstellenplatine.

Bild 1: DM642-DSP-Board mit aufgesteckter Schnittstellenplatine.

Rückseite der LVDS-DeSerializer-Platine.

Bild 2: Rückseite der LVDS-DeSerializer-Platine.

Sensorplatine mit 3-Megapixel CMOS-Sensor.

Bild 3: Sensorplatine mit 3-Megapixel CMOS-Sensor.

Aufbau der Kamera

Bild 4: Aufbau der Kamera

Gehäuse der Kamera

Bild 5: Gehäuse der Kamera

Der Mond, aufgenommen mit einem 50mm-Objektiv und der M-Cam (Baum im Vordergrund).

Bild 6: Der Mond, aufgenommen mit einem 50mm-Objektiv und der M-Cam (Baum im Vordergrund).

Zeitlupe

Video 2: Verschiedene Szenen, die bei 300fps mit der MCam aufgenommen wurden. Wiedergabe abwechselnd in Realzeit und 1:10 Zeitlupe.

Anwendungsbeispiel: Objekterkennung

Video 3: RGB-Filter und GUI-Test.

GUI und Filter laufen auf einem DM642-DSP bei 640x480 Pixel @ 120 fps in Echtzeit.

Video 4: Squirrel-Tracker

Der Squirrel-Tracker findet das Eichhörnchen (oder ein beliebiges anderes Objekt) im Bild und sorgt dafür das dieses immer richtig herum und mit der gleiche Größe in der Mitte des Bildes angezeigt wird. Alles bei 60fps in Echtzeit mit der M-Cam und einem DM642-DSP @600 Mhz (ohne PC).

Video 5: M-Cam 3D Laserscanner Test. Die eingescannten 3D-Daten wurden mit dem Raytracer Povray gerendert.

Mit Povray gerendertes 3D-Modell.

Bild 7: Mit Povray gerendertes 3D-Modell.

In eigener Sache: Nein, ich verschicke das PDF meiner Diplomarbeit nicht an fremde Leute. Sorry. Falls eine innovative Firma Interesse an dem Know-How hat und mir ein interessantes Jobangebot anbieten kann, freue ich mich natürlich über eine kurze Nachricht.

Tags: c c++ opencv assembler vhdl verilog uni universität tu-dortmund diploma thesis diplomarbeit abschlußarbeit ti 320F fpga blob patch robotsoccer image processing edge detection sobel object recognition objekterkennung dsp fpga digitaler signalprozessor
eXTReMe Tracker