Year: 2024
Type: article
Abstract: Akoestische camera's zijn toestellen die geluid visualiseren door gebruik te maken van arrays van microfoons.Het signaal van elke microfoon wordt gecombineerd door middel van een beamforming algoritme om een akoestische heatmap of akoestische foto te genereren.Deze beamforming algoritmes hebben de tendens om rekenkundig zwaar te zijn, wat toeneemt met het aantal microfoons.De combinatie van een hoog aantal Input/Outputs (I/Os) vereist voor de microfoons, gecombineerd met de hoge mate van parallelle berekeningen zorger er voor dat Field Programmable Gate Arrays (FPGAs) uitermate geschikt zijn voor het verwerken van signalen van deze microfoon arrays.FPGAs hebben een laag energie verbruik, wat ze uitstekend maakt voor batterij gevoede oplossingen zoals draagbare akoestische camera's of nodes in een sensor netwerk.Ondanks de hoge computationele kracht per watt van FPGAs, blijven realtime scenarios nog altijd moeilijk, vooral wanneer de akoestische foto's een hogere resolutie hebben.Om deze uitdaging te overwinnen is een multi-mode akoestische camera ontwikkeld.De camera ondersteunt meerdere modi afhankelijk van de gewenste taak.Om in realtime te opereren voor elke modus wordt de resolutie van de akoestische heatmap aangepast.Een tweede limitatie van de huidige akoestische camera's is het identificeren van het type geluid, waarvoor over het algemeen een menselijke expertise nodig is om het geluid te herkennen en te profileren.De voorbije jaren heeft deep learning, een vorm van Artificial intelligence (AI), veelbelovende resultaten getoond in geluidsherkenning door middel van Convolutional Neural Networks (CNNs).Echter, de meeste onderzoeken focussen op het verbeteren van de accuratesse van zulke modellen zonder rekenning te houden met de limitaties die men tegenkomt wanneer deze modellen worden geïmplementeerd op apparaten met beperkte middelen zoals FPGAs.FPGAs worden vandaag de dag gebruikt voor deep learning inference op ingebedde toestellen, voornamelijk op basis van twee type architecturen.Een eerste type architectuur gebruikt een algemene soft-core in de Programmable Logic (PL) van de FPGA.Aan de andere kant zijn er ook op dataflow gebaseerde architecturen die elke laag van een CNN vertalen naar een functionele blok in de PL.Inbedden van CNNs voor inference op FPGAs is geen triviale taak en komt met compromissen in termen van gebruikte midellen, accuratesse, ondersteunde lagen,... Deze twee architecturen worden vergeleken met andere ingebedde oplossingen zoals de edge Tensor Processing Unit (TPU) van Google of een Raspberry Pi (RPi) om te bepalen welke het best past bij akoestische camera's.Akoestische camera's zijn hier het doel omdat ze de locatie van een geluidsbron kunnen vinden, wat niet mogelijk is wanneer men één enkele microfoon gebruikt.Ook laten bestaande beamforming technieken, zoals delay-and-sum, toe om geluidssignaal te herconstrueren, wat gebruikt kan worden voor geluidsclassificatie taken.
Author: Jurgen Vandendriessche
Language: English
Topic: Speech and Audio Processing
Subfield: Signal Processing
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7015782875
