Har du noen gang prøvd å vifte hånden rundt som en tryllestav og oppsummere en kalkulator? Vi vil gjette ikke å vurdere at du sannsynligvis ville se litt dumt å gjøre det. Det er med mindre du hadde [Andrei’s] Amazing Gesture-Controled Calculator. [Andrei] trodde det ville være verdifullt å bruke en kalkulator i hans forskningslaboratorium uten å måtte ta hans hansker av og resultatene er ganske kule.
Hans maskinvare består av en Pocketbeagle, en OLED, og en MPU6050-inertial måleenhet for å fange håndbevegelsene ved hjelp av et akselerometer og gyroskop. Maskinvaren er ganske grei, så appellen til dette prosjektet ligger i dens produsent av produsenten.
[Andrei] Fast først noen eksempler datasett for å trene sin algoritme ved å gjenskape håndbevegelsene for hvert nummer, 0-9 og opptak av de resulterende akselerometeret og gyroskoputgangene. Han behandlet dataene først med en wavelet-transformasjon. Formålet med transformasjonen var to ganger. For det første tillot transformasjonen ham til å minimere antall prøver i datasettene mens de opprettholde formen på akselerometeret og gyroskopsignalene, de avgjørende funksjonene i produsentens læringsklassifisering. For det andre var han i stand til å øke antallet funksjoner for klassifiseringen, med tanke på at Wavelet-transformasjonen resulterte i både tilnærmet og grundige koeffisienter som begge kan bli matet inn i algoritmen.
Fordi han hadde et lite datasett, brukte han den stratifiserte shuffle-delteknikken i stedet for testtogsplaten som normalt er mye mer egnet for større datasett. Den stratifiserte shuffle splittet sørget for at det samme antall tog og testprøver for hver gest. Han var også veldig bevisst på å optimalisere sin modell for å kjøre på en bærbar prosesseringsenhet som PocketBeagle. Han brukte litt tid på å optimalisere parametrene i sin algoritme og til slutt konvertert modellen til en tensorflowlite-modell ved hjelp av den innebygde “Tfliteconverter” -funksjonen i Tensorflow.
Til slutt, i ekte åpen kildekode, er all koden tilgjengelig på Github, så føl deg gratis for å gi den en gå selv. Kalkulatorium Leviosa!