Itsenäisesti liikkuvan dronen tai muun robotin on havainnoitava ympäristöään ja tulkittava havaintojaan tauotta. Tämä vaatii nykyteknologioilla enemmän energiaa kuin kevyen laitteen akut voivat tarjota. Siksi VTT kumppaneineen kehittää näköaistia jäljitellen nopeaa, turvallista ja energiatehokasta konenäköjärjestelmää.
Näkyvää ympäristöä havainnoiva ja havaintoja tulkitseva konenäköjärjestelmä on itseohjautuvien laitteiden perusedellytys. Nopeuden ja turvallisuuden takaamiseksi konenäön on toimittava laitteissa paikallisesti. Tämä onnistuu itseohjautuvissa autoissa lidar-tutkien ja tietokoneiden avulla, kun taas kevyemmissä laitteissa, kuten itsenäisesti lentävissä droneissa, akut eivät riitä tavallisten tietokoneiden käyttöön.
VTT:n koordinoimassa, EU:n rahoittamassa MISEL-hankkeessa pyritään kehittämään nopea, luotettava ja energiatehokas konenäköjärjestelmä, jota voitaisiin hyödyntää muun muassa droneissa, teollisuus- ja palveluroboteissa sekä valvontajärjestelmissä.
”Kehitämme algoritmien ohella laitteita, jotka sopivat paikalliseen havainnointiin ja analysointiin paremmin kuin tietokoneet mikroprosessoreineen ja näytönohjaimineen. Otamme mallia ihmisen näköaistista, joka toimii paikallisesti, nopeasti ja energiaa säästäen. Olennaista on, että järjestelmä suodattaa käsiteltäviä havaintoja alusta asti sen sijaan, että se ottaisi sarjan tavallisia valokuvia ja kävisi läpi kaiken, mitä niissä on. Suodatus onnistuu, kun järjestelmä keskittyy tapahtumiin eli siihen, mikä kuvissa muuttuu”, kertoo MISEL-hanketta koordinoiva erikoistutkija Jacek Flak VTT:ltä.
Uusi sensoriteknologia yhdistettynä koneoppimiseen
MISEL-hankkeessa kehitettävä neuromorfinen eli aivojen toimintaa jäljittelevä konenäköjärjestelmä koostuu kolmesta osasta. Ensimmäinen laite on järjestelmän sensorina toimiva fotodetektori eli valoilmaisin, jonka kvanttipisteet havainnoivat näkyvän valon alueella sekä lähi-infrapuna-alueella. Infrapuna-alueen käyttö mahdollistaa havainnot myös sumussa, sateessa ja pimeässä.
Silmänpohjan tapaan sensori valikoi ja pakkaa dataa ja lähettää sen eteenpäin. Ketjun toinen laite jäljittelee takaraivossa sijaitsevia pikkuaivoja, ja se voi tarjota ohjeita esimerkiksi nopeaan väistämisreaktioon. Ketjun kolmas laite on aivokuorta jäljittelevä prosessori, joka analysoi dataa yhä syvällisemmin ja ohjaa sensoria keskittymään kiinnostaviin kohteisiin. Hankkeen tavoitteena on opettaa järjestelmä koneoppimisen keinoin tunnistamaan erilaisia tapahtumia, esimerkiksi erottamaan lentävä drone ja lintu toisistaan, ja ennakoimaan tapahtumien kulkua.
VTT keskittyy hankkeessa koordinoinnin lisäksi aivokuorta jäljittelevän prosessorin ja uudenlaisen haihtumattoman muistin kehittämiseen. Lisäksi VTT vastaa eri teknologioiden yhteensopivuudesta ja eri komponenttien yhdistämisestä prosessoreihin.
Vuoden 2021 alussa alkaneeseen, nelivuotiseen MISEL-hankkeeseen osallistuu VTT:n ohella kahdeksan kumppania: AMO GmbH (Saksa), University of Wuppertal (Saksa), Fraunhofer Centre for Applied Nanotechnology (Saksa), Kovilta Oy (Suomi), University of Santiago de Compostela (Espanja), Lodz University of Technology (Puola), Laboratoire national de métrologie et d'Essais (Ranska) ja Lund University (Ruotsi). EU:n Horizon 2020 -ohjelma rahoittaa projektia 4,96 miljoonalla eurolla.
