Ihmiskehon liikkeitä voidaan seurata uusilla, yhä tarkemmilla ja nopeammilla teknologioilla. Kun tietoa liikkeistä yhdistetään ääneen, saadaan välineitä esimerkiksi moderniin tanssi-ilmaisuun tai lisätyn todellisuuden peleihin. Näitä mahdollisuuksia tutkitaan VTT:n koordinoimassa SonicMove-projektissa.
Ihmiskehon liikkeitä koskeva tieto on osoittautunut hyödylliseksi monissa sovelluskohteissa. Esimerkiksi urheilusuorituksia voidaan harjoitella keräämällä kameran ja puettavien ratkaisujen avulla tietoa ihmisen liikkeistä. Liikkeitä seuraamalla voidaan todentaa liikesarjan toistojen tai virheiden samankaltaisuutta.
VTT on kehittänyt pitkään puettavia antureita, joissa liikkeen mittaus perustuu pääosin kiihtyvyys-, kulmanopeus- ja magneettikenttäantureihin. Näiden antureiden avulla voidaan helposti määrittää anturin suhteellinen liike, translaatio ja rotaatio sekä absoluuttinen orientaatio. Tyypillisiä sovelluksia puettaville liikeantureille ovat askelmittaus, liikkeen määrän mittaus, unenseuranta sekä aktiviteetin tunnistus. VTT:n tavoitteena on hyödyntää painetun elektroniikan mahdollisuuksia ja tuottaa joustavia ja pienikokoisia ratkaisuja, jotka ovat käytössä lähes huomaamattomia.
Sovellusmahdollisuudet lisääntyvät, kun liikkeistä saatavaan tietoon yhdistetään ääntä. Reaaliaikainen äänipalaute voi olla vaikkapa jatkuva ääni, jonka korkeus muuttuu käden liikkeen nopeuden mukaan. Ääni voi antaa välitöntä palautetta liikkeestä suorituksen aikana esimerkiksi urheilu- ja pelisovelluksissa. Reaaliaikainen ääni voi myös lisätä todellisuuden tuntua virtuaalitodellisuudessa. Jalkojen kosketus lattiapintaa vasten tai käden pyyhkäisy pöydän pinnalla aiheuttaa ääntä, joka riippuu pinnan ominaisuuksista. Virtuaalitodellisuudessa tämä voidaan tehdä digitaalisesti. Äänen avulla askellus sileällä lattialla voidaan saada kuulostamaan siltä kuin askeltaisi soralla tai lumella.
Liikkeisiin perustuvat äänet voivat tarjota myös puhtaasti esteettisiä elämyksiä. Kun kehon eri osien liikkeistä syntyvät äänet yhdistetään, niistä muodostuu liikkeiden avulla muokattava äänimaisema – liikettä ja ääntä yhdistävä taideteos. Kehosta mitattua liikedataa voi olla käytännössä ääretön määrä, joten seurauksena voi helposti olla äänten kakofonia. On siis oleellista, että data esikäsitellään asianmukaisesti ja varsinaiseen äänisynteesiin päätyy vain huolella valittuja ja lopputuloksen kannalta oleellisia parametreja.
Ratkaisuja hyödynnetään tanssiteoksessa
SonicMove-projektissa syvennytään siihen, kuinka liikkeiden mittausta ja reaaliaikaista äänisynteesiä voidaan hyödyntää taiteessa ja kehollisissa peleissä. Projektin ensimmäinen produktio on Biodatasonaatti-tanssiteos, joka toteutetaan yhteistyössä Tanssiteatteri Minimin kanssa. Teos sai ensi-iltansa 15.11.2023, ja se esitetään syksyn aikana kuusi kertaa.
”Tanssiteos on kiintoisa esimerkki siitä, kuinka teknologiaa voidaan hyödyntää taiteen alalla. Taide ja peliteollisuus ovat potentiaalisia sovelluskohteita VTT:n kehittämille teknologioille. Ihmiskehon liikkeiden mittaus sekä tanssi esimerkkinä siitä liittyvät kiinteästi myös terveysteemoihin, joita tutkimme VTT:llä ahkerasti”, sanoo tutkimustiimin vetäjä Teemu Ahmaniemi VTT:ltä. Projektissa syntyviä tuloksia on tarkoitus hyödyntää mm. aivohalvauspotilaiden kuntoutuksessa tai näkövammaisten arkea helpottavien ratkaisujen kehityksessä.
VTT:n kumppaneita SonicMove-projektissa ovat Itä-Suomen yliopisto ja Aalto-yliopisto. Projektin yrityspartnereita ovat äänentoistolaitteita valmistava Genelec Oy sekä mainos- ja markkinointitoimisto Taustamarkkinat Oy. Taiteellisia kumppaneita ovat puolestaan Kuopio Tanssii ja Soi Festivaali Ry, tanssiteatteri Minimi Ry sekä useat tanssitaiteen ja äänisuunnittelun ammattilaiset.
"Tanssiteatteri Minimin ja Biodatasonaatti-tanssiteoksen taiteellisen työryhmän puolesta olemme todella otettuja ja innostuneita sonifikaatiosta menetelmänä näyttämötaiteen viitekehyksessä sekä toteutetusta yhteistyöstä Sonic Move -hankekumppaneiden kanssa. Yhteistyön myötä on jo syntynyt kaksi uudenlaista ohjelmistorajapintaa, yksi anturien datalle ja toinen äänisuunnittelulle, sekä uusia taiteellisia menetelmiä koreografiseen, äänelliseen ja visuaaliseen suunnitteluun. Sonifikaatio voi parhaimmillaan syventää taide-elämyksen aistirikasta kokemista, ja lisäksi se haastaa taiteen ja tieteen tekijöitä kohti uutta. Tanssiteatterin ja hankekumppaneiden välinen yhteistyö on ollut ennakkoluulotonta, näkemyksellistä, sujuvaa ja rohkeasti toimialojen rajoja sekoittavaa", sanoo tanssiteatteri Minimin taiteellinen johtaja Mikko Makkonen.
VTT:n koordinoima SonicMove-projekti kestää 2,5 vuotta. Projekti saa luovien alojen uudistumiseen tähtäävää rahoitusta Business Finlandilta.
Katso Biodatasonaatti-tanssiteoksen teaser-video
Lisätiedot:
Teemu Ahmaniemi, Research Team Leader, VTT
[email protected], puh. 050 483 5425
Mikko Makkonen, taiteellinen ja tuotannollinen johtaja, Tanssiteatteri Minimi
[email protected], puh. 040 845 0754
