Face the Music: Hogyan segít a "Eye Conductor" a Paralytics-ban?

Andreas Refsgaard, Amszterdamban élő interaktív tervező és kreatív kódoló, olyan zenei felületet tervezett, amely lehetővé teszi a fogyatékkal élő emberek számára, hogy zenét készítsenek. A Eye Conductor szemkövető szoftvert és egy számítógép webkameráját használja, hogy az arcmozgásokat a zenei összetétel különböző összetevőire fordítsa. A felhasználók saját arcukkal képezhetik magukat a dolog elsajátítására, ami azt jelenti, hogy a megbénult emberek - akik már nem játszhatnak hangszereket - második esélyük lehet a szép (vagy csak hangos) hangok készítésére. A helyes pillantás szó szerint a Refsgaard találmányával akadozik. A megfelelő kifejezés hangosan fejezi ki magát.

Refsgaard beszélt fordítottja a projekt mögött rejlő motivációról, az út mentén elszenvedett küzdelmekről, és arról, hogy mit tanult, amit adtak az embereknek, akik elvesztették a képességüket arra, hogy zenét újabb esélyt adjanak.

Mi a zene háttere?

Nem hívnám magam zenésznek, mert csak szórakozásért játszom, de gitárt és basszust játszok. Ableton egy zenei program, egy digitális munkaállomás, amely hasonlít a Logic vagy a Protools vagy a Garage Band felvételi szoftverekhez. Részt vettem rajta, és nem voltam ilyen nagyszerű a zenével, de lenyűgözte a látott lehetőségeket. Aztán elkezdtünk együttműködni, és még több művészi installációs cuccot csináltunk, ahol megtervezné a hangokat, és az érzékelőket, például egy mélységmérő kamerát csatlakoztatnám, így amikor az emberek elmentek, akkor a projekt bizonyos aspektusait irányítják.

Tehát egy interaktív tervező és kreatív kódoló. Meg tudná magyarázni, hogy mit jelentenek ezek a címek?

Minden, amit tervezek, interaktív. Tehát, ha valamiféle bútorokat akarok csinálni, akkor lenne olyan funkciója, amely valamit reagálna. Én is kreatív kódoló vagyok. Sok más emberhez képest - például Koppenhágában, a koppenhágai interakciós tervezési intézetben tanultam, ahol az emberek sokféle hátterűek - kicsit jobban irányulok a kódoló oldal felé. Én is „kreatív kódolónak” hívom magam, mert nem vagyok megfelelő kódoló. Nem vagyok ilyen jó, de néhány dolgot nagyon gyorsan meg tudok csinálni, és összekapcsolhatom a dolgokat, és jó ötletem van.

Mi inspirálta Önt arra, hogy segítsen a fizikai fogyatékossággal élő embereknek zenélni?

Két vagy három hónapos középiskola után gondnok voltam az izomduzzanatban szenvedő valaki számára. Azzal, hogy mindig vele találkozom, rájöttem, hogy néhány dolgot nem tudtam segíteni. Az egyikük kreatív módon fejezte ki magát. Nem úgy gondoltam, hogy "Rendben van egy probléma, amire szükségem van megoldani", mert akkoriban fiatal voltam és nem volt semmilyen szakmai készségem. De megragadt a velem.

Mi a helyzet a műszaki inspiráció szempontjából?

Egy évvel ezelőtt láttam egy Eyewriter nevű projekt egy olyan festményprogram, amely egy olyan fickó számára készült, aki korábban graffiti művész volt, de aztán megbénult. Néhány barátja kódoló volt, és szerszámot készített neki, hogy nyomon követhesse. És miután a zenei szoftverekben érzékelőkkel és cuccokkal játszottam, kapcsolatba léptem. Az iskolában végső projektként csináltam.

Hogyan zajlott le a zene a kreatív területen, amit felfedezni akart?

Azt hiszem, talán azért, mert nagyon élvezem a zenét és a projekthez szükséges időt. Csak kiderült, hogy a zene az, amit akartam dolgozni. Akkor nagyon inspiráltam a Eyewriter a grafika készítésében.

A zene nagyszerű választásnak tűnik, mert egyetemes. Nem hiszem, hogy bárki nem szeret zenét.

Kezdetben azt akartam kipróbálni, hogy milyen fontos zene volt a tervezett csoport számára. A korai lépések csak azt mutatják, hogy a különböző fizikai fogyatékossággal élő emberek kölcsönhatásba lépnek a zenével. Az egyik otthon, ahol meglátogattam, volt a Music csütörtök. Néhányan egy kicsit mutathatnak, vagy egy kicsit játszhatnak a billentyűzeten, és néhány nem tehet semmit, de az a tény, hogy megjelennek a Music csütörtökön.

Figyelembe véve és aztán a készüléket, hogy mennyi ideig tartott?

A tervezési folyamatban gyakran két különálló dolog lenne, de nem tetszik ez a megközelítés. Szeretek építeni a kezdetektől, majd akkor, amikor beszélgetéseket tartok arról, amit építettem. Aztán módosítom vagy finomítom.

Milyen volt látni, hogy az emberek használják először?

Nagyon szép volt, igen. Mivel néhány ember nem tudott beszélni, a kapcsolat nehéz lehet. De akkor, amikor a Szemvezetőt használtam, valóban összekapcsoltunk. Nézett rám, és mosolygott, vagy nagyon boldogan cselekedtek, vagy amikor csak bemutattam, igazán összpontosítottak. Szép példa volt arra, hogyan segíthet a zene az emberek kölcsönhatásában és az érzelmek kifejeződésében.

Anélkül, hogy túlságosan technikailag lett volna, mi volt a legnagyobb probléma, amikor behatolt a szemvezető tervezése során?

Ahhoz, hogy a rendszer működőképes legyen, ugyanabban a pozícióban kell ülnie, mint most ültünk a laptopok előtt, mert a kép, amit rám lát, most egyenes és jó az arcom és a szemem nyomon követésére. De ha valaki olyan kerekesszékben tartózkodik, aki nem rendelkezik például a testtartásukkal vagy a hátuk vagy nyakuk felett, akkor néha oldalirányban ülnek, és a rendszer nem tudta nyomon követni az arcmozgásaikat. És akkor néha kicsit kényelmetlen lenne, ha megpróbálom azt mondani: „Ok, hogy dolgozzatok, hogy egyenesebb legyen.” És akkor, ha nem verbálisak, hogyan kommunikáljuk ezt?

Ha valaki feje úgy döntött volna, hogy elméletileg megtartaná a laptopot úgy, hogy felveszi az arcmozdulatait?

Igen. Tehát nem igazán mentem a kérdés megoldására, de sok embernek van kerekes székére szerelt számítógépe, és a számítógép egy póluson van, majd a rúdon van egy szerelőeszköz, és a megfelelő irányba szögezik a személy arcát. Nincs olyan hely, ami helyes vagy rossz, csak arról szól, hogy az érzékelőket - ami a webkamera és a szemkereső - egyenesen a fejre állítja. Ez egy kicsit kihívást jelentett. Ez inkább egy hardveres dolog volt, mert különben meg kellett volna próbálnom építeni egy szerkezetet, és ez rendetlen lenne. Nem vagyok ilyen jó.

Ön maga csinálta az egészet, vagy technikai problémákkal küzdött, amit csak más emberek tudtak megoldani?

Én magam csináltam, de a hangtervezés oldalán segítséget kaptam a professzortól, akiről beszéltem. Alapvetően csak hang design. Nekem is volt egy tanácsadója, aki néhány mutatót adott nekem a Max nevű programozási nyelv tekintetében, amit igazán nagyszerű volt. Csak segített nekem, hogy kényelmesebb legyen bizonyos programozási részletekkel. Természetesen rengeteg új volt, de ennek alapjai már tudtam a korábbi tapasztalatokból. Nyolc hét múlva elkészítettem a Szemvezetőt, és az emberek azt mondták: „Ó, ez őrült, hogy nyolc hét múlva teheted ezt?” De készítettem néhány más dolgot is, amelyek az érzékelőkkel és a zenei szoftverekkel kapcsolatban is fejlettek, és ami tovább tartott, mert Nem tudtam, hogyan kell csinálni. Most már tudom, hogy nem olyan nehéz, bár ez a projekt bonyolultabb volt. Fontos számomra is rámutatni, hogy ez egy teljesen működő prototípus, de nem termék. Tehát az emberek nem mehetnek ki és vásárolhatják meg és telepíthetik a számítógépre.

Megkérdeztem, hogy tervezi-e eladni?

Tényleg nem akarom eladni, el akarom adni. Nyitott forrássá akarok tenni, de most nem ígérhetem semmit. Még nem rendelkezem finanszírozással, és van munkám és egyéb dolgom is. Egy üzenetet kaptam egy Michigan-i sráctól, aki korábban egy termelő volt, majd megkapta az ALS-t. Valahogy meg kell tennem ezeket az embereket. Számomra nagyon fontos, hogy egy bizonyos ponton, és nem ígérhetem meg, amikor, de remélhetőleg elég hamarosan, úgy csomagolom, hogy az emberek akár egy dologként is letölthessék, és a legtöbb számítógépen futhassanak, vagy ténylegesen kipróbálják a böngészőben. A böngészőhöz való hozzátartozás elképzelése csak akkor lenne szükség, ha az interneten hozzáférhető számítógépet használnának, és aztán bármilyen számítógépet cserélnének az egérrel. Ha nyílt forráskódúvá teszem, megadhatom az alapvető demót, majd az emberek hozzáadhatják a saját fordulatukat, hogy saját maguk legyenek.

Örülök, hogy halljuk, hogy ezt teszed, mert szeretnél segíteni az embereknek, és nem azért, mert szeretnél gazdagodni, vagy ilyesmi.

Az általam készített eszközök - legalábbis a működő prototípus - nyílt forráskódúak. Miért kapnám a hitelt? Például a prototípusomhoz használt arckövető rendszer, amely lehetővé teszi az emberek számára, hogy a szemöldökük felemelésével vagy a szájuk megnyitásával hangot hozzanak létre, egy olyan FaceOSC nevű dolog, amit egy Kyle McDonald nevű srác készít, és ez egy nyílt forráskódú rendszer. Nem hiszem, hogy annyira sikerült volna, ha ezt a szoftvert nem.