·

·

Immersioon virtuaalreaalsuses


2023. aasta BA lõputööd TÜ Semiootika osakonnas:
Palm | Käesel | Sauga-Tilk | Jürgens | Kuningas | Kriisa | Šafranovski | Shahmardan | Rajand | Valk | Eerik


Jürgens, Joan 2023. Virtuaalreaalsus ja liitreaalsus: immersiooni loomine. Bakalaureusetöö. Juhendaja: Maarja Ojamaa. Tartu Ülikool, Filosoofia ja Semiootika instituut, Semiootika osakond.

Töö keskendub virtuaal (VR)- ja liitreaalsusele (LR), mille igapäevane kasutusvaldkond piirdub meelelahutus ja hariduslike valdkondadega. Eestis on loodud rohkem VR mänge ja hariduslikke materjale kui LR kasutavaid rakendusi. Näidetena keskendutakse töö teises pooles mängule "Kalevipoja retk Põrgusse" ja kunstiinstallatsioonile "Avar Art Gallery". Teosed osutusid valikuks seetõttu, et tegemist oli avalikuks kasutamiseks loodud kogemustega ehk olid nö tavakasutajale kättesaadavad. (Jürgens 2023: 3)

Esimesest on näha lühitreiler - näide virtuaalreaalsusest. Üks tegijatest on postitanud ka lühikese video AVAR Art Gallery kasutamisest - näide liitreaalsusest, mis muudab mõned kohad Tallinna kesklinnas nutitelefoniga avastatavaks kunstinäituseks. Koduleheküljel on märgitud, et Tartu Raekoja plats ja Ülejõe park on ka kaasatud.

Esimeses peatükis selgitatakse tööks olulisi aspekte - VR ja LR, immersioon, ruumitaju, mängulisus ja piirid. Piir selle töö kontekstis esidab piiri virtuaalse ja füüsilise vahel ning ka takistusi. (Jürgens 2023: 3)

Ruumi semiootilised dimensioonid oli 2019. semiootika suvekooli teemaks. Mängulisus tuleb tuttavana ette sama aasta Semiootika sügiskoolist. Piiridele on samuti kunagi ammu enne isegi minu aega pühendatud Tartus semiootika konverents. Põhiline novelty, mida tuleks semiootikasse transleerida, on immersioon.

VR ja LR kasutajal on vaja terve kehaga ringi liikuda, et virtuaalsete elementide ja maailmaga suhelda, mille tõttu liigub inimene virtuaalses ning füüsilises maailmas samaaegselt. [|] Ruumitaju on keeruline protsess, mis hõlmab erinevaid meeli näiteks nägemine, kuulmine (Eysenck jt 2010: 34) ning sügavustaju (Swan jt 2007: 430). Kuna inimeste meeled on aga väga individuaalsed on ruumitaju uurimine keeruline. VR ruumitaju on uuritud ja võrreldud füüsilise ruumi tajuga kohalolu kontekstis (Khenak jt 2020) ehk kui intensiivne on tunne, et kasutaja on transporditud virtuaalsesse ruumi. (Jürgens 2023: 3-4)

Siin blogis leidsin "immersiooni" märkimise oma märkmetes Lotmani tekstile "Kunst modelleerivate süsteemide reas", osas mis puudutab mängu (tingliku) ja praktilise (tõelise) käitumise "üheaegset realisatsiooni". Täiesti kohane, sest virtuaalreaalsuse ringi vehkides tuleb olla ettevaatlik, et pärismaailmas mitte kukkuda või millelegi otsa põrgata; liitreaalsuses on see küsimus ehk lihtsam, sest virtuaalne on asetatud tegeliku peale ja on seeläbi selgem.

  • Eysenck, Michael W.; Keane, Mark T. 2010. Cognitive Psychology: A Student's Handbook. 6th ed. London: Psychology Press.
  • Swan, J. Edward; Jones, Adam; Kolstad, Eric; Livingston, Mark A.; Smallman, Harvey S. 2007. Egocentric depth judgments in optical, see-through augmented reality. IEEE Transactions on Visualization and Computer Graphics 13(3): 429—442. DOI: 10.1109/TVCG.2007.1035
  • Khenak, Nawel; Vézien, Jeanne; Bourdot, Patrick 2020. Spatial Presence, Performance, and Behavior between Real, Remote, and Virtual Immersive Environments. IEEE Transactions on Visualization and Computer Graphics 26(12): 3467—3478. DOI: 10.1109/TVCG.2020.3023574
Immersioon (või ka psühholoogiline immersioon) on kogemusse sulandumise tunne (Kuksa jt 2014: 7). Immersiooni saavutamiseks ei eksisteeri kindlat valemit, kuid suur osa sellest on kasutaja enda soov kogeda immersiooni, eelnevad kogemused ja erinevad mängulised elemendid, mida töö esimene osa rohkem avab. (Jürgens 2023: 4)

Selle üldmääratlusega meenub flow ehk tegevuse ja teadvuse ühtesulandumine (the melting together of action and consciousness). Lõputöö autor räägib samas lõigus edasi immersiooni uurimisest arvutimängudes üldiselt. See on ka siinkirjutajale rohkem tuttav FPS-mängudest, kus ringi joostes, vaenlasi tulistades ja meeskonnakaaslasi (nt freeze tag'i puhul üles sulatada) aidates viibib mängija vaimselt peaaegu täielikult ebareaalses virtuaalses maailmas.

Virtuaalreaalsuse (VR) eesmärk on arvutitehnika abil luua virtuaalseid keskkondi, mis mõjuvad kasutajale reaalselt (Shen jt 2008: 962). Liitreaalsus (LR) kuvab virtuaalseid elemente füüsilisele maailmale (Shen jt 2008: 962). Mõlema puhul on tegu arvutite abil loodud virtuaalsete elementide ja keskkonnaga. Virtuaalreaalsuse ideaal on immersioon sünteetilisse või küber keskkonda. Liitreaalsus on aga lisa füüsilisele maailmale ega asenda seda sünteetiliselt nagu virtuaalreaalsus (Shen jt 2008: 962). (Jürgens 2023: 6)

Ülal otsisin selle jaoks sõnu - "virtuaalne on asetatud tegeliku peale". Virtuaalsed elemendid on kuvatud füüsilise maailma peale lisaks. Terminite osas kriibib natuke "sünteetiline", aga põhjusel, mille osas ei ole midagi ette võtta: filosoofias ja loogikas eristuvad analüütiline ja sünteetiline just selle poolest, et "sünteetilisel" on midagi pistmist tegeliku kogemusega; st ülekantud tähenduses oleks VR "analüütiline" ja LR "sünteetiline" iseenesest. Mida autor mõtleb "sünteetilise" all on ilmselt midagi sellist nagu "tehislik" (artificial) - "sünteetiliseks" nimetatakse samas tähenduses keemilisi ühendeid, mille eesmärk on jäljendada looduslikke aineid, a la sünteetiline kumm, kunstnahk, jne.

Liit- ja virtuaalreaalsuse üheks eristavaks aspektiks on tehnoloogia, millega loodud "reaalsuseid" kogetakse. Nimelt liitreaalsusel on silmaga eristavad piirid, mis eraldavad seda füüsilisest maailmast. Näiteks nutitelefoni ekraani piirid või ka mõnele pinnale kuvatud liitreaalsuse kujutise piirid. Vahendeid, millega LR kogeda ja kujutada on erinevaid, kõige levinum on mobiilne liitreaalsus - seda kogetakse peamiselt läbi erinevate nutiseadmete ning on selle tõttu kergesti kättesaadav. Nutiseadmel millega soovitakse LR kogeda peaks olema töötav ekraan, kaamera ja võimekus kasutada rakendusi, millega saab liitreaalsust kujutada. LR nõuab ümbritseva füüsilise ruumi jälgimist, tihti ka selles orienteerumist. Inimene näeb, kus ta liigub nii virtuaalses, kui ka füüsilises maailmas. (Jürgens 2023: 7)

Võib öelda, et liitreaalsusel on nö "topeltartikulatsioon": füüsilise ruumi elementidele lisanduvad virtuaalse keskkonna elemendid, mis korrastavad seda ümber, kodeerivad seda millekski muuks.

VR on tavaliselt ühes kindlas ruumis või kohas võib pidada ka kasutaja ohutust. Nimelt kui kasutaja ei näe füüsilist maailma, mis teda ümbritseb on liikumine ohtlik. Sellises olukorras luuakse näiteks virtuaalreaalsuskeskkondi, kus liikumine otseselt vajalik pole, peab ainult vaatama. Üheks sääraseks näiteks on VR Tartu 1913, kuna kasutaja viibib kogemuse ajal sõidutee ning tiheda liiklusega silla ristmikul on ohutum, kui neil puudub võimalus ning vajadus liikuda. Erinevalt liitreaalsusest ei näe läbi virtuaalreaalsusprillide kasutajat ümbritsevat ruumi. Nähakse digitaalselt loodud maailmu, mis reageerivad kasutaja liigutustele. (Jürgens 2023: 9)

Dääm, seda tahaks ise näha. Praegused pakkumised tunduvad üsna kesised, aga mõte on hea: vanad pildid renderdada terveteks keskkondadeks, milles hüpata aastakümnest aastakümnesse, et vaadata linna muutumist.

Sellise kogemuse loomiseks on oluline immersioon. [...] Tihti viidatakse sellele ka kui kohalolule. Tegu pole vaid digitaalsele maailmale omase nähtusega - filmidesse ja raamatutesse süvenemine nii, et välismaailma ei panda tähele on täheldatud või soovitud efekt, mida tarbija puhul esile soovitakse kutsuda. (Jürgens 2023: 10)

See tunne kui film, raamat või mäng haarab nii väga, et kõik muu taandub tähelepanu keskmest kuskile ääremaale või tagataustale.

Võimalus liikuda, mõjutada virtuaalseid keskkondi ja saada sealt mingisugust tagasisidet (nt mängude puhul puldi vibreerimine või muu tagasiside teistelt kasutajatelt või tehisintellektilt) loob samuti immersiooni soodustava kogemuse. (Jürgens 2023: 11)

Minu varajaseim kokkupuude "immersiooni" mõistega oligi ilmselt haptiliste tehnoloogiatega seoses - viimastel aastakümnetel on proovitud järgi igasuguseid vidinaid, mida keha külge kinnitada, et üle interneti tekitada vastastikkuse kohalolu tunnet.

Virtuaal- ja liitreaalsuse kogemused on tihti loodud mänguliseks. Peamiselt selle tõttu, et kasutajal oleks virtuaalses keskkonnas midagi teha. Immersiivse tunde tekitab võimalus virtuaalses maailmas liikuda ja seda oma tegude tagajärjel mõjutada (Calleja 2007: 83-88). Lihtsaim viis seda teha on luua narratiiviga mäng või mänguline kogemus. (Jürgens 2023: 11)

Äärmuslik näide on Community episoodis "Lawnmower Maintenance and Postnatal Care" (S06E02) näidatud VR süsteem, kus tuleb näiteks faili kustutamiseks see hiiglaslikust sahtlikabinettide seinast üles otsida ja siis purskkaevu uputada (klipp).

Inimesel on virtuaalreaalsust kogedes egotsentriline maailmavaade (Hamill 1994: 143). Ehk kasutaja näeb virtuaalset ruumi oma vaatepunktist. Sama kehtib ka LR puhul - ekraanil ei nähta tegelast, kes allub kasutaja käsklustele vaid kasutaja ise on see tegelane. K. Davidson [|] (2022: 94) toob välja, et inimesed liiguvad virtuaalreaalsuses erinevalt, kuna tekib laval olemise tunne ning sellel laval tekib illusioon virtuaalsest kui füüsilisest. (Jürgens 2023: 11-12)

Hmm. See on ehk virtuaalreaalsuses viibimise kehalisusest tingitud, et kogetakse ennast näitleja-tegutsejana mingis "lavastuses", sest virtuaalreaalsuse keskkond on tehniliselt lavastatud - teadlikult-tahtlikult üles seatud kunstilise efekti või illusiooni tekitamiseks. Sellega seoses meenub siin töös seni vist mainimata seik, et Youtube'is olid mõned aastad tagasi päris populaarsed virtuaalreaalsuse-etendused; eriti nt CollegeHumor tegi taolisi videoid, mida brauserist (2D) ei ole kõige lihtsam või meeldivam jälgida. See asi jäi ilmselt soiku tüüpilisel põhjusel, et pööbel ei suvatse piisavalt võimekat arvutit ja prille soetada.

Füüsilises keskkonnas toimuv liitreaalsuse kasutamise ajal on selle tõttu osa kunstilisest ruumist, täpselt nagu virtuaalsed elemendid. See ruum on aga alati piiratud, kasutaja näeb ainult seda, mis mahub tema ekraanile, VR puhul seda, mis mahub tema vaatevälja. Virtuaalse ruumi sisene ei ole võrdne füüsilise ruumiga ja vastupidi (Lotman 2016: 132). Astudes virtuaalsesse maailma ollakse valmis vastu võtma seda kui sellele maailmale omast maailmamudelit olenemata sellest, kas nähtav tundub reaalne või mitte. Vastuvõtmisele, aitab kaasa arusaam virtuaalse maailma piiramatusest. (Jürgens 2023: 13)

Siinkohal oleks tahtmise korral võimalik ajada väga peent umbluud semiosfääridest - eriti kuna viimasel on natuke pistmist muuseumi kujundiga ja "piirid" mängivad selles olulist rolli.

Kasutaja peab vastu võtma selle kunstilise ruumi ka siis, kui selle ruumi sisesed piirid esile kerkivad. Nimelt on VR ja LR seotud mingisuguse kindla asukohaga, mille raadiusest väljumisel saab kasutaja teate liikuda tagasi. Teated on üldiselt visuaalsed, näiteks ilmub ekraanile mingi tekst, mis suunab kasutajat tagasi astuma või ekraan läheb mustaks, ilmuvad imelikud märgid - lühidalt kasutajale antakse kindel märk liikuda tagasi. (Jürgens 2023: 13)

Vahelduseks ka argine semiootika: virtuaalreaalsuse tehniline tagasiside evib paralleele teemärkidega.

S ja M tegelesid kogemusega iseseisvalt, kuna LR rakenduses on selle kasutamise juhendid olemas. Nende liikumist ja käitumist rakenduse kasutamise ajal filmiti, et nende tegutsemist oleks võimalik hiljem uuesti vaadelda. Ajapiirangut LR kasutamisele ei seatud. Intervjuud ja LR kogemused viidi läbi individuaalselt. (Jürgens 2023: 22)

Džiisas kui suured failid. Noored inimesed tuiavad tühjas pargis ringi ja jõllitavad nutitelefone.

Sügavat immersiooni kumbki subjekt aga ei kogenud. Nende sõnul oli kogemus huvitav ning S-i jaoks ka rahustav, kuid rahnud mõjusid ebausutavatena, kuna olid tunduvamalt heledamad, kui antud hetke ilmastikuoludes oleks reaalsena tundunud. Samuti olid ka kividel asuvad näod kummalised. Ühiseks sulandumise takistamise teguriks oli subjektide endi tahe või täpsemalt selle puudumine. (Jürgens 2023: 23)

Siin loetu ja klipis nähtu põhjal tundub, et installatsiooni teostus on natuke nadi. Ideel iseenesest on aga jumet - selline asi oleks vahva, et näiteks riputada luuletusi puude otsa liitreaalsuses. Umbes nagu Viljandi Folgil olid kirsimäel "Kaske kaske" tüüpi salmid riputatud puust siltidele - liitreaalsuses saaks viitsimise korral kasvõi kõik puud luuletusi täis riputada, võib-olla isegi temaatilisi või kohaspetsiifilisi, nagu kunagi ammu olid Tartu linnaliinides "bussiluule" kleebised (ja rongides olid ka vist korraga "rongiluule") akendel, mida ühistranspordi kasutajad võisid igavuse korral lugeda. Samasse kilda läheks too äpp, mille nimigi ei tule meelde, c. 2017-2018. aastatest, mis rääkis iga Tartu tänava kohta selle ajalugu, nii palju või vähe kui seda oli. Isiklikult ütleksin, et see kutsuks küll uutesse kohtadesse jalutama, kui liitreaalsus-äpiga saaks puude või majaseinade pealt midagi lugeda (näiteks ajalooliste majade kohta, millised tuntud isikud on seal elanud või millistes ajaloolistes sündmustes neis või nende ümber on aset võtnud).

Probleemseks osutus VR tehnoloogia. Nimelt mainisid subjektid, et prillide raskus, nende ära vajumine ja puldid käes tuletasid siiski konstantselt meelde, et tegu oli virtuaalse keskkonnaga. säärased piirangud on vältimatud. (Jürgens 2023: 27)

See tehnoloogia on ka võrdlemisi varajases staadiumis. Umbes nagu esimesed personaalarvutid olid üsna kobakad ja kohmakad ning suutsid vähe. Mulle isiklikult tundub tõenäoline, et tulevikus võivad neist vabalt saada ka mugavad ja argised asjad (kui Zuckerberg jätkuvalt rahahunnikuid põletab, et juba sel sügisel Meta Quest 3 ja ka edaspidised pakkumised saaksid järjest paremad).

Töö keskmeks oli tuua esile immersiooni soodustavad tegurid ja uurida kuidas see on seotud virtuaalse ruumi tajuga. Immersiooni soodustavad elemendid võivad luua keskkonna, kus virtuaalse ruumi tajumine saab olla võrreldav füüsilise ruumi tajumisega. Kohalolu loomiseks on vaja luua stabiilne virtuaalne keskkond, mida ei mõjuta välised tegurid. Peamiseks immersiooni soodustavateks teguriteks on mängulised elemendid, kasutaja tahe kogeda immersiooni ning eelnevad kogemused virtuaalsete keskkondadega. (Jürgens 2023: 28)

Nagu ka teiste seni loetud tänavuste Semiootika osakonna lõputööde puhul jäi semiootikat ennast siin kuidagi väheseks, aga töö enda seatud eesmärgid said justkui täidetud. Tõtt-öelda tunduvad immersiooniga seotud taju-küsimused ka teps liiga keerulised semiootika jaoks isegi kui asjasse sügavamalt kaevuda - visuaaltaju semiootika viib otsapidi näiteks Peirce'i abduktsioonini ja seda ei soovitaks küll kellelegi. Lotmani kasutamine piiride, mängu ja kunsti osas on tervitatav, aga sellega saab kahtlemata kaugemalegi minna, eriti kui vaadelda VR ja LR tehnoloogia ja toodete teemat kultuurinähtusena, mis võrdlemisi uue asjana alles hakkab tuure üles võtma. St autorile võiks soovitada kultuurisemiootikat, et kaardistada Eestis loodavaid virtuaalseid reaalsuseid ja teemaga seotud trende. Lõppkokkuvõtteks on see immersiooni uurimine üllatavalt ambitsioonikas ettevõtmine ja kesisest uurimismaterjalist hoolimata jõudis kuskile siiski välja. Suht okei tulemus.

0 comments:

Post a Comment