Ca şi cum aţi fi fost acolo! EXCLUSIV AGORA MEDIA: Încă patru video-uri în 360 de grade (atât video cât şi audio)

Momentele pe care am ales să le oferim sunt

- survolul piloţilor de la Baza 71 Aeriană “General Emanoil Ionescu” din Câmpia Turzii cu elicopterele IAR 330 Puma
- discursul lui Cristian Matei - primarului municipiului Turda
- discursul locotenent-colonelului Ionuţ Imre - comandantul Garnizoanei Turda
- defilarea gărzii de onoare

Dacă pentru un video în 360 de grade lucrurile par mai simple (e suficientă o cameră care filmează în 360 de grade - o sferă completă în jurul punctului de staţie al camerei), pe partea de audio lucrurile sunt diferite în funcţie de aparatul de înregistrare a sunetului, situaţia putând deveni mai mult sau mai puţin laborioasă mai ales când înregistrarea a fost făcută într-un anume format iar rezultatul dorit e un format cu totul diferit.

Concret, dacă în cazul spectacolului Armonia înregistrarea audio a fost făcută cu un microfon care captează sunetul ambisonic, pe patru piste audio, într-o sferă completă de 360 de grade (stânga-dreapta, faţă-spate şi sus-jos), în cazul ceremonialului din 25 octombrie sunetul a fost captat în format 5.1 pe şase piste audio: stanga faţă, dreapta faţă, centru faţă, LFE (Low Frequency Effect), stanga spate şi dreapta spate.

Principala diferenţă între sunetul ambisonic (ambisonic de ordin 1 în cazul nostru) şi sunetul 5.1, este că, spre deosebire de sunetul ambisonic (o sferă completă de 360 de grade în jurul ascultătorului), sunetul 5.1 trebuie înţeles mai degrabă ca un cerc complet de 360 de grade în jurul ascultătorului, adică îi lipseşte elevaţia (nu poate reda percepţia poziţionării sunetului pe verticală - sus-jos).

Aşadar (din moment ce scopul final era un sunet ambisonic), dacă în cazul spectacolului Armonia procedeul de lucru pe partea de sunet a fost mai simplu (ruta de urmat era “ambisonic in la ambisonic out”, în cazul ceremonialului din 25 octombrie apărea necesitatea transformării sunetului 5.1 în ambisonic. Şi asta a presupus o studiere în plus a problemei (inclusiv cumpărare de plugin-uri) în vederea obţinerii rezultatului dorit (doar nu suntem ingineri de sunet).

Dar de ce ambisonic şi nu doar 5.1? Mai exact din motive de... “scene referred”.

Adică sunetul 5.1 se pretează în special pentru fişiere video (filmări) 2D, în timp ce sunetul ambisonic e imersiv şi e “compatibil” cu filmări 360 de grade (inclusiv pentru VR - realitatea virtuală - de exemplu).

Şi mai concret, sunetul 5.1 “simplu” este “static” (e vorba de 2D), în timp ce sunetul ambisonic e “mobil” (e vorba de o sferă auditivă de 360 de grade), de unde şi experienţa auditivă mai amplă în contextul video-urilor 360, unde sunetul poate fi “scene-referred”.

Ce înseamnă “scene-referred” în contextul 360 (sau VR)? De exemplu dacă un sunet vine din dreapta scenei de 360 de grade şi “te întorci” (întorci video-ul sau întorci capul, în cazul VR head-set-urilor) spre dreapta, spre sunet, sunetul va fi perceput că vine din faţă. Sau dacă sunetul vine din faţă şi “te întorci” spre stânga, vei percepe sunetul, ulterior, ca venind din dreapta sau dacă te întorci cu spatele la el, va părea că vine din spate. Adică sunetul e “legat” de scena vizualizată în filmarea 360, e “blocat” în scenă independent de mişcările ascultătorului - de aici conceptul de “scene-referred”. (De asemenea în contextul 360 există şi conceptul de “head-locked”, dar asta poate fi subiect adiacent pentru o situaţie ulterioară).

Deci, de aceea ambisonic: pentru că acest tip de sunet sferic de 360 de grade, cu capacitatea de a reflecta sunetul perceput ca “scene-referred” într-un context stereo binaural (necesitatea folosirii căştilor e implicită) reuşeşte să dea acea experienţă imersivă a ascultătorului, o experienţă dosebită.

Ei, după aceste explicaţii - mai mult sau mai puţin necesare - e momentul să vă bucuraţi de cele patru fragmente audio-video şi să le percepeţi în întreaga lor plenitudine, adică exact cum am scris în titlu: ca şi cum aţi fi fost acolo!

Totuşi, având în vedere că pentru vizualizare/audiţie folosiţi platforma YouTube, pentru ca experienţa audio-video să fie una completă şi “corectă”, sunt necesare câteva precizări de care să ţineţi cont:

1. în varianta desktop (calculator/laptop) YouTube NU oferă experienţa ambisonică binaurală chiar dacă video este 360 cu sunet ambisonic. Sunetul oferit de platformă e o conversie în stereo simplu, fără a fi “scene-referred”
2. în aplicaţia de mobil YouTube (Android sau iOS) sunetul este decodat corect, este “scene-referred”, dar nu va fi perceput aşa decât dacă sunt făcute anumite setări în player-ul video:
   • setaţi “sunet ambiental” pe ON - adică să fie activat (deşi s-ar putea să fie activat de la sine)
   • setaţi “volum stabil” pe OFF - adică dezactivat. Aici problema, simplist vorbind, e că, dacă “volum stabil” e activat,  platforma aplică o procesare audio post decodare ambisonică şi fiind vorba de flux de redare online, câteodată aplicarea se face înainte ca YouTube să reiniţieze procedura de “head-tracking” (nu înţelegeam nici noi ce se întâmplă şi am studiat puţin problema online)
3. În YouTube VR se spune că totul e ok şi nu sunt probleme (nu am putut verifica, nu deţinem “infrastructură”).
4. Utilizarea căştilor nu e obligatorie, dar e necesară pentru o experienţă auditivă completă.

În concluzie, vizionaţi pe telefon, cu căşti, cu “sunet ambiental” activat şi “volum stabil” dezactivat. (Dacă porniţi video şi observaţi că volum stabil e activat, când îl dezactivaţi o să aveţi impresia că scena audio “se dă peste cap”. E normal. După ce aţi dezactivat “volum stabil”, opriţi şi reporniţi video. Totul o să fie OK.)

EXCLUSIV in 360: Survolul aeronavelor IAR 330 Puma (video 360, sunet ambisonic)

EXCLUSIV in 360: Discursul primarului Cristian Matei (video 360, sunet ambisonic)

EXCLUSIV în 360: Discursul lt-col Ionuț Imre, comandantul Garnizoanei Turda (video 360, sunet ambisonic)

EXCLUSIV în 360: Defilarea Gărzii de Onoare (video 360, sunet ambisonic)