Durante o Rio2C, integrantes do XRBR apontaram algumas dicas de produção e pós produção de obras de XR.
Entre os dias 23 à 28 de abril, a Cidade das Artes se tornou a capital da criatividade e inovação da América Latina. A segunda edição Rio Creative Conference (Rio2C) reuniu profissionais dos mercados de audiovisual, música, neurociência, inovação, marcas, games e realidade virtual.
Como parte da programação do evento, a Rio2C convidou o Hub Brasileiro de X-Reality (XRBR) para organizar painéis e workshops sobre Realidade Virtual (VR), Realidade Aumentada (AR) e Realidade Mista (MR).
O XRBR é uma associação sem fins lucrativos, criado por profissionais do mercado, da academia e do governo para unir esforços e impulsionar o emergente e desafiador mercado brasileiro.
Ao longo dos painéis e workshops da Rio2C, integrantes do XRBR, compartilharam seus processos criativos e suas metodologias para a produção e pós produção de obras em XR. Esse artigo compila essas dicas a fim de proporcionar um guia prático para realizadores que tenham interesse em desenvolver vídeos em 360.
NOVAS TECNOLOGIAS REQUEREM NOVAS LINGUAGENS
Durante o workshop Produção de vídeos em 360, Ranz Razenberguer e Alberto Moura apresentaram o passo a passo que os realizadores deveriam percorrer para produzir um vídeo em XR.
Segundo Razenberguer, a linguagem utilizada durante a realização de um vídeo 360 é muito diferente da estética adotada em narrativas lineares. Por isso, é preciso mudar a lógica quando vamos pensar um roteiro de um vídeo em XR. De acordo com o especialista em efeitos visuais e Cinematic VR, cada usuário define pra onde olhar durante a experiência. Isso faz com que cada pessoa tenha um percurso único e que suas escolhas modifiquem como vai vivenciar cada narrativa. Por isso, o espectador passa a ser denominado experimentador ou interator. É o publico quem cria a história.
Da mesma forma, o papel do diretor se transforma, passando a ser denominado influenciador, onde sua função é orientar e não restringir. Segundo Razenberguer, é preciso convidar os espectadores a participar e não obrigar: os melhores contadores de historias em VR serão aqueles que pensam em muitas leituras possíveis de uma dada experiência e preenchem seus ambientes com detalhes. No entanto, Razenberguer apontou que o sucesso de uma obra em XR depende de dois fatores fundamentais: imersão e presença.
A imersão se dá quando a obra está tecnicamente bem realizada, possibilitando com que o usuário acredite que está ali. Portanto, imagem, áudio, costura e sincronização são elementos muito importantes para que a imersão do usuário aconteça. Durante outro painel, a professora Inês Maciel definiu a imersão como uma piscina: “Se a água estiver muito gelada, você não vai imergir”. Já a presença depende da interação em tempo real do experimentador com a obra. É a sensação de estar lá, onde o interator é transportado para aquele espaço. Para isso, é preciso que o usuário interaja com a obra, que ele veja seu corpo, o corpo do outro e que suas decisões impactem na experiência.
PRODUÇÃO DE VÍDEOS EM 360
Ao longo dos painéis e workshops, foi reiterado por diversos profissionais que a pós produção não é feita pra resolver problemas. É preciso pensar no que pode dar errado antes das gravações. Durante o painel XR – Desafios de pós produção, Ranz Razenberguer brincou com o hábito dos realizadores deixarem os problemas de gravação serem resolvidos na pós produção: “Resolve na pós? Não, soluciona na pré!”
Portanto, a pré-produção na realização de vídeos 360 é uma etapa muito importante, já que trabalhamos com arquivos muito grandes que requerem um grande processamento das ilhas de edição. Além disso, quando trabalhamos com imagens ecretangulares, um problema ocasionado durante a gravação pode não ter solução. Por isso, alguns cuidados durante a pré-produção podem economizar muito tempo e dinheiro na etapa de pós produção.
A primeira coisa que devemos pensar é como posicionar a câmera de maneira adequada. Durante o workshop Introdução a fotografia e vídeo 360: conceitos técnicos e artísticos, Ian Reis e Flávio Mayerhofer lembraram que a visão da câmera vai ser a visão do espectador.
Durante o evento, os realizadores citaram diversas câmeras que tem sido mais utilizadas: Samsung Gear 360, GoPro Fusion 360 e Insta Pro 2. Razenberguer alertou que “todas as câmeras ainda estão em desenvolvimento, nenhuma é realmente boa. Ano passado saíram novas câmeras com preço mais acessível e a tecnologia tem melhorado. Com isso a qualidade das produções também tem aumentado”. Além disso, essas câmeras ainda possuem uma quantidade finita de informação de cor e imagem, limitando o nível de correção que pode ser feito na pós produção.
Por trabalhar com lentes grande angulares, as câmeras utilizadas hoje em dia nos vídeos 360 não tem controle de foco e, portanto, focam tudo entre um e dez metros. Por outro lado, objetos muito longe da lente podem ficar extremamente pequenos e não serem percebidos pelo usuário. Mayerhofer também apontou que o ideal é não colocar a câmera muito alta ou muito baixa, e manter o objeto principal a uma distancia de pelo menos 1,5 metros da lente.
Ranz Razenberguer sugeriu que antes de gravar é importante pensar se o interator vai assistir a experiência sentado ou em pé. Isso ajudar a definir a altura na qual a câmera vai estar posicionada. O realizador apontou que em uma captura panorâmica é importante colocar uma marcação do tripé para padronizar a altura durante toda a gravação. Outra sugestão foi a de evitar colocar a câmera no meio da ação, pois isso pode causar uma sensação de confusão e distanciamento no interator (como uma criança em uma conversa de adultos). A não ser, é claro, que essa seja exatamente a sensação que o realizador deseja transmitir através de sua obra.
Muitos usuários relatam a sensação de tontura e enjoo ao experimentarem óculos de realidade virtual. Razenberguer explicou que isso acontece devido o movimento de aceleração (variação de velocidade) da câmera durante a experiência. Segundo o realizador, isso pode ser evitado se o movimento de câmera é constante, mas aconselhou evitar utilizar movimento ao utilizar rigs com varias câmeras, pois a vibração e as linhas causaram problemas na hora da costura. Ele alertou que não existe ainda um software que consiga corrigir erros desse tipo, e sugeriu a utilização de planos estáticos caso não exista um equipamento adequado para fazer essa movimentação, pois o movimento não adequado de câmera poderá causar estranhamento no usuário.
Apesar do XR trabalhar com imagens em 360º, o olho humano ainda tem uma limitação de 120º em cada olho. Somando os dois olhos, temos uma visão de aproximadamente 150º (220 graus se considerarmos a visão periférica). Por isso, ao trabalhar com vídeos de realidade virtual, o realizador deve lembrar que o campo de visão do interator será um quadrante de 90º, ou seja, um quarto do material.
Isso significa que o roteiro pode ser pensado para que diferentes ações aconteçam em cada quadrante, obrigando o usuário a escolher qual parte da narrativa vai seguir. Isso é uma característica ainda pouco explorada pelos diretores e roteiristas.
Aqui cabe ressaltar que ainda existe uma discordância entre os realizadores. Razenberguer apontou que é importante, na edição, sempre remeter ao ponto de interesse inicial em cada corte para o usuário não ficar perdido na narrativa. Em outras palavras, se pensarmos em quatro quadrantes, a edição deveria sempre começar no quadrante um, independente do fim do quadro anterior.
Outros realizadores preferem que o interesse principal de cada imagem seja posicionada onde termina o interesse da imagem no corte anterior, ou seja, se o interator termina olhando para o quadrante três, o próximo ponto de interesse estará no quadrante três.
Apesar dessa dissonância, ambas as vertentes acreditam que é importante evitar cortes muito rápidos para o usuário possa se localizar dentro de cada sequencia. É preciso deixar o interator sentir o espaço para imergir dentro dele.
Mas se o usuário está livre para escolher para onde olhar, como o diretor pode ter esse papel de influenciador?
Essa talvez seja a pergunta mais importante a ser respondida para que a linguagem do XR seja desenvolvida. Os realizadores apontaram ao longo do Rio2C alguns elementos de linguagem que podem ser utilizados nesse sentido. Segundo os integrantes do XRBR, o movimento, a luz e a cor são formas de cativar o olhar do espectador através dos quadrantes. No entanto, o áudio ganha muita importância dentro da realidade virtual.
Daniel Sasso no painel Áudio na experiência imersiva apontou que o “áudio agora é elemento fundamental para induzir o espectador. É através do som que os diretores estão conduzindo o olhar do usuário para uma determinada a ação”. Esse tipo de áudio pode ser chamado de diversas formas: áudio aumentado, áudio imersivo ou áudio espacializado.
No Workshop de Áudio imersivo Jorge Groove explicou que o áudio espacializado tem a função de imergir a audiência dentro da XR, pois simula as características de um áudio real dentro de um espaço virtual. Com isso, o usuário pode perceber de onde o som vem e, ao mover a cabeça, o som também “se move” dentro da sequencia.
O PIPELINE DE PÓS PRODUÇÃO EM VR
No decorrer do painel XR – Desafios de pós produção, o especialista em efeitos visuais e Cinematic VR Alberto Moura destacou que a organização é fundamental nessa etapa para trabalhar em conjunto com os outros profissionais que também estão participando desse processo. Além disso, ele lembrou que trabalharemos com arquivos de 4K (3840×3840) ou 8K (7680 × 432032), que ocupam rapidamente 5T, 10T de HD. Ele apontou que é mais aconselhável trabalhar com arquivos 8K e depois fazer um downsample para 4K porque o material terá uma vida mais longa (future-proofing).
Segundo Moura, a pipeline de pós produção em VR acontece seguindo essas etapas: Storyboard – Pré-produção – Produção – Rough Stich – Pós Produção – Fine Stick – Remoção do Tripé – Estabilização da Imagem –Edição – Edição de aúdio – Colorização – Finalização.
Presente no mesmo painel, o designer e diretor imersivo Ian Reis destacou que o realizador deve comunicar ao finalizador qual é a câmera e o framerate utilizado durante as gravações. É importante também definir na pré qual é resolução de saída, pois cada decisão vai depender do propósito/objetivo do vídeo.
Na mesma linha, Alberto Moura apontou que o posicionamento correto de câmera é fundamental para o processo de costura que será realizado na pós produção. Um objeto perdido no meio da costura pode ser um problema. Portanto, é fundamental definir qual será o output do material. O ponto de costura vai variar dependendo da câmera, com quantas lentes ela trabalha e se a saída é estereoscópica ou monoscópica: a área segura no estéreo é entre duas lentes, enquanto no mono é na frente da lente da câmera.
Os profissionais apontaram também os softwares utilizados por eles durante essa pipeline. Apesar de algumas câmeras já virem com softwares próprios para a realização do Stich (costura), Moura apontou que atualmente o Mistika VR é o único software disponível no mercado que consegue realizar a costura de maneira mais elegante: “O Mistika VR está nadando de braçada na frente de seus concorrentes”.
O software possui uma galeria com presets de cada câmera do mercado e se compromete a manter essa lista atualizada. Além disso, o Mistika VR possibilita o editor realizar a costura, selecionar as áreas de interesse, corrigir a cor, estabilizar a imagem e ajustar o norte/azimuth e as linhas verticais.
Outra preocupação quando estamos trabalhando com um vídeo 360 é a remoção do tripé na pós produção. Alberto Moura lembrou que é importante, durante a captação, tirar uma foto do chão onde o tripé está posicionado (essa foto pode ser feita com uma câmera DSLR ou até mesmo com um celular). Isso vai facilitar muito a equipe de pós produção. Moura apontou ainda outro problema comum: a sombra projetada pelo tripé. Segundo o especialista em pós produção, é preciso tomar muito cuidado, evitando colocar o tripé em locais que a sombra fique muito projetada (especialmente em momentos de nascer ou por do sol). Ele sugeriu encontrar soluções durante as gravações, posicionando um personagem na frente da luz para rebater a sombra do tripé por exemplo.
É no Mistika VR que os especialistas fazem a retirada do tripé. Para isso exportam uma imagemcubica da cena e importam no Adobe Photoshop. Eles então utilizam a foto do chão tirada durante a gravação para substituir o tripé e então importar novamente ao Mistika. No entanto, se a cena está em movimento, a opção para retirar sombras indesejadas é o plugin Mocha Pro do Boris FX. Para isso, o finalizador precisa selecionar a área a ser removida para fazer o tracking. Então, o plugin usa frames anteriores e posteriores para remover.
Para a edição e finalização do vídeo 360, a opção mais citada pelos profissionais foi o pacote da Adobe, que em sua versão de 2019 já conta com plug-ins e configurações para edição de imagens ecretangulares. Ranz Razenberguer citou ainda os softwares Flame, Inferno e Nuke como alternativas mais profissionais, mas que requerem uma maquina mais potente.
Com relação aos codecs utilizados na pipeline de XR, os realizadores lembraram que recentemente a Adobe e Mistika estão trabalhando com prores 422 ou prores 422 light, e que essa parece ser a melhor opção de workflow no momento. O prores é um codec que funciona bem com imagens em 8K. Portanto, a melhor alternativa é utilizar o prores o máximo que der, inclusive na saída, utilizando um codificador externo para converter o vídeo final em H264 ou H265.
Os integrantes do XRBR ainda citaram exemplos de interative cinematic VR, que utilizam a tecnologia de interface avançada entre um usuário e um sistema para gerar uma maior imersão através da interatividade. Esse processo de gamificação é muito usado na indústria de games, mas também está migrando para narrativas de ficção, animação e documentários.
Nelson Porto apontou que para esses casos, “a técnica de fotogrametria é uma excelente opção, pois é a maneira mais próxima de chegar ao real quando trabalhamos dentro de universos imersivos”. A fotogrametria é a arte de criar fotografia e fazer medições através das fotografias. técnica permite construir modelos 3d de cenários, objetos e até pessoas usando apenas fotografias. Isso permite com que os realizadores trabalhem com 6 graus de liberdade, onde o interator pode se deslocar dentro do ambiente ao invés de ficar apenas parado observando. Isso amplia a capacidade e interação do usuário com o espaço.
Além disso, alguns programas que criam possibilidades de interação foram citados pelos participantes dos painéis. O software Wonda, versão para realidade virtual do Klynt (utilizado para a produção de documentários interativos) permite que sejam colocadas opções simples de interação dentro de um vídeo de 3 graus de liberdade.
Outra opção mais complexa são as famosas engines Unity e Unreal, que condensam uma grande variedade de soluções para XR. Muito utilizadas pela indústria de games, esses softwares tem mudado totalmente o workflow não só no XR mas também no cinema linear e publicidade.
CONSIDERAÇÕES FINAIS
Durante a Rio2C tive a oportunidade de conhecer muitas técnicas e processos de criação distintos. Os profissionais do XRBR foram muito generosos na partilha de seus conhecimentos com o público presente.
O processo de experimentação é intenso entre os realizadores. O avanço tecnológico é exponencial e novos softwares e câmeras são criados a cada ano. Uma técnica revolucionária pode estar obsoleta em poucos anos.
Estamos no despertar da era virtual. A linguagem e a tecnologia ainda parecem rudimentar perto do que sabemos poder ser alcançado. Podemos observar que a linguagem ainda está em desenvolvimento, e isso gera discordâncias com relação a maneiras de abordar a narrativa da realidade virtual.
Essas dissonâncias são importantes pois contribuem para que a linguagem avance como um todo. Particularmente, não acredito que exista uma solução única para essas questões, dependendo muito do objetivo que queremos ter e qual é a sensação que queremos passar ao nosso público.
O futuro do XR ainda é incerto, mas as potencialidades são inimagináveis. Resta saber se os usuários vão assimilar esse tipo de narrativa e impulsionar o mercado para que a indústria de XR emplaque de vez. A indústria de games parece estar a frente nesse sentido, pois trabalha com um público especialmente interessado nesse tipo de tecnologia imersiva e interativa.
