Contente

• Orçamento de energia limitado
• Largura de banda e alta resolução
• Painéis de baixa latência e exibição
• Áudio e sensores
• Desenvolvedores e software
• Embrulhar

Finalmente, estamos mergulhando profundamente na revolução, como alguns podem dizer, com produtos de hardware e software em abundância no mercado e recursos aportando para estimular inovações. No entanto, estamos em mais de um ano desde o lançamento de grandes produtos neste espaço e ainda estamos aguardando esse aplicativo matador para tornar a realidade virtual um grande sucesso. Enquanto esperamos, novos desenvolvimentos continuam a tornar a realidade virtual uma opção comercial mais viável, mas ainda existem vários obstáculos técnicos a serem superados, principalmente no espaço móvel da RV.

Orçamento de energia limitado

O desafio mais óbvio e bem discutido que os aplicativos de realidade virtual móvel enfrentam é o orçamento de energia e as restrições térmicas muito mais limitados quando comparados ao seu PC desktop equivalente. A execução de aplicativos gráficos intensivos a partir de uma bateria significa que são necessários componentes de menor potência e uso eficiente de energia para preservar a vida útil da bateria. Além disso, a proximidade do hardware de processamento com o usuário significa que o orçamento térmico também não pode ser aumentado. Para comparação, o celular normalmente opera dentro de um limite de menos de 4 watts, enquanto uma GPU VR de desktop pode consumir facilmente 150 watts ou mais.

É amplamente reconhecido que a RV móvel não combina com hardware de desktop como energia bruta, mas isso não significa que os consumidores não estejam exigindo experiências imersivas em 3D com uma resolução nítida e com altas taxas de quadros.

É amplamente reconhecido que a RV móvel não corresponde ao hardware de desktop para obter energia bruta, mas isso não significa que os consumidores não exijam experiências 3D imersivas em uma resolução nítida e com altas taxas de quadros, apesar da energia mais limitada despesas. Entre assistir a vídeos em 3D, explorar locais recriados em 360 graus e até jogos, ainda existem muitos casos de uso adequados à RV móvel.

Olhando para o SoC móvel típico, isso cria problemas adicionais que são menos frequentemente apreciados. Embora os SoCs móveis possam ter um arranjo decente de CPU de núcleo octa e um poder notável da GPU, não é possível executar esses chips em plena inclinação, devido ao consumo de energia e às restrições térmicas mencionadas anteriormente. Na realidade, a CPU em uma instância móvel de VR deseja executar o mínimo de tempo possível, liberando a GPU para consumir a maior parte do orçamento limitado de energia. Isso não apenas limita os recursos disponíveis para lógica de jogo, cálculos de física e até processos móveis em segundo plano, mas também sobrecarrega tarefas essenciais de RV, como solicitações de renderização estereoscópica.

O setor já está trabalhando em soluções para isso, que não se aplicam apenas aos dispositivos móveis. A renderização de múltiplas visualizações é suportada no OpenGL 3.0 e ES 3.0 e foi desenvolvida por colaboradores da Oculus, Qualcomm, Nvidia, Google, Epic, ARM e Sony. A visualização múltipla permite a renderização estereoscópica com apenas uma chamada de empate, em vez de uma para cada ponto de vista, reduzindo os requisitos da CPU e também diminuindo também o trabalho de vértice da GPU. Essa tecnologia pode melhorar o desempenho entre 40 e 50%. No espaço móvel, o Multiview já é suportado por vários dispositivos ARM Mali e Qualcomm Adreno.

Outra inovação que deve aparecer nos próximos produtos móveis para RV é a renderização otimizada. Usado em conjunto com a tecnologia de rastreamento ocular, a renderização otimizada alivia a carga em uma GPU, renderizando apenas o ponto focal exato do usuário em resolução total e reduzindo a resolução de objetos na visão periférica. Isso complementa bem o sistema de visão humana e pode reduzir significativamente a carga da GPU, economizando energia e / ou liberando mais energia para outras tarefas da CPU ou GPU.

Largura de banda e alta resolução

Embora o poder de processamento seja limitado em situações de RV móveis, a plataforma ainda está atenta aos mesmos requisitos que outras plataformas de realidade virtual, incluindo as demandas de painéis de exibição de baixa latência e alta resolução. Mesmo aqueles que viram telas de VR com resolução QHD (2560 x 1440) ou a resolução 1080 × 1200 por olho do fone de ouvido Rift provavelmente ficaram um pouco desapontados com a nitidez da imagem. O aliasing é especialmente problemático, uma vez que nossos olhos estão tão próximos da tela, com as bordas parecendo particularmente ásperas ou irregulares durante o movimento.

Embora o poder de processamento seja limitado em situações de RV móveis, a plataforma ainda está atenta aos mesmos requisitos que outras plataformas de realidade virtual, incluindo as demandas de painéis de exibição de baixa latência e alta resolução.

A solução de força bruta é aumentar a resolução da tela, com 4K sendo a próxima progressão lógica. No entanto, os dispositivos precisam manter uma alta taxa de atualização, independentemente da resolução, com 60Hz considerado o mínimo, mas 90 ou mesmo 120Hz sendo muito mais preferível. Isso sobrecarrega a memória do sistema, com de duas a oito vezes mais do que os dispositivos atuais. A largura de banda da memória já é mais limitada na VR móvel do que nos produtos para desktop, que usam memória gráfica dedicada mais rápida em vez de um pool compartilhado.

As possíveis soluções para economizar em largura de banda gráfica incluem o uso de tecnologias de compressão, como o ARM e o padrão ASTC (Adaptive Scalable Texture Compression) da AMD ou o formato sem compressão Ericsson Texture Compression, ambos extensões oficiais do OpenGL e OpenGL ES. O ASTC também é suportado em hardware nas mais recentes GPUs do Mali da ARM, nos KeC e Maxwell Tegra SoCs da Nvidia e nas mais recentes GPUs integradas da Intel e pode economizar mais de 50% da largura de banda em alguns cenários, em comparação com o uso de texturas não compactadas.

O uso da compactação de textura pode reduzir bastante a largura de banda, latência e memória exigidas pelos aplicativos 3D. Fonte - ARM.

Outras técnicas também podem ser implementadas.O uso do mosaico pode criar geometria de aparência mais detalhada a partir de objetos mais simples, embora exija alguns outros recursos substanciais da GPU. A renderização adiada e o encaminhamento de pixels para frente podem evitar a renderização de pixels ocultos, enquanto as arquiteturas de Binning / Tiling podem ser usadas para dividir a imagem em grades menores ou blocos que são renderizados separadamente, todos economizando largura de banda.

Como alternativa, ou preferencialmente adicionalmente, os desenvolvedores podem fazer sacrifícios à qualidade da imagem para reduzir o estresse na largura de banda do sistema. A densidade da geometria pode ser sacrificada ou o descarte mais agressivo usado para reduzir a carga, e a resolução dos dados de vértices pode ser reduzida para 16 bits, abaixo da precisão de 32 bits tradicionalmente usada. Muitas dessas técnicas já estão sendo usadas em vários pacotes móveis e, juntas, podem ajudar a reduzir a tensão na largura de banda.

A memória não é apenas uma grande restrição no espaço de RV móvel, mas também é um grande consumidor de energia, geralmente igual ao consumo da CPU ou GPU. Ao economizar na largura de banda e no uso da memória, as soluções portáteis de realidade virtual devem ter maior duração da bateria.

Painéis de baixa latência e exibição

Falando em problemas de latência, até agora, só vimos fones de ouvido VR exibindo painéis de display OLED, e isso se deve principalmente aos rápidos tempos de troca de pixels em menos de um milissegundo. Historicamente, o LCD tem sido associado a problemas de fantasmas, com taxas de atualização muito rápidas, o que os torna inadequados para VR. No entanto, os painéis LCD de alta resolução ainda são mais baratos de produzir do que os equivalentes OLED, portanto, mudar para essa tecnologia pode ajudar a reduzir o preço dos fones de ouvido VR a níveis mais acessíveis.

A latência do movimento para o fóton deve ser inferior a 20 ms. Isso inclui registrar e processar movimentos, processar gráficos e áudio e atualizar a exibição.

Os monitores são uma parte particularmente importante na latência geral de um sistema de realidade virtual, geralmente fazendo a diferença entre uma experiência sem par e uma sub-par. Em um sistema ideal, a latência do movimento para o fóton - o tempo decorrido entre o movimento da cabeça e a resposta da tela - deve ser inferior a 20 milissegundos. Claramente, uma tela de 50ms não é boa aqui. Idealmente, os painéis precisam ter menos de 5ms para acomodar também a latência do sensor e do processamento.

Atualmente, existe uma compensação de desempenho de custos que favorece o OLED, mas isso pode mudar em breve. Painéis de LCD com suporte para taxas de atualização mais altas e tempos de resposta em preto e branco baixos, que utilizam técnicas de ponta, como luzes traseiras piscantes, podem se encaixar perfeitamente. O Japan Display exibiu exatamente esse painel no ano passado, e também podemos ver outros fabricantes anunciando tecnologias semelhantes.

Áudio e sensores

Embora muitos dos tópicos comuns de realidade virtual giram em torno da qualidade da imagem, a RV imersiva também requer alta resolução, áudio 3D espacialmente preciso e sensores de baixa latência. No mundo móvel, tudo isso deve ser feito dentro do mesmo orçamento de energia restrito que afeta a CPU, GPU e memória, o que apresenta outros desafios.

Já falamos sobre os problemas de latência do sensor, nos quais um movimento deve ser registrado e processado como parte do limite de latência de movimento para fóton de 20 ms. Quando consideramos que os fones de ouvido VR usam 6 graus de movimento - rotação e guinada em cada um dos eixos X, Y e Z - além de novas tecnologias, como rastreamento ocular, há uma quantidade considerável de dados constantes para coletar e processar, tudo com o mínimo latência.

As soluções para manter essa latência o mais baixa possível exigem uma abordagem de ponta a ponta, com hardware e software capazes de executar essas tarefas em paralelo. Felizmente para dispositivos móveis, o uso de processadores dedicados de sensores de baixa potência e tecnologia sempre ativa é muito comum, e estes são executados com uma potência bastante baixa.

Para o áudio, a posição 3D é uma técnica usada há muito tempo para jogos, mas o uso de uma função de transferência relacionada à cabeça (HRTF) e processamento de reverb de convolução, necessários para o posicionamento realista da fonte sonora, são tarefas bastante intensivas para o processador. Embora eles possam ser executados na CPU, um processador de sinal digital dedicado (DSD) pode executar esses tipos de processos com muito mais eficiência, tanto em termos de tempo de processamento quanto de energia.

Combinando esses recursos com os requisitos gráficos e de exibição que já mencionamos, fica claro que o uso de vários processadores especializados é a maneira mais eficiente de atender a essas necessidades. Vimos a Qualcomm utilizar grande parte da capacidade de computação heterogênea de suas principais plataformas móveis Snapdragon de camada intermediária, mais recentes, que combinam uma variedade de unidades de processamento em um único pacote com recursos que são muito úteis para atender a muitas dessas necessidades móveis de RV. Provavelmente, veremos o tipo de pacotes de energia em vários produtos móveis de RV, incluindo hardware portátil independente.

Desenvolvedores e software

Por fim, nenhum desses avanços de hardware é muito bom sem suítes de software, mecanismos de jogos e SDKs para dar suporte aos desenvolvedores. Afinal, não podemos ter todos os desenvolvedores reinventando a roda para cada aplicativo. Manter os custos de desenvolvimento baixos e a velocidade o mais rápido possível é essencial para vermos uma ampla gama de aplicativos.

Os SDKs, em particular, são essenciais para implementar as principais tarefas de processamento de VR, como Asynchronous Timewarp, correção de distorção da lente e renderização estereoscópica. Sem mencionar o gerenciamento de energia, térmica e processamento em configurações de hardware heterogêneas.

Felizmente, todos os principais fabricantes de plataformas de hardware oferecem SDKs para desenvolvedores, embora o mercado seja bastante fragmentado, resultando na falta de suporte entre plataformas. Por exemplo, o Google tem seu VR SDK para Android e um SDK dedicado para o popular mecanismo Unity, enquanto o Oculus tem seu Mobile SDK construído em conjunto com a Samsung para o Gear VR. É importante ressaltar que o grupo Khronos apresentou recentemente sua iniciativa OpenXR, que visa fornecer uma API para cobrir todas as principais plataformas nas camadas de dispositivo e nível de aplicativo, para facilitar o desenvolvimento de plataforma cruzada. O OpenXR pôde ver suporte em seu primeiro dispositivo de realidade virtual antes de 2018.

Embrulhar

Apesar de alguns problemas, a tecnologia está em desenvolvimento e, em certa medida, já está aqui, o que torna a realidade virtual móvel viável para vários aplicativos. A RV para celular também possui vários benefícios que simplesmente não se aplicam aos equivalentes a computadores, o que continuará sendo uma plataforma digna de investimento e intriga. O fator de portabilidade torna a RV móvel uma plataforma atraente para experiências multimídia e até jogos leves, sem a necessidade de cabos conectados a um PC mais poderoso.

Além disso, o grande número de dispositivos móveis no mercado cada vez mais equipados com recursos de realidade virtual o torna a plataforma preferida para atingir o maior público-alvo. Para que a realidade virtual se torne uma plataforma convencional, ela precisa de usuários, e o celular é a maior base de usuários disponível.