Contente
O hype para a realidade virtual certamente diminuiu nos últimos anos, devido a uma combinação de hardware caro, mais ou menos enjoo de desempenho e movimento e falta de conteúdo do usuário. Atualmente, a indústria está presa em um cenário de frango x ovo, onde a falta de consumidores impede o investimento em conteúdo sofisticado. Será necessário um hardware VR mais poderoso e econômico para as massas para quebrar o impasse.
A Arm procura superar alguns desses obstáculos tecnológicos com seu primeiro processador de exibição (DPU) projetado especificamente para VR: o Mali-D77. Em poucas palavras, o Mali-D77 descarrega tarefas comuns de processamento de VR da GPU, liberando recursos para taxas de quadros mais altas e ajudando a reduzir a doença de movimento.
Por dentro do braço Mali-D77
Grande parte do Mali-D77 é baseado no Mali-D71 de 2017 para smartphones e outros aplicativos de última geração. Possui o mesmo decodificador de compressão, escala de camada, suporte HDR e unidades de gerenciamento de cores. No entanto, o novo design foi otimizado para suportar resoluções de 3K a 120fps, com suporte para resoluções de 4K de até 90fps.
As principais mudanças ocorrem na forma de duas novas unidades de aceleração de hardware para aplicativos de RV. O Mali-D77 suporta correção de lente e timewarp assíncrono no hardware, em vez de executar esses algoritmos na GPU. Arm estima que isso pode liberar cerca de 15% dos recursos da GPU, o que pode ser usado para aumentar as taxas de quadros. A transferência dessa carga para a DPU também oferece uma economia de largura de banda de 40% e 180mW de energia por camada de VR. Agradável.
A correção de lente é necessária nos fones de ouvido VR para compensar a curvatura da luz das lentes dos fones de ouvido. A distorção de barril é aplicada a cada quadro renderizado para compensar o efeito de distorção de almofada de alfinetes das lentes. Pense nisso como sobrecompensação ou "distorção reversa", para que a distorção da lente acabe exibindo a imagem correta. Tradicionalmente, isso é feito na GPU, ocupando ciclos e tempo extras. O Mali-D77 faz tudo isso na DPU.
Além disso, o Mali-D77 executa a correção de aberração cromática usando um método semelhante de distorção reversa. Com isso aplicado, as cores da imagem serão exibidas corretamente em toda a lente, inclusive nos cantos onde pode ocorrer distorção na separação de cores.
O que é Timewarp assíncrono?
A correção da lente é bastante auto-explicativa, mas o Timewarp assíncrono está um pouco mais envolvido. Aqui, Arm está usando o processador de exibição para girar, inclinar e distorcer imagens para compensar os movimentos do usuário, enquanto reduz a latência de qualquer GPU ou outra latência do pipeline de exibição.
Com o hardware da geração atual, o rastreamento de movimento dos eixos X, Y, Z é atualizado em sincronia com a GPU, porque a GPU deve exibir a alteração sempre que você se move. Com o Timewarp assíncrono, os dois não são mais atualizados juntos. Você pode mover a cabeça entre as atualizações de quadros da GPU, e o Mali-D77 pode distorcer o quadro atual para corresponder ao movimento da cabeça.
Esse é um efeito sutil, pois dura apenas uma fração de segundo entre os quadros renderizados e não elimina a necessidade de renderização rápida da taxa de quadros. No entanto, aumenta bastante a fluidez e a suavidade do movimento e movimento, pois as atualizações podem ocorrer ainda mais frequentemente do que a taxa de quadros da GPU. A desconexão entre o corpo em movimento e a visualização de uma atualização visual é a principal causa de enjoo de movimento na RV, de modo que o Mali-D77 pode ajudar muito nesse sentido.
Os dados de movimento dos eixos X, Y, Z são alimentados diretamente ao Mali-D77 a partir da CPU, ignorando completamente o estágio da GPU. Essa é uma maneira muito diferente de fazer as coisas e, como tal, exigirá que os desenvolvedores utilizem um novo conjunto de ferramentas e técnicas de desenvolvimento. Este é sem dúvida o maior obstáculo do D77. Felizmente, os engenheiros da Arm trabalham em estreita colaboração com iniciativas como o OpenXR, para que possamos ver um anúncio da API para suporte simplificado ao desenvolvedor no futuro.
No geral, o Arm Mali-D77 é uma progressão inteligente e lógica da idéia de computação heterogênea para ajudar a resolver alguns dos maiores problemas de hardware da realidade virtual. Ainda existem outros obstáculos nos segmentos de comunicação sem fio, rastreamento e custo da RV a serem resolvidos antes que a adoção convencional possa ser reconsiderada, mas o Mali-D77 ajuda a solucionar alguns dos problemas de desempenho.
