Contente

• Como as redes neurais funcionam
• Redes neurais dentro do seu smartphone
• A IA pode moldar o futuro da fotografia

Além da fotografia de computação, hardware de câmera de alta qualidade e processadores de sinal de imagem, a fotografia móvel de ponta é cada vez mais alimentada por algoritmos de aprendizado de máquina - também conhecidos como inteligência artificial (IA). Essa técnica fotográfica promete melhorar a qualidade no sentido da qualidade DSLR, oferecendo novas maneiras criativas de fotografar e editar fotos e vídeos.

A chave para o aprendizado de máquina é o uso de redes neurais. Este é um tipo de algoritmo que é frequentemente comparado ao cérebro humano. Essa comparação é obtida da capacidade de uma rede neural de ser treinada, através do uso de dados, para reconhecer padrões, permitindo fazer classificações altamente precisas para tipos de dados complexos, como áudio e imagens.

Quando se trata de fotografia, a capacidade de observar, aprender, gerar e classificar tem uma ampla gama de aplicações. Esses aplicativos podem incluir recursos como desenvolver técnicas de fotografia computacional para melhorar os algoritmos de pós-processamento, bokeh de software em tempo real com vídeo 4K ou até trocar completamente as cores das roupas que você está vestindo.

Como as redes neurais funcionam

As redes neurais são um tópico extremamente complexo, portanto, abordaremos apenas o básico aqui. Para uma leitura mais avançada, consulte os guias aqui e aqui.

As redes neurais são compostas de nós, que é um significante para o local onde é feita alguma computação. Cada nó combina uma entrada com um peso que amplifica ou atenua a importância desse nó em particular. Vários nós geralmente trabalham em paralelo, criando uma camada de nós que executa uma tarefa maior. Pode ser a detecção de recursos em uma imagem, por exemplo. Vários nós e camadas podem ser somados e transmitidos para outros nós e camadas, formando uma rede mais profunda com recursos mais poderosos.

A saída de cada nó e camada é dimensionada como uma função de probabilidade. Observando muitos recursos e atributos diferentes, uma rede neural pode classificar a entrada como uma correspondência de probabilidade com todas as saídas potenciais esperadas. É assim que os algoritmos de detecção de imagem decidem se uma imagem se parece mais com um gato ou uma laranja, mas é preciso dizer a ela o que procurar primeiro.

As redes neurais não são programadas como os algoritmos tradicionais de computador. Em vez disso, eles são treinados em conjuntos de dados, como imagens, arquivos de som etc. Os pesos de cada nó são ajustados gradualmente ao longo do tempo por meio de um loop de feedback, com base no desempenho da rede ao corresponder as entradas às saídas corretas. Esse "aprendizado" gradual das regras exige considerável preparação, tempo e poder de computação, mas produz resultados fenomenalmente precisos.

Redes neurais dentro do seu smartphone

As redes neurais podem ser executadas em uma variedade de componentes de hardware, incluindo as partes da CPU e da GPU comuns em uma variedade de dispositivos de computação, incluindo o seu smartphone. No entanto, algumas redes neurais podem exigir mais poder de processamento do que esses componentes de hardware podem fornecer, e hardware dedicado pode fornecer o processamento ideal necessário.

Dentro da plataforma móvel Qualcomm® Snapdragon ™ 855, por exemplo, você encontrará o mais recente processador de sinal digital Qualcomm® Hexagon ™ 690 (DSP), com unidades de processamento vetorial aprimoradas e um novo acelerador de tensor especificamente para tarefas de aprendizado de máquina. Outras plataformas móveis Snapdragon também apresentam o componente Hexagon DSP, com recursos variados. Com isso dito, as redes neurais não se limitam apenas à execução no DSP no Snapdragon e em outras plataformas móveis. O tipo de processador usado depende da carga de trabalho.

Melhorias no aprendizado da máquina Qualcomm Snapdragon 855 em comparação com a geração anterior

A Qualcomm Technologies abre seus recursos de DSP e aprendizado de máquina para desenvolvedores de terceiros por meio do Qualcomm® Neural Processing SDK. Isso permite que os aplicativos executem redes neurais em qualquer um dos núcleos de hardware dentro de uma plataforma móvel Snapdragon. Por exemplo, os smartphones Google Pixel utilizam o Hexagon DSP e seu próprio Visual Core para acelerar seu impressionante recurso de fotografia HDR +. A Qualcomm Technologies trabalha com fornecedores de software como Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho e outros, oferecendo suporte a recursos que variam de bokeh de vídeo a criação de avatar usando o aprendizado de máquina executado no DSP.

A IA pode moldar o futuro da fotografia

Agora que sabemos como as redes neurais funcionam, a questão importante é o que isso poderia fazer por nós e nossas fotografias?

As redes neurais são usadas para melhorar uma gama de algoritmos comuns de fotografia. O ruído, por exemplo, poderia ser melhorado com o treinamento para oferecer limpeza de imagem superior, adaptada à câmera ou ao tipo de foto específico. Da mesma forma, para pouca luz, uma rede neural pode detectar partes claras e escuras da imagem, permitindo aprimoramentos de luz e cor em partes específicas da cena.

Casos de uso mais avançados são cada vez mais comuns na fotografia de smartphones. Os zooms de super-resolução usam redes neurais para combinar várias imagens em uma única foto de alta resolução para obter um zoom digital de aparência superior. As redes neurais também podem ser treinadas para costurar com precisão várias exposições fotográficas, para HDR aprimorado e fotos noturnas.

A fotografia de IA pode incluir zoom de super-resolução, bokeh em tempo real e melhor qualidade de imagem.

O vídeo também pode se beneficiar da adoção dessa tecnologia. A detecção de objetos em tempo real foi projetada para permitir que os aplicativos introduzam efeitos bokeh de software diretamente no vídeo enquanto você grava. Técnicas semelhantes também oferecem suporte à troca e remoção de objetos em tempo real. Isso inclui trocar o plano de fundo de um vídeo, alterar ou remover cores e até substituir itens de roupa ou sobrepor avatares digitais diretamente no vídeo.

O poder das redes neurais e da fotografia de IA varia de aprimoramentos de qualidade para ajudar a diminuir a diferença na DSLR a ferramentas poderosas de criatividade que ajudam a tornar a produção de conteúdo exclusivo muito fácil. De qualquer forma, é uma tecnologia poderosa que é fundamental para futuras melhorias na fotografia para dispositivos móveis.

Próximo: Oferta internacional do Google Pixel 3 XL!

Conteúdo patrocinado pela Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine e Qualcomm Kryo são produtos da Qualcomm Technologies, Inc. e / ou de suas subsidiárias.