Exmor, Isocell & Co: por que os sensores de imagem do smartphone são tão importantes!

Conteúdo:

Tamanho do sensor em polegadas: de tubos analógicos a chips CMOS

Vamos começar com algumas informações básicas: Na maioria das folhas de especificações de smartphones, o tamanho do sensor da câmera tende a ser escrito como 1/xyz polegada: por exemplo, 1/1,72 polegada ou 1/2 polegada. Infelizmente, este tamanho não corresponde ao tamanho real do sensor do seu smartphone.

Vamos dar uma olhada na folha de especificações do IMX586: Meia polegada deste sensor corresponderia na verdade a 1,27 centímetros. O tamanho real do Sony IMX586 não tem muito a ver com isso. Se multiplicarmos o tamanho do pixel de 0,8 mícron pela resolução horizontal de 8.000 pixels, teremos apenas 6,4 milímetros, ou seja, aproximadamente metade do número. Se primeiro medirmos a horizontal e depois aplicarmos o teorema de Pitágoras para obter a medida diagonal, teremos 8,0 milímetros. Mesmo isso não é suficiente.

E aqui está o cerne da questão: as personalizações foram introduzidas há cerca de meio século, quando as câmeras de vídeo ainda usavam tubos de vácuo como conversores de imagem. Os departamentos de marketing ainda mantêm a proporção aproximada da área sensível à luz para o diâmetro do tubo com muito vigor, quase ao ponto de uma enxurrada implacável de e-mails de extensão peniana enviados para minha pasta de spam. E esse é o nome de um chip CMOS com uma diagonal de 0,31 polegadas atualmente em um sensor de 1/2 polegada.

Se você quiser saber o tamanho real de um sensor de imagem, dê uma olhada na folha de dados do fabricante ou na página detalhada da Wikipedia sobre tamanhos de sensor de imagem. Ou você segue o exemplo acima e multiplica o tamanho do pixel pela resolução horizontal ou vertical.

Área efetiva do sensor: quanto maior, melhor

Por que o tamanho do sensor é tão importante? Imagine a quantidade de luz que a pela lente para o sensor como se a chuva estivesse caindo do céu. Agora você tem um décimo de segundo para estimar a quantidade de água que está caindo no momento.

• Com um copo, isso será relativamente difícil para você, mas em um décimo de segundo, com chuva forte, talvez algumas gotas caiam no copo – com pouca chuva ou com um pouco de azar, talvez nenhuma. Sua estimativa será muito imprecisa de qualquer maneira.
• Agora imagine que você tem uma piscina rasa para realizar a mesma tarefa. Com isso, você pode facilmente pegar algumas centenas a alguns milhares de gotas de chuva e, graças à superfície, pode fazer uma estimativa mais precisa da quantidade de chuva.

Assim como no exemplo do copo de shot, da piscina infantil e da chuva, o mesmo se aplica aos tamanhos dos sensores e à quantidade de luz, seja muito ou pouca. Quanto mais escuro, menos fótons são capturados pelos conversores de luz – e menos preciso é o resultado da medição. Essas imprecisões mais tarde se manifestam em erros como ruído de imagem, cores quebradas, etc.

Concedido: a diferença nos sensores de imagem do smartphone não é tão grande quanto a entre um copo e uma piscina infantil. Mas o já mencionado Sony IMX586 na câmera telefoto do Samsung Galaxy S20 Ultra é cerca de quatro vezes maior em termos de tamanho de área do que o sensor de 1/4,4 polegadas na câmera telefoto do Xiaomi Mi Note 10.

Bayer Mask & Co.: agora fica colorido

Vamos revisitar a analogia da água de cima. Se agora pudéssemos colocar uma grade de 4.000 por 3.000 baldes em um prado, poderíamos determinar com uma resolução de 12 megapixels a quantidade de chuva e provavelmente tirar algum tipo de foto da saturação de água da nuvem de chuva acima.

No entanto, se um sensor de imagem com 12 megapixels capturasse a quantidade de luz com suas armadilhas de fótons de 4.000 por 3.000, a foto resultante seria em preto e branco – porque apenas medimos a quantidade absoluta de luz. Não podemos distinguir as cores nem o tamanho das gotas de chuva que caem. Como o preto e branco acaba como uma foto colorida?

O truque é colocar uma máscara de cor sobre o sensor, a chamada matriz Bayer. Isso garante que apenas a luz vermelha, azul ou verde atinja os pixels. Com a matriz Bayer clássica que possui um layout RGBG, um sensor de 12 megapixels possui seis milhões de pixels verdes e três milhões de pixels vermelhos e azuis cada.

Para gerar uma imagem com doze milhões de pixels RGB a partir desses dados, o processamento da imagem normalmente usa os pixels verdes para demosaicing. Usando os pixels vermelhos e azuis ao redor, o algoritmo calcula o valor RGB para esses pixels – o que é uma explicação muito simplificada. Na prática, os algoritmos de demosaicing são muito mais inteligentes, por exemplo, para evitar franjas de cores em bordas afiadas, então o mesmo princípio segue com os pixels vermelhos e azuis, onde uma foto colorida finalmente acaba na memória interna do seu smartphone.

Quad Bayer e Tetracell

Sejam 48, 64 ou 108 megapixels, a maioria dos sensores atuais de altíssima resolução em smartphones tem uma coisa em comum. Enquanto o próprio sensor possui 108 milhões de baldes de água ou sensores de luz, a máscara Bayer acima tem uma resolução menor por um fator de quatro. Portanto, há quatro pixels em cada filtro de cor.

Isso, é claro, parece incrivelmente ótimo quando especificado na folha de dados. Um sensor de 48 megapixels! 108 megapixels! São apenas figuras infladas para excitar a imaginação. E quando está escuro, os minúsculos pixels podem ser combinados para formar grandes superpixels enquanto proporcionam ótimas fotos noturnas.

Paradoxalmente, no entanto, muitos smartphones mais baratos não oferecem a possibilidade de tirar fotos de 48 megapixels – ou até fornecem qualidade de imagem inferior em comparação direta no modo de 12 megapixels. Em todos os casos que conheço, os smartphones são tão mais lentos ao tirar fotos com resolução máxima que o leve aumento na qualidade simplesmente não vale o tempo gasto – especialmente porque 12, 16 ou 27 megapixels são completamente suficientes para o dia a dia use e não esgote a memória do seu dispositivo tão rapidamente.

A maior parte da propaganda de marketing que empurra dezenas de megapixels para o território de três dígitos pode ser ignorada. Mas, na prática, os sensores de alta resolução são realmente maiores – e a qualidade da imagem acaba com benefícios notáveis.

Sensor SuperSpectrum da Huawei: o mesmo em amarelo

Existem também alguns derivados da matriz Bayer, sendo o exemplo mais proeminente a chamada matriz RYYB da Huawei (veja o gráfico acima), na qual o espectro de absorção dos pixels verdes é deslocado para amarelo. Isso tem – pelo menos no papel – a vantagem de que mais luz é absorvida e mais fótons chegam ao sensor no escuro.

No entanto, os comprimentos de onda medidos pelo sensor não são mais tão uniformemente distribuídos no espectro e tão claramente separados uns dos outros em comparação com um sensor RGBG. Para manter níveis precisos de reprodução de cores, as demandas dos algoritmos, que devem interpolar posteriormente os valores de cores RGB, terão que aumentar de maneira correspondente.

Não é possível prever qual abordagem produzirá fotos melhores no final. Isso depende em grande parte dos testes práticos e laboratoriais que tendem a provar que uma ou outra tecnologia é ‘melhor’.

Software da câmera: o algoritmo é tudo

Finalmente, gostaria de dizer algumas palavras sobre os algoritmos envolvidos. Isso é ainda mais importante na era da Fotografia Computacional, onde o conceito de fotografia se torna turvo. Uma imagem composta de doze fotografias individuais ainda é uma fotografia no sentido original?

O que é certo é o seguinte: a influência dos algoritmos de processamento de imagem é muito maior do que o número de bits em uma área de sensor. Sim, uma diferença de área por um fator de dois faz uma grande diferença. Mas um bom algoritmo também cria muito terreno. A Sony, líder mundial no mercado de sensores, é um bom exemplo disso. Embora a maioria dos sensores de imagem (pelo menos tecnologicamente) venha do Japão, os smartphones Xperia sempre ficaram atrás da concorrência em termos de qualidade de imagem. O Japão pode fazer hardware, mas quando se trata de software, os outros são mais avançados.

Neste ponto, gostaria de fazer uma observação sobre a sensibilidade ISO, que também merece um artigo próprio: Por favor, nunca se impressione com os números ISO. Os sensores de imagem têm uma única sensibilidade ISO nativa em quase todos os casos*, que raramente é listada nas folhas de dados. Os valores ISO que o fotógrafo ou a automação da câmera definem durante o processo de disparo real são mais como um ganho – um grau de “controle de brilho”. Quão “longa” é a escala desse controle de brilho pode ser definida livremente, então escrever um valor como ISO 409.600 na folha de dados faz tanto sentido quanto com um VW Golf… bem, não vamos nos aventurar por esse caminho.

Foco automático: PDAF, 2×2 OCL & Co.

Uma pequena digressão no final, que está diretamente relacionada ao sensor de imagem: todo o assunto do foco automático. No ado, os smartphones determinavam o foco correto por meio do foco automático de contraste. Esta é uma detecção de borda lenta e computacionalmente intensiva, que você provavelmente conhece do bombeamento de foco irritante.

A maioria dos sensores de imagem agora integrou o chamado foco automático de comparação de fase, também conhecido como PDAF. O PDAF possui pixels especiais de foco automático integrados ao sensor, que são divididos em duas metades e comparam as fases da luz incidente e calculam a distância até o assunto. A desvantagem dessa tecnologia é que o sensor de imagem é “cego” nesses pontos – e esses pixels de foco cego podem afetar até três por cento da área, dependendo do sensor.

Apenas um lembrete: menos área de superfície se traduz em menos luz/água e, consequentemente, menor qualidade de imagem. Além disso, os algoritmos precisam retocar essas falhas, assim como seu cérebro precisa entender o “ponto cego”.

No entanto, existe uma abordagem mais elegante que não torna os pixels inutilizáveis. As micro-lentes já presentes no sensor são distribuídas em vários pixels em alguns lugares. A Sony, por exemplo, chama isso de 2×2 OCL ou 2×1 OCL, dependendo se as microlentes combinam quatro ou dois pixels.

Em breve, dedicaremos um artigo separado e mais detalhado ao foco automático – o que você procura em uma câmera quando compra um novo smartphone? E sobre quais tópicos sobre fotografia móvel você gostaria de ler mais? Aguardo seus comentários!

Mais artigos sobre câmeras de smartphones e fotografia: