Epic Games lança o aplicativo para iPhone para capturar animações de rosto 3D usando o Face ID

Jogos épicos hoje lançou um novo aplicativo para iPhone que usa o Face ID para permitir que todos os desenvolvedores capturem animações de rosto em tempo real.

Apresentando o rosto do Live Link

O aplicativo gratuito chamado Live Link Face facilita a captura de animações faciais 3D para produção virtual em tempo real usando um iPhone com a câmera Apple TrueDepth Face ID. Os dados podem ser enviados ao Unreal Engine para mapear e visualizar expressões faciais.

O Live Link Face envia animação de rosto de alta qualidade em tempo real do iPhone diretamente para caracteres no Unreal Engine. Usa o rastreamento de aplicativos AppleARKit e a câmera frontal do iPhone TrueDepth para rastrear interativamente o rosto do artista, enviando esses dados diretamente para o Unreal Engine via Live Link via rede.

Os dados gravados podem ser ajustados nas ferramentas de animação.

O usuário pode reproduzir vídeo de referência em seu telefone, excluir fotos ou compartilhá-las usando o AirDrop. Escrevendo no seu blog, A Epic Games notou que o sistema pode ser integrado aos estágios complexos da captura de movimento, porque usa um código de tempo para sincronizar com outros dispositivos de captura.

Quando o aplicativo é usado quando está sentado em uma mesa, em vez de usar um traje de captura de movimento, ele grava dados adicionais de rotação da cabeça e pescoço, o que, por sua vez, proporciona maior liberdade de movimento para avatares digitais usando apenas o iPhone.

“Os animadores também podem usar a opção de gravar dados de mistura de forma bruta (CSV) e vídeo voltado para a frente (MOV), cada um com uma barra de código de tempo para usar como material de referência para desempenho, se forem necessários ajustes adicionais – motor – disse a empresa.

Para mais informações, confira o documento de e da Epic.

Características principais

As seguintes funções são adas:

Animação facial com câmera frontal e ARKit:

Transmita dados ao vivo para instâncias do Unreal Engine via Live Link pela rede

Execute uma grade de visualização 3D, opcionalmente sobreposta à referência de vídeo em seu telefone

Grave dados brutos de animação de rosto e vídeo pela frente

e de código de tempo para sincronizar vários dispositivos:

Escolha entre o relógio do sistema do iPhone, o servidor NTP ou use o Tentacle Sync para conectar-se ao relógio principal no palco

As referências de vídeo correspondem aos quadros com o código de tempo editorial incorporado.

Controle o Live Link Face remotamente usando o OSC:

Comece a gravar ao ar livre para que os atores possam se concentrar em suas performances

Capture nomes de matrizes e obtenha consistentemente números

Extrair dados automaticamente para arquivamento

Navegue e gerencie a biblioteca de fotos capturada no Live Link Face:

Excluir fotos, compartilhar via AirDrop

Reproduzir vídeo de referência no seu telefone

A Epic Games também está trabalhando no Unreal Engine 5 (assista ao impressionante Unreal Engine 5 versão demo em execução no PlayStation 5) que será para dispositivos Apple iOS e macOS também em 2021.

Você pode baixar o Live Link Face da App Store gratuitamente.