Apple adicionou novos recursos à sua estrutura Vision no iOS 14, iPadOS 14, tvOS 14 e macOS 11.0 Big Slur, que permite aos programadores oferecer e a interações interessantes de aplicativos sem tela.
Habilitando gestos com as mãos nos aplicativos
Conforme explicado na Sessão Apple WWDC 2020, intitulada “Detecta poses de corpo e mão com visão”, Atualizada Estrutura de visão no iOS / iPadOS 14, o tvOS 14 e o macOS 11 usam novos algoritmos de visão computacional para executar várias tarefas em imagens e vídeos de entrada.
Além dos recursos anteriores, como detecção de rosto e ponto de referência, detecção de texto, reconhecimento de código de barras, registro de imagens, rastreamento geral de funções e classificação / detecção de objetos, a plataforma agora a a detecção de posições de corpo e mãos em fotos e vídeos.
Isso permite que os aplicativos analisem os gestos, movimentos e poses executados por corpos e mãos humanos. Isso não se limita às imagens estáticas, porque a estrutura atualizada é capaz de executar esse tipo de análise exigente em um canal de vídeo ao vivo a partir de uma câmera embutida no dispositivo do usuário.
Por que você deve se preocupar com isso
Analisando as poses, movimentos e gestos das pessoas, os aplicativos que usam a estrutura podem oferecer vários novos recursos interessantes que antes não eram possíveis. Exemplos dados incluem um aplicativo de condicionamento físico que pode classificar de forma inteligente os movimentos do corpo.
Ou um aplicativo de segurança que pode ajudar a treinar funcionários na posição ergonômica correta.
Outro exemplo mencionado na AppleSession dos desenvolvedores inclui um aplicativo de edição de vídeo que pode usar a plataforma para encontrar filmes com base na semelhança. É importante ressaltar que o analista de posição da palma da mão permite que os desenvolvedores insiram o reconhecimento de gestos em seus aplicativos.
Acione a captura da câmera com um gesto específico da mão
O e a gestos com as mãos permite uma forma completamente nova de interação do aplicativo sem a tela, por exemplo, “desenho” no aplicativo movendo o dedo no ar sem tocar no visor. Outros exemplos incluem a fácil troca de modos de aplicação, correspondência de emoji a gestos específicos, acionamento do obturador da câmera com um gesto exclusivo da mão e muito mais.
Correspondência de gestos com os símbolos emoji correspondentes
Áreas para melhoria
O AppleFilm da sessão menciona que as funções mencionadas acima funcionam bem na grande maioria das posições comuns das mãos e do corpo, mas existem algumas exceções notáveis.
A detecção de mãos e corpo está disponível no iOS, iPadOS, tvOS e macOS
Usuários que usam luvas ou roupas em excesso podem deixar a armação cair. O mesmo se aplica à detecção da posição da mão e do corpo de pessoas que podem estar inclinadas ou parcialmente bloqueadas.
Pensamentos sobre gestos com as mãos?
Você acha que precisamos de aplicativos que em gestos com as mãos?
O Applefilm da sessão fornece uma excelente visão geral de vários tipos específicos de aplicativos que poderiam se beneficiar desses novos recursos, mas e os outros aplicativos?
E, finalmente, as interações com aplicativos sem tela fazem algum sentido para você?
Entre com seus pensamentos na seção de comentários abaixo!
