🎯 MediaPipe Hands

Em poucas palavras

Solução de visão computacional do Google que detecta e rastreia mãos em tempo real a partir de uma câmera comum, devolvendo 21 pontos de referência (landmarks) 3D por mão. Por rodar em CPU e dispensar sensores especiais, virou a porta de entrada para projetos de reconhecimento de gestos e teleoperação de baixo custo.

---

📝 Notas e Desenvolvimento

• O que é: um dos módulos do framework MediaPipe, do Google, voltado a pipelines de percepção em tempo real. Usa modelos de aprendizado de máquina leves o bastante para rodar em notebooks, celulares e até no navegador, sem GPU.
• Pipeline em dois estágios:
  1. Detector de palma — localiza a mão na imagem inteira e devolve uma caixa delimitadora. Detectar a palma (um objeto mais rígido) é mais fácil do que detectar a mão com dedos articulados.
  2. Modelo de landmarks — recebe apenas o recorte da mão e estima os 21 pontos das articulações.
  • Nos quadros seguintes, a posição da mão é prevista a partir dos landmarks do quadro anterior; o detector de palma só roda de novo quando o rastreamento se perde. É isso que garante o desempenho em tempo real.
• A saída — 21 landmarks por mão:
  • Ponto 0 é o punho; cada dedo tem quatro pontos, da base à ponta. As pontas são 4 (polegar), 8 (indicador), 12 (médio), 16 (anelar) e 20 (mínimo).
  • Cada ponto tem coordenadas x e y normalizadas entre 0 e 1 pela largura e altura da imagem, e uma profundidade z relativa ao punho (quanto menor, mais perto da câmera).
  • Também informa a lateralidade (mão esquerda ou direita) com um índice de confiança.
• Uso típico em Python: a câmera é lida com OpenCV, o quadro é convertido de BGR para RGB e passado ao modelo, e os landmarks são desenhados sobre a imagem com os utilitários de desenho do próprio MediaPipe.

Limitações

A qualidade do rastreamento cai com pouca iluminação, fundo confuso, mãos parcialmente fora do quadro ou dedos que se escondem uns atrás dos outros (oclusão). A coordenada z é uma estimativa a partir de uma única câmera, bem menos confiável que x e y.

---

📚 Referências e Fontes

🔗 Conexões do Cofre

• Conceitos:
  • Aprendizado de máquina
  • Inteligência artificial
  • Linguagem de programação Python
• Projetos:
  • Recriando um projeto de teleoperação para o FEI Portas Abertas — uso do MediaPipe Hands para controlar uma mão robótica.
  • ATENA - Robô humanoide InMoov com teleoperação baseada em visão Computacional — TCC que usa o MediaPipe para rastrear corpo e mãos do operador.

🌐 Referências Externas

• Guia para uso do MediaPipe Hands Hand landmarks detection guide  - Google for Developers
• Zhang, F. et al. (2020). MediaPipe Hands: On-device Real-time Hand Tracking. arXiv:2006.10214. https://arxiv.org/abs/2006.10214
• Repositório do MediaPipe no GitHub: https://github.com/google-ai-edge/mediapipe

💬 Citações Diretas

• “O MediaPipe Hands devolve um esqueleto da mão com pontos de referência (landmarks) em cada articulação.” — Recriando um projeto de teleoperação para o FEI Portas Abertas