Airglyph : d'une page web à une application native
Airglyph a commencé comme une page web où l'on dessinait du doigt sur l'écran. C'est aujourd'hui une application Android où l'on dessine dans l'air avec la main.
Airglyph a commencé comme une page web, appelée Baguette AR. Dans Chrome, sur un téléphone compatible avec la réalité augmentée, on glissait le doigt sur l'écran et le trait apparaissait en 3D, fixé dans la pièce. Rien à installer : WebXR et Three.js faisaient le travail.
L'application native change le geste. On ne touche plus l'écran : on lève l'index devant la caméra et on dessine dans l'air, puis on ouvre la main pour s'arrêter.
Il a fallu tout réécrire en application Android native, en Kotlin : ARCore pour accrocher les traits à la pièce, un moteur de rendu maison sur OpenGL ES 3, une interface en Jetpack Compose, et le suivi de la main de MediaPipe, qui tourne sur le téléphone.
Le suivi de la main tourne sur son propre fil d'exécution, et le rendu ne l'attend jamais : l'image reste fluide pendant que l'application suit votre doigt.
Les pinceaux ont suivi : néon, vraies flammes, éclairs, portails qui s'ouvrent sur un autre monde, et des objets 3D à poser dans la pièce, des planètes aux sculptures scannées. La vidéo ci-dessus a été filmée sur un téléphone, chaque effet rendu en direct par l'application.
Airglyph arrive bientôt sur Google Play. Laissez votre e-mail ci-dessous : nous vous écrirons une fois, le jour de la sortie.
AirglyphBientôt sur Google Play
