La question tech du jour : comment fonctionnent les filtres Snapchat ?

Youtube Vox

Vous avez l’habitude de vous servir du filtre "toutou" ou de la couronne de fleurs sur Snapchat. Mais saviez-vous que derrière ces filtres, ou lenses, se cache un procédé très sérieux ? Explications. 

La technologie utilisée par Snapchat pour créer ces filtres toujours plus fun est née d'après l'idée une start-up ukrainienne, Looksery. Au départ, Looksery était une application parmi tant d’autres, spécialisée dans la retouche de selfies et de vidéos disponible sur l’App Store. Mais très vite, cette petite application et ses filtres de qualité tapent dans l’œil de Snapchat qui la rachète en septembre 2015 pour une somme estimée à 150 millions de dollars, la plus grosse acquisition tech en Ukraine.

L'appli détecte chaque contraste du visage Youtube Vox

Dans un premier temps, le logiciel va détecter quelle partie de l’image correspond au visage. Puis un algorithme (la méthode de Viola-Jones) va détecter les yeux, le nez, les sourcils et la bouche grâce aux contrastes et zones d’ombre ou de lumière. L’arête du nez est beaucoup plus claire que les bords, les yeux sont aussi plus sombres que le front, lui-même plus éclairé en son centre. Toutes ces données permettent à l’algorithme de détecter précisément chaque zone du visage. Il faut être bien en face de la caméra et ne pas tourner la tête au risque que le système ne puisse plus identifier les éléments importants, ce qui empêcherait le filtre de fonctionner.

Des milliers de visages ont servi pour créer un modèle statistique d'une forme de visage Youtube Vox

Pour appliquer les maquillages virtuels comme le fard à paupières ou le rouge à lèvres, l’application doit, en plus de les détecter, localiser les traits du visage. Pour cela, l’appli utilise un modèle statistique d’une forme de visage. Des scientifiques ont ainsi, pendant des heures, marqué par des points les limites du visage sur des centaines voire des milliers d’échantillons d’images. De ces statistiques est né un modèle type de visage qui sera ensuite adapté à chaque individu.

Les points s'adaptent en temps réel pour que le filtre épouse au mieux les formes du visage Youtube Vox

Une fois que les traits de votre visage sont localisés par l'appli, les points vont servir de repères pour créer un maillage qui sera la base du filtre. Il s’adapte à chacun de vos mouvements et peut évoluer avec votre visage. Par exemple, agrandir vos yeux, déformer votre visage, ajouter des accessoires et définir des animations quand vous ouvrez la bouche ou haussez les sourcils.

Cette vidéo de nos confrères de Vox explique toutes ces étapes.

Retrouvez SFR News sur Facebook et Twitter.