AR Piano – Une nouvelle manière d’apprendre

Un tweet de Fayez Salka – médecin, éditeur de logiciels et artiste 3D – montre comment il utilise la technologie AR (réalité augmentée) pour donner vie à un pianiste virtuel sur un vrai piano. Retour vers le futur, ça devient de plus en plus farfelu. Mais jetez plutôt un œil par vous-même:

️?

Impressionnante réalité augmentée pour musiciens

Dans la vidéo, Salka se promène dans un magasin de pianos. Il pointe la caméra de son téléphone portable sur divers pianos. Immédiatement, un pianiste AR apparaît à l’écran et commence à jouer diverses chansons de pianistes primés. En temps réel, les notes défilent en bas de l’écran.

En chargeant le tweet, vous acceptez la politique de confidentialité de Twitter.
Apprendre encore plus

Charger du contenu

Débloquez toujours les tweets Twitter

Reconnaissance précise de l’environnement, avec une simple caméra

L’application reconnaît le piano, y compris les notes de son clavier. Il détermine la position et l’orientation tridimensionnelles du piano dans un espace 3D. Cela se fait avec une précision allant jusqu’à 1 centimètre. Ceci est effectué simplement en regardant chaque image individuelle, les caméras de profondeur 3D ne sont pas nécessaires.

Ce positionnement précis est important pour que le pianiste virtuel puisse être aligné et superposé visuellement à l’endroit exact du piano. La chose intéressante à ce sujet est que, en raison de l’algorithme d’auto-apprentissage, cela fonctionne avec n’importe quel modèle de piano de n’importe quelle marque. Même les conditions d’éclairage ne sont pas pertinentes. Il n’est pas nécessaire de définir des points d’image spéciaux ou des marqueurs d’image. De plus, il n’est pas nécessaire de scanner le piano au préalable. Incroyable!

Maintenant disponible sur  l’App Store

L’application est désormais disponible sur l’App Store iOS. Fayez Salka et son partenaire commercial Anas Wattar de Massive Technologies Inc., de Montréal, ont éliminé les derniers bugs de la merveille virtuelle et l’ont mise à la disposition des autres en ligne. Il y a très probablement un remue-méninges créatif à faire, à quelles fins l’application pourrait être utilisée. L’avenir nous le dira!

from www.massivetechnologies.ca

Faites l’expérience du piano sur votre téléphone portable

Dans son état actuel, le penseur créatif voit l’application comme un excellent outil pour découvrir la musique de piano sur son smartphone d’une manière complètement nouvelle. C’est vraiment quelque chose de spécial, une approche complètement nouvelle avec des scénarios auparavant inimaginables pour apprendre à jouer d’un instrument. En cours de développement, l’application pourrait couvrir de nombreux autres domaines de la musique et une variété d’instruments.

A screenshot of « Drum Machina » from massivetechnologies.ca

Une nouvelle étape vers l’intelligence artificielle musicale

Pour le dire franchement: une nouvelle étape dans le développement de l’IA (intelligence artificielle) est en cours d’implémentation ici. Alors que la musique non faite à la main était auparavant limitée à l’utilisation de la lecture, des séquences et autres, l’ancien concept est maintenant complètement renversé: vous pointez simplement votre smartphone vers un piano et tout le processus se déroule.

La machine comme professeur?

Vous jouerez ce que vous aimeriez apprendre d’une manière absolument directe et visuellement compréhensible. Cependant, ce n’est pas le piano « artificiel » qui joue, mais une personne virtuelle. Ainsi, vous pouvez établir une relation personnelle avec votre smartphone. Enfin, une application AR qui a un potentiel énorme pour les jeunes musiciens ambitieux.

Ou pourrait mener ce genre de technologie?

Ne nous leurrons pas, après tout, malgré toutes ses fonctionnalités complètes, cette application n’est également que le début. Il est concevable que ce ne soit pas seulement un gadget optique fascinant, mais plutôt une étape didactique dans le futur monde de la musique pour presque tous les instruments. C’est une drôle de pensée que vous pourriez avoir votre professeur de musique en permanence dans votre poche dans un avenir proche. Une petite requête par simple frappe ou commande vocale; il / elle jouera la prochaine leçon pour vous. Autant de fois que vous le souhaitez, et avec une perfection constante, jusqu’à ce que vous ayez tout compris.

Encore beaucoup à faire

Pour Salka, le projet a commencé comme un hobby. Pendant ce temps, la coopération avec Massive Technologies est devenue son travail principal. Et il est déjà clair qu’il reste encore beaucoup à accomplir. Fayez rapporte que certaines idées sont encore en train de murir, nous sommes curieux et suivrons les développements avec grand plaisir. Pour illustrer le potentiel: Une ancienne application de Massive Technologies s’appelle Piano 3D. Un produit avec plus de 7 millions de téléchargements, et ça compte …

En chargeant la vidéo, vous acceptez la politique de confidentialité de YouTube.
Apprendre encore plus

Charger la vidéo

Toujours débloquer YouTube

Voici enfin tous les liens vers les applications  Massive Technologies‘:

La musique d'abord, mais la guitare surtout ! Guillaume rejoint Thomann en 2017 et en est actuellement à 588 pauses déjeuner passées dans le magasin à essayer du matériel !

Tous les articles de Guillaume