Accueil Interface-Z - Produits - Publications - Conseils - Contacts - Liens

Interaction temps réel
- 1 -
Notions fondamentales

Cours du 09/11/06 - ENSAD

Aller au cours n°2 >> - n°3 >> - n°4 >>

Introduction

Notions indispendables en interactivité

Contexte

Notions générales liées aux techniques d'interactivité

Exercices pratiques

I - Du concept à la réalisation technique

Comment traduire un concept d'interaction en technologies ?

Relations ingénieurs / créateurs : nécessité d'un langage commun

L'oeuvre du point de vue de l'ingénieur

Dissociation des trois notions : captation / décision / action

Prototypage / Industrialisation

II - Chaîne d'acquisition / Chaîne d'action

Chaîne d'acquisition des données

De l'environnement au centre de décision

Le convertisseur

- Gamme de tension d'entrée

- Résolution

- Défauts du convertisseur

- Vitesse de conversion

La ligne de transmission / Interface vers l'ordinateur

- Port physique

- Débit et bande passante du canal

- Protocole

- Latence

Captation par camera

Centre de décision

Variété des possibilités

Quelques logiciels utilisés en art interactif

Connexion des actionneurs
autres qu'écrans ou haut-parleurs

Les actionneurs

Protocoles possibles

Sans ordinateur

Sans centre de décision

Conclusion

II - Utilisations de logiciels
pour l'interaction temps réel

Rôles de la programmation dans les systèmes interactifs

- Nécessité du traitement des données issues des capteurs

- Analyse des comportements captés

- Partage de données ou de commandes entre plusieurs machines

- Activation / désactivation au cours du temps

- Programme principal

- Envoi de commandes à divers actionneurs

Temps réel

III - Caractéristiques générales des capteurs

Capteurs et grandeurs physiques captées

Définition

Un capteur mesure une grandeur physique (mesurande).

Classification par grandeurs physiques captées

Conséquences en programmation :

Autres caractéristiques des capteurs

Courbe de réponse d'un capteur

Vocabulaire de caractérisation d'un capteur

Sensibilité

Etendue de mesure

Bande passante

Temps de réponse à X%

Limitations / imperfections des capteurs

- Vieillissement

- Grandeurs d'influence

- Précision / incertitude

- Rapport Signal / Bruit (en db)

Introduction

Le but de ce cours est de présenter les notions fondamentales de l'interactivité et de situer dans un contexte général les matériels particuliers que nous allons utiliser en pratique.

Notions indispendables en interactivité :

- Séparation captation / action
- Sens de circulation de l'information
- Signification du temps réel

Contexte :

- Diversité des matériels disponibles
- Diversité des protocoles de communication, pertinence en fonction de l'utilisation
- Diversité des programmations
- Nécessité ou non d'un ordinateur
- Distinction entre prototypage et production

Notions générales liées aux techniques d'interactivité :

- Grandeurs physiques
- Caractéristiques des capteurs
- Vocabulaire
- Notions liées au protocole
- Caractéristiques liées aux actionneurs

Exercices pratiques

- Mise en place d'une chaîne d'acquisition de données (du capteur vers l'ordinateur)
- Observation de l'effet de différents réglages sur les notions abordées dans le cours : résolution, débit, sensibilité.

I - Du concept à la réalisation technique

Comment traduire un concept d'interaction en technologies ?

-> L'artiste/le designer a un projet esthétique.
-> L'ingénieur veut un cahier des charges technique.

Relations ingénieurs / créateurs : nécessité d'un langage commun

- pour définir ensemble le fonctionnement d'une oeuvre,
- puis choisir les capteurs et matériels les plus appropriés pour la réaliser.

-> L'artiste : pré-analyse comportementale des spectateurs, définition des effets escomptés.
-> L'ingénieur : adaptation d'un matériel existant vers une utilisation précise ou développement spécifique.

L'oeuvre du point de vue de l'ingénieur

Dissociation des trois notions : captation / décision / action

Un capteur n'est pas lié à un effet précis.

Exemple : un "capteur sonore" n'est pas un capteur qui produit du son mais un capteur qui écoute des ondes sonores.

Tous les éléments de ce schéma ne sont pas nécessairement présents :
- Le centre de décision est parfois (rarement) absent
- Les actionneurs n'ont pas forcément besoin de capteurs pour agir (automatismes)

Prototypage / Industrialisation

Ce que nous allons utiliser concerne surtout le prototypage, pour les designers, ou l'élaboration de projets rapides.

Le matériel est conçu pour expérimenter facilement, pour créer des prototypes peu coûteux et faire des études de faisabilité. Il s'agit à l'origine de matériel et de logiciels destinés aux artistes, aux plasticiens, aux musiciens pour créer des pièces uniques ou des performances.

Il n'est pas orienté vers la miniaturisation ou l'industrialisation à grande échelle.

II - Chaîne d'acquisition / Chaîne d'action

Chaîne d'acquisition des données

De l'environnement au centre de décision

Grandeur Physique
Capteur
  Conditionneur
    Convertisseur
      Interpréteur
        Interface émission
          Ligne de transmission
            Interface réception
              Centre de décision

Exemple de chaine d'acquisition en pratique :

Capteur
Rallonge pour signal analogique
Interface signal analogique vers Midi
Càble Midi
Interface Midi-USB
Ordinateur

Interface "Une entrée analogique vers Midi"

Nous détaillerons les caractéristiques liées au seul module de captation plus loin.

Le convertisseur

- Gamme de tension d'entrée

0 à 5V pour la plupart

Cette information est importante car elle permet de savoir si le matériel d'un fabricant est compatible avec le matériel que vous possédez déjà.

- Résolution

Nombre de valeurs distinctes qu'il est possible d'associer au mesurande dans la gamme de tension d'entrée.

- Défauts du convertisseur

- Vitesse de conversion

La ligne de transmission / Interface vers l'ordinateur

- Port physique

C'est la prise sur laquelle on se connecte :
port série, joystick, usb, ethernet, firewire

- Débit et bande passante du canal

en bauds , ou en octets / seconde

- Protocole

ex: midi , UDP

Résolution

- Latence

Captation par camera

Un autre type de capteur

Traitements indispensables des données (localisation, reconnaissance de forme, ...)

Latence spécifique de la caméra, incompressible.

Latence variable due au type de transmission : USB, firewire, carte d'acquisition.

Centre de décision

Variété des possibilités

Ordinateur + programme
Microcontròleur : développement dédié
Branchement direct sur certains matériels incorporant le centre
Réaction directe : pas de centre de décision

Quelques logiciels utilisés en art interactif

Pure-Data / Gem / PMPD
Max MSP / Jitter / PMPD
Director
Isadora
Eyesweb
Arkaos
Soft VNS
Ableton Live

Logiciels gérant le protocole Midi ou OSC ou RS232

Passerelles entre différents logiciels, via le protocole OSC

Réseaux : utilisation de plusieurs machines et/ou de plusieurs logiciels

Connaître les possibilités des différents logiciels permet de les choisir selon des critères
- Coût
- Facilité de programmation / connaissance préalable
- Contrainte technique (certaines choses nécessitent un logiciel précis, d'autres non)
- Avantages qualitatifs spécifiques de chacun

Exemples de couplages :
Isadora utilisé pour gérer un affichage video en réseau avec Pure-Data pour de la synthèse sonore.
Cubase ou Ableton pour la gestion de rythmes et Max MSP pour le pilotage rapide d'actionneurs.

Connexion des actionneurs
autres qu'écrans ou haut-parleurs

Les actionneurs :

- Moteurs
- Lumières
- Electroaimants, électrovannes
- Relais

Protocoles possibles

Interface Midi - Usb / Câble Midi / Carte de pilotage / Actionneur en bas voltage

Interface DMX / câble DMX / Gradateur 220V / Actionneur

Port série / Interface RS232 / Actionneur bas voltage

Réseau Ethernet, OSC / Connexion des actionneurs sur un autre ordinateur

Sans ordinateur

Connexion sur une carte avec un microcontrôleur contenant la programmation.

Sans centre de décision

Connexion directe capteur / actionneur
Exemple : interrupteur / moteur

Connexion directe d'interfaces utilisant un même protocole
Exemple : Capteur / Interface signal analogique vers Midi / Interface Midi de pilotage / Actionneur

Conclusion

- Problème de la latence totale
- Précision / résolution de la chaîne de mesure

II - Utilisations de logiciels
pour l'interaction temps réel

Rôles de la programmation dans les systèmes interactifs

- Nécessité du traitement des données issues des capteurs :

- Récupération des signaux
- Filtrage des données
- Sélection des événements à exploiter
- Elimination des détections non souhaitées

- Analyse des comportements captés

- Partage de données ou de commandes entre plusieurs machines

- Activation / désactivation au cours du temps :

- Prise en compte ou non des capteurs
- Changement des événements déclenchés par chaque capteur
- Automatisme de ces changements ou gestion par un régisseur

- Programme principal :

- Synthèse sonore / Diffusion de son / Spatialisation / ...
- Diffusion d'images / Création d'images / Video / 3D / ...
- Gestion de lumières / moteurs / électroaimants / ...

- Envoi de commandes à divers actionneurs

Temps réel

Latence d'un système

Perception de cette latence, selon les sens sollicités

Caractéristiques à prendre en compte lorsqu'on souhaite une action en temps réel :

- Réactivité du capteur
- Latence de transmission,
- Débit du protocole
- Fréquence de mesures du capteur

III - Caractéristiques générales des capteurs

Capteurs et grandeurs physiques captées

Définition :

Un capteur est un dispositif qui, soumis à l'action d'un mesurande, présente une caractéristique de nature électrique

Modèle de l'être humain au sens des capteurs

Un capteur mesure une grandeur physique (mesurande).

Les propos qui suivent peuvent sembler caricaturaux mais il faut comprendre qu'un capteur n'est absolument pas intelligent...
Pour des capteurs, l’être humain n’est qu’un obstacle mobile pesant opaque caractérisé par divers paramètres physiques :

Chacun de ces paramètres peut être
mesuré et/ou perçu par un capteur.

Classification par grandeurs physiques captées

- Paramètres physiques mécanique
contact, force, pression, flexion, accélération, inclinaison

- Paramètres physiques environnementaux
Température, humidité, pression, gaz ou fumée
ou substances chimiques, champ magnétique terrestre

- Ondes sonores
Son, volume sonore, ultrasons, effet Doppler à ultrasons

- Ondes électromagnétiques basses fréquences
Effet Doppler radar, télémètre laser, interrupteur capacitif, Theremin

- Ondes infra-rouges
Capteurs pyroélectriques, barrière infra-rouge, réflexion infra-rouge, triangulation optique

- Ondes lumineuses visibles
Photorésistances, barrettes CCD, caméras

- Ondes électromagnétiques hautes fréquences
Compteurs Geiger

Conséquences en programmation :

=> Les données des capteurs doivent être
- affichées
- analysées
pour que le programmeur en déduise quelle variation de signal correspond à quel comportement (du spectateur/acteur/performeur/...).

=> Si, en observant les données seulement, on n'arrive pas à repérer l'événement que l'on veut capter, il faut changer de capteur.

Autres caractéristiques des capteurs

Continu / discret / tout ou rien
Etat / variation d’état
Lent / rapide / temps réel

Ces caractéristiques influent sur le traitement des données

Actif / passif
Contact / sans contact
Embarqué / Semi-embarqué / dans l'environnement

Courbe de réponse d'un capteur

Variation du signal électrique en fonction de la variation du mesurande.

-> Il y a différents types de réponses.

Vocabulaire de caractérisation d'un capteur

Sensibilité

Variation du signal électrique du capteur / variation du mesurande
=> Réglage du gain sur le capteur.
=> Amplification éventuelle dans le logiciel.
=> Influence par exemple le choix d'un seuil dans le logiciel.

Etendue de mesure

Différence entre les valeurs extrêmes de la plage du mesurande (max - min).
=> Choix de la résolution de l'interface à capteurs.
=> Etalement ou réduction des données dans le logiciel.

Bande passante

Différence des fréquences extrêmes de fonctionnement.

Temps de réponse à X%

Durée au bout de laquelle la sortie recopie l’entrée à X %
=> Dans le logiciel, influence le délai d'utilisation des données.

Limitations / imperfections des capteurs

- Vieillissement

Dégradation/variabilité des caractérisques au cours du temps
=> Dans le logiciel, nécessité de prévoir des réglages faciles à modifier
ou autoadaptatifs

- Grandeurs d'influence

Variation du signal en fonction d’autres paramètres que le mesurande
=> D ans le logiciel, étudier la possibilité de s'affranchir de ces effets
(pas toujours possible)

- Précision / incertitude

Erreur de précision: incertitude de mesure / étendue de mesure

- Rapport Signal / Bruit (en db)

Dynamique du capteur / dynamique du bruit
=> Dans le logiciel, filtrages
=> Attention au risque de confondre donnée significative et bruit

Cours 2 >>