Wiki d'activités IMA - Contributions de l’utilisateur [fr]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-04-13T20:46:54Z

Jbailet : /* Fichiers Rendus */

<include nopre noesc src="/home/pedago/pimasc/include/video-AccessibiliteJeuxVideos-iframe.html" />
__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Montage du système sur le boitier.

[[Fichier:FinalboitiersManette.jpg|center|thumb|350px|Boîtier final de la manette]] 

== Fichiers Rendus ==

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:49:40Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Montage du système sur le boitier.

[[Fichier:FinalboitiersManette.jpg|center|thumb|350px|Boîtier final de la manette]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:48:43Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

[[Fichier:FinalboitiersManette.jpg|center|thumb|350px|Boîtier final de la manette]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:47:11Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|center|thumb|350px|Boîtier final de la manette]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:46:10Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|center|thumb|350px|Circuit imprimé obtenu après conception]] 

[[Fichier:FinalboitierJoystick.jpg|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:FinalboitierCentral.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:45:55Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|left|thumb|350px|Circuit imprimé obtenu après conception]] 

[[Fichier:FinalboitierJoystick.jpg|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:FinalboitierCentral.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:45:41Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|left|thumb|400px|Circuit imprimé obtenu après conception]] 

[[Fichier:FinalboitierJoystick.jpg|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:FinalboitierCentral.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

Fichier:FinalboitierJoystick.jpg

2016-02-27T10:44:52Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:44:31Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

[[Fichier:FinalboitierJoystick.jpg|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:FinalboitierCentral.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

Fichier:FinalboitierCentral.jpg

2016-02-27T10:44:10Z

Jbailet :

Fichier:FinalboitiersManette.jpg

2016-02-27T10:42:32Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-27T10:41:59Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

Nous avons décidé de réaliser un circuit imprimé afin de créer un shield (bouclier) pour la carte Arduino. Là-dessus, on pourra souder directement 8 prises jack, les 2 potentiomètres, les données transmises en série par la Raspberry Pi, les 4 directions données par le joystick, ainsi que les broches qui seront connectées à l'Arduino. Les pistes sont imprimées sur la face inférieure, et un plan de masse est aussi créé pour relier tous les points de masse, et ainsi éviter de devoir créer des pistes sur une deuxième face. Les prises jack sont reliées aux entrées digitales, les potentiomètres et les données du joystick sont liés aux entrées analogiques, et la Raspberry Pi est reliée au port Rx de l'Arduino.

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_Altium.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:IMA5_P33_Bailet_Zeggai_PCB_imprime.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

*Montage du système sur le boitier.

*Soudage des composants sur le PCB (broches pour Arduino, prises jack, potentiomètres, données directionnelles)

*Avancement du rapport

*Réunion à La Gerlotte du 17/02/2016 :

Nous avons présenté la version quasi finalisée de la manette, qui est maintenant constituée de deux boîtiers : un boitier directionnel (joystick et contacteurs directionnel), et un boitier central (Raspberry Pi, Arduino et contacteurs d'action). Deux résidents ont testé la manette, et les tests on été plutôt positifs : l'utilisation de la manette a été plutôt bien assimilée. Nous avons pu les filmer pendant qu'ils jouaient.

Nous avons aussi présenté une interface graphique fonctionnelle. Celle-ci permet la combinaison de 2 touches d'action sur un contacteur (exemple : tirer + sauter).

Notre prochain objectif est de finaliser complètement le système.

[[Fichier:FinalboitiersManette.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

[[Fichier:FinalboitierJoystick.png|left|thumb|200px|Schéma du PCB intégré à la manette]]

[[Fichier:FinalboitierCentral.jpg|center|thumb|200px|Circuit imprimé obtenu après conception]] 

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Rapport final du projet : [[Fichier:PFE_IMA5_P33_Rapport_final_Bailet_Zeggai.pdf]]

Archive du code source du projet : A venir...

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T23:20:46Z

Jbailet : /* Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T23:18:42Z

Jbailet : /* Fichiers Rendus */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T23:11:26Z

Jbailet : /* Fichiers Rendus */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:40:38Z

Jbailet : /* Boîtiers de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]]

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:40:15Z

Jbailet : /* Avancement du Projet */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeArduinoRasp.png|center|thumb|200px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|left|thumb|200px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:38:54Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeArduinoRasp.png|left|thumb|230px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|center|thumb|230px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:38:30Z

Jbailet : /* Boîtiers de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeArduinoRasp.png|left|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|center|thumb|250px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:38:06Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeArduinoRasp.png|left|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|center|thumb|250px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:37:31Z

Jbailet : /* Boîtiers de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures. Plus d'information concernant concernant la découpe laser au Fabricarium disponible [http://www.fabricarium.fr/mediawiki-1.23.5/index.php?title=Speedy_400 ici].

[[Fichier:decoupeArduinoRasp.png|left|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|center|thumb|250px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Fichier:DecoupeJoystick.png

2016-02-20T11:35:26Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:33:34Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

[[Fichier:decoupeJoystick.png|center|thumb|250px|SVG du boîtier du joystick]] 

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:29:23Z

Jbailet : /* Partie Arduino */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues et on ré-active la manette à la fin de chaque configuration.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:28:10Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====
Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

=====Partie Arduino=====
Du côté de l'Arduino, nous avons adapté le code pour pouvoir gérer des combinaisons de touches. On définit une matrice 8x2 de boutons (8 jacks et 2 boutons potentiels affectés par jack). Lors d'un appuie sur un contacteur, si le 2ème bouton n'est pas affecté (initialement à la valeur 13) la manette enverra que la 1ère commande. Si la valeur est différente, la manette enverra le 1er et le 2eme bouton avec un intervalle de temps configurable sur l'interface graphique.

Une fonction va scruter le port série USB de l'Arduino pour voir si des données sont disponibles. Sur ce port l'on ne reçoit que des données de configuration. On adapte alors la matrice de boutons en fonction des données reçues.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:10:46Z

Jbailet : /* Interface graphique de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivée tant que la configuration n'est pas terminée (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:10:18Z

Jbailet : /* Interface graphique de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivé tant que la configuration n'est pas terminé (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack est envoyée et la manette est re-activée.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:09:26Z

Jbailet : /* Interface graphique de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenêtre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les séparant et également configurable.
B1 correspond au 1er bouton du jack, et B2 le 2ème si affecté.
Le bouton "Défaut" dans la fenêtre de configuration remet le jack a l'état initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivé tant que la configuration n'est pas terminé (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack correspondant est envoyé et la manette est re-activé.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T11:08:17Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

Nous avons finalisé l'interface graphique de la manette qui permet de remapper les commandes et de réaliser des combinaisons de touches.

En cliquant sur le bouton "Config" cela ouvre une fenetre qui va permettre de remapper les boutons de la manette.
Il est possible d'affecter 2 boutons par jack, avec un intervalle de temps les separant et egalement configurable.
B1 correspond au 1er bouton du jack, et B2 le 2eme si affecte.
Le bouton "Defaut" dans la fenetre de configuration remet le jack a l'etat initial.

L'interface communique avec l'Arduino via le port série pour envoyer des données. Lors de l'appuie sur le bouton "Config" d'un jack, une fenêtre s'ouvre et la manette est désactivé tant que la configuration n'est pas terminé (afin d'éviter d'éventuels bugs). Les données envoyés à l'Arduino sous forme de chaîne de caractère sont :
* ID du jack à configurer
* Numéro du 1er bouton à affecter
et si combinaison de touches, seront envoyés en plus :
* Numéro du 2ème bouton
* Intervalle de temps (en ms) séparant le 1er et 2ème bouton
En cliquant sur "Ok" la nouvelle configuration du jack correspondant est envoyé et la manette est re-activé.

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|Fenêtre de configuration des jacks]] 

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Fichier:ConfigWindowGUI.png

2016-02-20T10:50:17Z

Jbailet :

Fichier:MappingBoutonsGUI.png

2016-02-20T10:49:48Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:49:27Z

Jbailet : /* Avancement du Projet */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|250px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

[[Fichier:mappingBoutonsGUI.png|left|thumb|200px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|200px|fenêtre de configuration des jacks]] 

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:48:46Z

Jbailet : /* Interface graphique de la manette */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|180px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

[[Fichier:mappingBoutonsGUI.png|left|thumb|180px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|180px|fenêtre de configuration des jacks]]

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:48:31Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

=====PCB shield arduino=====

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|180px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

[[Fichier:mappingBoutonsGUI.png|center|thumb|180px|Interface graphique de la manette]]

[[Fichier:configWindowGUI.png|center|thumb|180px|fenêtre de configuration des jacks]]

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Fichier:DecoupeArduinoRasp.png

2016-02-20T10:37:46Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:37:24Z

Jbailet : /* Avancement du Projet */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

[[Fichier:decoupeArduinoRasp.png|center|thumb|180px|SVG du boîtier du système central (Arduino & Raspberry Pi 2)]]

=====Interface graphique de la manette=====

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:32:06Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.

=====Boîtiers de la manette=====
Nous abandonnons l'idée d'utiliser l'imprimante 3D pour réaliser les boîtiers. En effet l'impression aurait été trop longue (>15h) pour un résultat qui n'aurait pas forcément été solide et optimale.

Nous nous sommes alors tourné pour la découpe laser disponible au Fabricarium et de réaliser des boîtiers en bois. Le processus est rapide (moins de 10 min) et le rendu est assez esthétique. On crée la boite à partir d'un site de [http://carrefour-numerique.cite-sciences.fr/fablab/wiki/doku.php?id=projets:generateur_de_boites génération de boîtes]. Cela va générer un fichier SVG et à l'aide du logiciel Inkscape on ajoute les différents éléments à intégrer: trous, gravures.

=====Interface graphique de la manette=====

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:22:22Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.

=====Boitier de la manette=====
Découpe lazer des boitiers.

Interface graphique.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:16:34Z

Jbailet : /* Semaine 19 (du 15/02/2016 au 21/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.

Découpe lazer des boitiers.

Interface graphique.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.

Réunion à La Gerlotte.

Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:16:21Z

Jbailet : /* Semaine 18 (du 08/02/2016 au 14/02/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.

Découpe lazer des boitiers.

Interface graphique.

===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.
Réunion à La Gerlotte.
Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-20T10:16:03Z

Jbailet : /* Avancement du Projet */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 (du 01/02/2016 au 07/02/2016)===

Compte-rendu de la réunion du mercredi 03/02/2016 à La Gerlotte :

*Retours sur l'utilisation du proto de manette de jeux que nous avons mis à disposition de La Gerlotte durant 2 semaines. Retours positifs et encourageant, utilisation sur des jeux simples tels que Tetris. Utilisation de 3 contacteurs pour les commandes Gauche, Droite et Rotation du bloc. Manipulation autonome des résidents ou aide d'un ergo pour jouer au jeu (au cas par cas des résidents).
*Partage des commandes entre 2 utilisateurs, permet d'apporter au système une dimension sociale et conviviale. Vincent notamment maitrise parfaitement les commandes de Tetris et a pu jouer pendant plus de 1h sur le jeu de façon autonome.
*Les jeux nécessitent d'être basiques et d'avoir un arrière plan fixe (tetris, pac-man, casse-brique, jeux de combats en 2D par exemple) car la plupart des résidents sont épileptiques. Si l'on prend un jeu de course simple (par ex mario kart) le 1er plan (voiture et perso, route) et l'arrière plan (décor, paysage) changent en permanence, ce qui peut engendrer une sensation de vertige à un épileptique et causer une crise. Notre système offre beaucoup de possibilités d'adaptation pour les résidents.
*Une salle multimédia musique et vidéo va être aménagée à La Gerlotte, la manette de jeux sera mise à disposition dans cette salle et des activités de jeux vidéos seront prévues telles que des tournois entre résidents, jeux en coopération, et permettra aux résidents de s'épanouir tout en améliorant autant leurs capacités motrices, leurs réflexes et ainsi les soigner.

Nous avons décrit également l'avancement sur l'interface graphique pour paramétrer l'automatisation des touches et des combinaisons de touches. Cette interface apporterait plus de possibilités d'adaptation au système. Quelques soucis avec la communication de l'interface avec l'Arduino et quelques soucis à intégrer les fonctions de communication sans modifier toute l'architecture et le code en place sur l'Arduino.
Nous nous sommes mis d'accord sur le fait que 2 boitiers seront réalisés à l'aide de l'imprimante 3D : un boitier pour le système central (Arduino et RaspberryPi) et un boitier pour le joystick et les commandes de direction. Les PCB seront mis en place, le tout pour avoir un produit fini et stable. Ce dernier sera mis à disposition de La Gerlotte.

2 autres manettes supplémentaires seront réalisé, pour Maxime de Liévin et peut-être Le Hameau ?

La prochaine réunion est fixée le mercredi 17/02/2016 14h30 où il sera prévu de tester le produit final, et égalemment de prendre une vidéo d'utilisation de la manette par un/des résident(s).

===Semaine 18 (du 08/02/2016 au 14/02/2016)===

PCB shield arduino.
Découpe lazer des boitiers.
Interface graphique.
===Semaine 19 (du 15/02/2016 au 21/02/2016)===

Montage du système sur le boitier.
Réunion à La Gerlotte.
Avancement du rapport.

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

Projets IMA5 2015/2016

2016-02-19T18:06:25Z

Jbailet :

Merci de référencer vos pages de projets ici. Merci aussi d'uniformiser vos formats que ce soit en regardant la présentation des projets déjà créés ou en allant modifier le format des précédents si votre façon de faire vous semble la meilleure. Dans tous les cas un minimum de communication entre les binômes est conseillée.

Toutes les sources doivent être déposées sur notre archive GIT. Le service est disponible à l'URL [https://archives.plil.fr archives.plil.fr]. Connectez-vous avec vos identifiants Polytech'Lille. Sauf indication contraire de vos encadrants, rendez le projet public et mettez le lien sur votre Wiki. Vous pouvez trouver de la documentation sur ce système d'archives sur ce [https://git-scm.com/book/fr/v1 site].

== Répartition des binômes ==

<table border="1">
<tr>
<th>Projet</th>
<th>Elèves</th>
<th>Encadrant Ecole</th>
<th>Rapport décembre</th>
<th>Rapports finaux</th>
<th>Vidéo</th>
</tr>
<tr>
<td>[[P1 Convertisseur DC/DC pour réseau MTDC]]</td>
<td> Mehmet Ilter </td>
<td> Philippe DELARUE </td>
<td> </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P2 Data Logger]]</td>
<td> Hidéo VINOT</td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> 15/12/2015 12;00</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P4 Jukebox multi-pièces]]</td>
<td> Alexandre Jouy / Julien hérin </td>
<td> Rodolphe Astori / Xavier Redon / Alexandre Boé / Thomas Vantroys </td>
<td> [[Fichier:Pre_soutenance_PFE_Jouy_herin.pdf]] </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P9 Système d'hébergement domestique]]</td>
<td> Romain Libaert / Timothée Teneur </td>
<td> Xavier Redon / Alexandre Boé / Thomas Vantroys </td>
<td> 15/12/2015, 10:21, [[Fichier:P9_LIBAERT_TENEUR_DEC15.pdf]]</td>
<td> </td>
<td> RDV L. Engels le 22/02 </td>
</tr>
<tr>
<td>[[P10 LILLIAD: Connected Learning Center | P10 LILLIAD: learning center connecté]]</td>
<td> Mageshwaran Sekar </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> 15/12/2015,07:48, [[Fichier:P10_FYP_December_Report_M_SEKAR.pdf]]</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P11 Spectateur augmenté]]</td>
<td> Teresa Tumbragel </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> </td>
<td> [[Fichier:Teresa Tumbragel-Rapport Spectateur Augmente.pdf]] </td>
<td> NA </td>
</tr>
<tr>
<td>[[P12 Capteurs enfouis pour vieillissement du béton]]</td>
<td> JULITA Alex </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P14 Localisation dans le corps humain]]</td>
<td> Matthieu Marcadet </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> 15/12/2015, 10:52, [[Fichier:Rapport_intermediaire_PFE_Marcadet.pdf]]</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P18 Meuble intelligent]]</td>
<td> Kevin Colautti / Benjamin Lefort </td>
<td> Rémy Bernard / Alexandre Boé / Xavier Redon / Thomas Vantroys </td>
<td> 14/12/2015, 14:44, [[Fichier:P18_pre_soutenance.pdf]]</td>
<td> </td>
<td> RDV L. Engels le 22/02 </td>
</tr>
<tr>
<td>[[Automatic Soldering System Project|P20 Placeur de composants sur PCB]]</td>
<td> Jean Wasilewski & Pierre Letousey </td>
<td> Xavier Redon / Thomas Vantroys / Alexandre Boé </td>
<td> [[Fichier:P20_ASSP.pdf]]</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P24 Nuage pour sites Web]]</td>
<td> Jeremie Denechaud / Thibaut Scholaert </td>
<td> Xavier Redon / Thomas Vantroys </td>
<td> 15/12/2015, 12:02, [[Fichier:P24_Denechaud_Scholaert.pdf| Rapport intermédiaire de projet]]</td>
<td> </td>
<td> Fait Maison</td>
</tr>
<tr>
<td>[[P25 Architecture ROS pour des véhicules autonomes intelligents]]</td>
<td> Jean-Michel Tournier / Cyril Smagghe </td>
<td> Vincent Coelen et Rochdi Merzouki </td>
<td> 15/12/2015,09:04, [[Fichier:P25-2015_Smagghe_Tournier_decembre.pdf]]</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P26 Robot de forgeage et d’usinage]]</td>
<td> Bertrand Yvernault / Louis Thebault </td>
<td> Rochdi Merzouki </td>
<td> 14/12/2015, 17:51</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P27 Robot de fraiseuse]]</td>
<td> Flavien Royer / Maxime Morisse </td>
<td> Rochdi Merzouki </td>
<td> 14/12/2015, 19:06, [[Fichier:Rapport_Royer_Morisse.pdf]]</td>
<td> </td>
<td> </td>
</tr>

<tr>
<td>[[P30 Thermostat connecté et intelligent]]</td>
<td> TISSOT Elise / TIRABY Céline </td>
<td> Guillaume Renault / Alexandre Boé / Xavier Redon </td>
<td>15/12/2015, 00:35, [[Fichier:Rapport_PFE_TISSOT_TIRABY.pdf‎ ]] </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P32 Récupération d'énergie pour balise BLE]]</td>
<td> Quentin Sultana </td>
<td> Frédéric Giraud / Alexandre Boé / Thomas Vantroys </td>
<td> 13/12/2015, 19:31, [[Fichier:CR Miprojet_Sultana.pdf]]</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P33 Réalisations en faveur de l'accessibilité de jeux vidéos]]</td>
<td> Jérôme Bailet / Mehdi Zeggaï </td>
<td> GAPAS / Laurent Grisoni / Thomas Vantroys </td>
<td> 14/12/2015, 10:54, [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]</td>
<td> </td>
<td> RDV L. Engels le 25/02 </td>
</tr>
<tr>
<td>[[P35 Robot de test pour le sport de Golf]]</td>
<td> Deborah Saunders </td>
<td> Rochdi Merzouki </td>
<td> 15/12/2015, 12:07</td>
<td> </td>
<td> </td>
</tr>

<tr>
<td>[[P34 Optimisation de trajectoire pour un robot de curiethérapie]]</td>
<td> Sandra HAGE CHEHADE / Thomas DANEL </td>
<td> Vincent COELEN / Rochdi MERZOUKI </td>
<td> 15/12/2015, 12:02</td>
<td> </td>
<td> </td>
</tr>

<tr>
<td>[[P40 Maquette mécatronique durcie d'ascenseur 5 étages]]</td>
<td> Louis CHAUCHARD / Romain IMBERT </td>
<td> Blaise CONRARD </td>
<td> 14/12/2015, 19:21</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P13 Plateforme expérimentation IOT]]</td>
<td> ROCHE François </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> 14/12/2015, 19:37, [[Fichier:PFE_P13_Plateforme_expérimentation_IOT.pdf]] </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[Implantation d'un filtre FIR-FX-LMS sur FPGA pour l'annulation de Bruit Acoustique]]</td>
<td> Bown Alexander / Piat Valentin </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> NA </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[Pilulier automatique]]</td>
<td> Manouk Simon / Corentin Duplouy </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> NA </td>
<td> </td>
<td> RDV L. Engels le 23/02 </td>
</tr>
</table>

Fichier:ProtoManetteTupe.jpg

2016-02-02T23:05:57Z

Jbailet :

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-02T23:05:12Z

Jbailet : /* Avancement du Projet */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

[[Fichier:protoManetteTupe.jpg|thumb|center|300px|Prototype de manette de jeux prêt à l'emploi]] 

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 ===

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-02T22:59:03Z

Jbailet : /* Semaine 16 (du 25/01/2016 au 31/01/2016) */

__TOC__
 
==Cahier des charges==
===Présentation générale du projet===

====Contexte====

[[Fichier:logo_la_gerlotte.jpg|thumb|left|La Gerlotte de l'association La vie,autrement ...]]

Les jeux vidéos se sont largement répandus dans le monde aujourd'hui et sont présents sur toutes les plates-formes : téléphones portables, consoles, ordinateur, tablettes. Ils offrent une expérience ludique et divertissante aux utilisateurs au nombre grandissant. Cependant jouer à un jeux vidéos demande de la pratique : il faut manipuler la souris ou le joystick avec brio tandis que la seconde main parcourt le clavier, les manettes de jeux de plus en plus complexes où nos doigts virevoltent en même temps sur les milliers de boutons. Tout cela requiert une grande concentration et des heures d'apprentissage non négligeables.

le sujet est d'autant plus difficile pour les personnes handicapées qui souhaitent s’amuser sur un jeu vidéo actuel. Quels sont les moyens qu’un accidenté lourd ou un individu handicapé depuis sa naissance, pourrait utiliser pour se détendre sur un jeu ?
En fonction de la nature du handicap, des solutions diverses et variées existent.

La Gerlotte, est une maison d’accueil spécialisée de l'association La vie, autrement ..., qui accueille des adultes polyhandicapés dépendants dans tous les actes de la vie quotidienne, à l’exclusion des personnes présentant un gros trouble du comportement ou de la personne.

Nous avons pour projet de permettre l'accessibilité de jeux vidéos aux personnes handicapées de l'établissement et de leur apporter ainsi ce moyen de divertissement.

====Objectif du projet====

Permettre à des personnes handicapées l'accès aux jeux vidéos.

====Description du projet====

Afin de rendre accessible des activités ludiques deux approches sont possibles, une adaptation ou une création des périphériques de jeux (manettes, ...) ou une modification de système existants en les rendant plus interactifs. Les enfants et adultes en situation de polyhandicap sont dans l'incapacité physique de manipuler les télécommandes et joysticks prévus avec les consoles de jeux vidéos classiques (wii, nintendo,..). Le projet est de pouvoir leur rendre accessibles ces moyens de se divertir en trouvant des adaptations (type contacteur) correspondant à leurs capacités. Quelques pistes envisagées (non exclusives) : une commande simple BCI (Brain Computer Interface) compatible avec les logiciels existants fonctionnant en mode défilement, ou encore un contacteur au clignement intentionnel de paupière enregistré par webcam...
Ce projet sera effectué à destination des habitants de la maison d'accueil spécialisée de La Gerlotte de Marcq-en-Barœul. Cette résidence accueille des personnes adultes polyhandicapées dépendantes.

===Étapes du projet===
* Rencontre avec le personnel de la Gerlotte et établissement du cahier des charges et des attentes
* "Clôture" du cahier des charges et début de l'élaboration des adaptations convenues
* Tests des adaptations établies avec les résidents de la Gerlotte, et prise en compte des retours

===Choix techniques : matériel et logiciel===
* Arduino Leonardo [fourni le 13/10/2015]
* Sparkfun Analog Joystick [fourni le 21/10/2015]
* 2 boutons poussoirs [fourni le 21/10/2015]

==Avancement du Projet==

===Semaine 1 (du 28/09/2015 au 04/10/2015)===
Rendez-vous à la Gerlotte du mercredi 30/09/2015 :
* Rencontre avec l'animateur Xavier Hantson et visite de l'établissement la Gerlotte
* Rencontre avec les résidents, présentation des infrastructures en place (adaptations, appareillages), et aperçu des différents handicaps pris en charge
* Réunion avec le directeur David Desmulier, l'ergothérapeute Thierry Danigo et M. Hantson. Brainstorming sur les différents moyens pour l'accessibilité aux jeux vidéos : adaptation, modification de manettes, OneSwitch, support handsfree, reconnaissance oculaire (Eye Tracking Tobii avec le SDK, tools et hardware pour 99 euros), le choix de l'eye track inclurait la création d'un jeux vidéo adapté.
* Accord pour le prochain rendez-vous au 14/10/2015, où un premier choix d'adaptation devra être fait afin de commencer les premiers travaux

Après discussions avec M. Vantroys et M. Grisoni, la reconnaissance oculaire n'est pas un choix que nous conseillent nos professeurs et la création de jeux vidéos serait un travail beaucoup trop laborieux. À ce jour, nous restons dans l'idée de modification de manettes, périphériques pour pouvoir jouer à des jeux déjà existant. Nous poursuivons nos recherches pour approfondir le sujet ou pour trouver d'autres possibilités.

===Semaine 2 (du 05/10/2015 au 11/10/2015)===
Recherche bibliographique sur les solutions et logiciels existants permettant l’accessibilité aux jeux vidéos pour les personnes handicapées (cf [http://www.capgame.fr CapGame]) :
* GlovePie : commande des jeux par la voix
* AltController : des boites virtuels simulent des touches du clavier lors du passage ou clic de la souris
* Kinesic Mouse : contrôle des jeux par mouvements de la tête, sourcils, lèvres, etc
* UnoJoy : librairie Arduino permettant à partir d'une manette existante ou crée, de la rendre compatible sur Windows/Mac/PS3
* Emulation d'un clavier/souris sur Windows à l'aide d'une plate-forme de développement SMT32F4 ou d'un Arduino Leonardo. Création d'une manette de jeux avec des boutons/joysticks de bornes d'arcades.

===Semaine 3 (du 12/10/2015 au 18/10/2015)===
Réunion à la Gerlotte du mercredi 14/10/2015 en présence de M. Xavier Hantson, Thierry Danigo, Martin Nicolas, Laurent Grisoni.

Proposition et Brainstorming sur les différentes solutions envisagés :
* adaptation d'une manette Wii à partir d'un projet déjà commencé l'an dernier ([https://projets-ima.polytech-lille.net:40079/mediawiki/index.php?title=P35_Hack-a-Wii_:_Emulation_de_wiimote_pour_rendre_la_Wii_accessibles_aux_personnes_handicap%C3%A9es lien]), solution orientée pour la console Nintendo Wii
* création d'une manette adaptable à partir d'un microcontrôleur de type Arduino par exemple, orientée plutôt pour les jeux PC.
* intégration de jeux vidéos devenus libres, jeux rétros de l'époque Atari, sur les systèmes Rapsberry Pi ou Banana Pi

Prochaine réunion fixée au mercredi 4/11/2015 à 14h30 à La Gerlotte. Pour cette date, il a été convenu de créer un Google Docs ouvert à tous les encadrants du projet permettant de répertorier tous les liens des pistes de recherches abordées et des solutions déjà existantes en France ou à l'étranger. Lors de ce rendez-vous il est prévu d'observer l'utilisation d'un PC par certains résidents.

===Semaine 4 (du 19/10/2015 au 25/10/2015)===
Durant cette semaine, nous avons discuté avec M. Vantroys sur la manière dont nous pourrions présenter un prototype du système imaginé. Il se présenterait sous la forme d'une simple manette constituée d'un joystick et de quelques boutons poussoirs, le tout contrôlé par un Arduino Leonardo. Ainsi, on pourrait présenter au personnel de la Gerlotte une simple manette permettant de jouer à des jeux émulés simples, manette qui serait algorithmiquement facile à paramétrer, et donc faire une démonstration de son fonctionnement.

L'objectif pour les prochains jours sera de mettre en place et de tester cette manette.

===Semaine 5 Vacances de la Toussaint (du 26/10/2015 au 01/11/2015)===
Création d'une manette de jeux simple à l'aide d'un Arduino Leonardo.

Le Leonardo a l'avantage d'être reconnu directement sur l'ordinateur comme un clavier/souris. Les classes Keyboard et Mouse permettent d'émuler ces périphériques d'entrées.

Cependant pour pouvoir être reconnu en tant que manette de jeux il faut modifier la librairie standard USB et le descripteur HID.

Plus d'informations sur notre dépôt Github pour l'Arduino Leonardo reconnu en tant que manette de jeux : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Ce prototype dispose d'un joystick analogique 2 axes et de 6 boutons poussoirs (1 bouton est inclus avec le joystick). Il est optimisé pour jouer à des jeux de GameBoy Advance ou rétros (SuperNES, Master System, Gameboy ...) dont les manettes ne disposent pas énormément de touches.

[[Fichier:kirby-nightmare-in-dream-land-gba-1.jpg|left|thumb|250px|Test de Kirby Nightmare in Dreamland sur GBA fonctionnel]]

[[Fichier:joystickLeonardo.jpg|thumb|center|300px|Arduino Leonardo comme manette de jeux]] 

===Semaine 6 (du 02/11/2015 au 08/11/2015)===
Réunion à la Gerlotte du mercredi 04/11/2015 en présence de M. Martin Nicolas:
* découverte de divers logiciels et matériels à disposition des résidents de La Gerlotte : émulateur de souris avec contacteurs (Mouse Mover), système joystick/clic gauche, logiciel de gestion de la souris à partir des mouvements du visage par webcam.
* observation de l'utilisation d'un ordinateur par un résident (Bertrand), notamment sur un jeu de fléchettes à partir d'un joystick et d'un bouton-clic. Bertrand comprend et agit normalement sur le jeu cependant il lui est difficile de coordonner plusieurs paramètres en même temps tels que la gestion de force et la précision du tir.
* présentation du premier prototype développé : la manette de jeux Arduino Leonardo. Démonstration sur un jeux de Game Boy Advance (Super Mario World) à partir du système d'émulation RomStation.
* discussion sur les diverses améliorations que l'on pourrait apporter sur le prototype : création d'une interface graphique permettant la gestion des fonctions implémentées dans la carte Arduino (gestion des touches et des options), automatisation des touches de manière physique ou algorithmique, éclatement des directions du joystick sur plusieurs contacteurs, adaptation jack-pin arduino afin d'utiliser les boutons switch de type Orby.

Prochaine réunion fixée pour le mercredi 25/11/2015 à 14h30 à La Gerlotte. Pour cette date, nous poursuivrons nos recherches afin d'apporter des améliorations du prototype.

===Semaine 7 (du 09/11/2015 au 15/11/2015)===
Rendez-vous au centre au centre CRNT de l'association APF (Association des Paralysés de France) avec M. Danigo. Nous avons récupéré quelques contacteurs, le standard de la connectique dans le domaine du handicap est le jack (principalement 3.5mm mono). Pour pouvoir les utiliser sur notre dispositif il faut utiliser des jacks femelles 3.5mm mono. Après présentation du prototype nous avons discuté de l'ergonomie du système. Il serait judicieux de construire un boitier où l'on brancherait les contacteurs dans les jacks femelles. Réaliser un PCB et ajouter des mousses à l'intérieur pour que le système soit plus solide.

[[Fichier:button.png|center|thumb|180px|Contacteur Jelly Bean Twist]]

===Semaine 8 (du 16/11/2015 au 22/11/2015)===

Amélioration du prototype par les jacks femelles 3.5mm mono pour pouvoir utiliser les contacteurs, et ajout d'interrupteurs à levier pour automatiser une touche.

===Semaine 9 (du 22/11/2015 au 29/11/2015)===

Réunion à la Gerlotte du mercredi 25/11/2015 en présence de M. Martin Nicolas, M.Xavier Hantson et M.Thierry Danigo:
* Présentation du prototype et des améliorations qui ont été apportées
* Discussion sur les prochaines modifications:
** Éclater le joystick sur plusieurs contacteurs tout en conservant le joystick (dans le but de rendre le système le plus accessible possible). Si le joystick est éclaté sous la forme de 4 boutons directionnels, il faudra penser à annuler la commande lorsque 2 directions contraires sont pressées (haut-bas et droite-gauche).
** Gérer l'automatisation d'une touche de façon périodique et non tout-ou-rien, fréquence qui devra être ajustable par potentiomètre par exemple.

La prochaine réunion est fixée au mercredi 06/01/2016 à 14h30. Pour cette date, nous travaillerons et progresserons sur les axes d'amélioration qui nous ont été proposés, et nous ferons le point sur la soutenance de mi-parcours.

Réunion à l'IRCICA du jeudi 26/11/2015 en présence de M. Laurent Grisoni, M.Samuel Desgrande et Mme.Patricia Plenacoste:
* Présentation du projet à l'Institut Médico-Éducatif Les Papillons Blancs. Nous avons observé une séquence vidéo dans laquelle un enfant handicapé mental et moteur joue à un jeu vidéo de tir sur une cible à partir d'une Kinect. La Kinect va détecter une accélération dans une zone globale et la difficulté consiste à séparer les mouvements parasites involontaires de l'enfant au geste décisif et intentionnel du lancer.
* Présentation de notre projet à La Gerlotte et du prototype de manette de jeux. L'idée d'une interface graphique permettant un mapping des commandes de la manette Arduino est envisageable. L'on pourrait configurer les touches afin qu'elles émulent l'appui de 2 touches successives (ex: saut + avancé).
* Le but de cette réunion serait d'envisager la fusion des 2 projets (Papillons Blancs et Gerlotte) ou l'échange des systèmes afin que dans chaque établissement puisse profiter des réalisations.
* Proposer à La Gerlotte de tester et s'approprier le prototype pendant 2-3 semaines afin d'avoir un feedback utilisateur.

===Semaine 10 (du 30/11/2015 au 06/12/2015)===
Test du joystick HKD-FW22 pour fauteuil roulant switch 4 axes à connectique serre-fils (screw terminal). Un des interrupteurs est usé et réagit d'une mauvaise façon.

[[Fichier:joystickScrew.jpg|center|thumb|180px|Joystick 4 Axis Screw Terminal]]

Amélioration du prototype: automatisation de touches et réglage de la fréquence par des potentiomètres. Chaque potentiomètre est relié à un port analogique et va délivrer une tension. En fonction de la valeur de cette dernière, la période entre 2 appuis successifs sera défini. Par simplicité la fonction de calcul de la période est f(x) = 2 * x. La période maximale est de 2s, et la période minimale de 0s ce qui correspond à un appui constant.

===Semaine 11 (du 07/12/2015 au 13/12/2015)===
Étude des logiciels JoyMouse et JoyToKey avec une manette de jeux.
JoyMouse se concentre sur l'émulation d'une souris avec une manette. L'accélération, la sensibilité, la vitesse ainsi que les clics sont interfaçables facilement.
JoyToKey permet égalemment d'émuler les fonctions de la souris à partir d'une manette mais également simuler des touches claviers. L'interface est beaucoup plus complexes, avec des profils utilisateurs et il est possible d'automatiser une action.

Implémentation Joystick-pad avec boutons. Fonctionne en parallèle du joystick analogique.

Avancement du rapport.

===Semaine 12 (du 14/12/2015 au 20/12/2015)===

Finalisation du rapport et préparation de la soutenance mi-parcours.

===Semaine 13 (du 04/01/2016 au 10/01/2016)===

Réunion à la Gerlotte du mercredi 06/01/2016 en présence de M. Martin Nicolas, Maxime (jeune en situation de handicap suivi par le SAVS Liévin) et M. Benoît Barbet:
* Maxime nous a fait part de son vécu et de ses attentes concernant son utilisation des jeux-vidéo. Nous avons ainsi pu lui présenter le fonctionnement de notre projet.
* Pour l'utilisation de son ordinateur, Maxime utilise un trackball qu'il commande au pied. Nous allons donc réfléchir à la possibilité d'intégrer un trackball à notre système par USB. Notre prototype va intégrer un port USB qui permettra d'utiliser tout types de périphériques de commandes tels qu'un trackball, une souris, un joystick USB, une clé Bluetooth.
* Nous avons aussi discuté de l'interface graphique qui permettrait de gérer les différentes combinaisons de commandes possibles. Nous travaillerons sur ce point dans les jours à venir et nous analyserons si une interface fonctionnelle est envisageable.

La prochaine réunion est fixée au mercredi 20/01/2016 à 14h30. Pour cette date, nous poursuivrons les recherches sur les points évoqués ci-dessus, et nous rendrons notre prototype utilisable afin qu'il puisse être testé par quelques résidents et par Maxime.

Finalisation des fonctionnalités du prototype et de son boitier. Le prototype sera mis à disposition de La Gerlotte le 20/01/2016.

===Semaine 14 (du 11/01/2016 au 17/01/2016)===

Dans le but d'intégrer un port USB à notre prototype, nous utilisons un Raspbery Pi 2. Elle comprend 4 port USB, la distribution Linux que l'on utilise est Raspbian et nous connectons la Raspberry à l'Arduino Leonardo au travers du port série. L'on branche une souris sur l'un des ports USB et un script C va récupérer les événements de la souris (les coordonnées x et y) dans le dossier /dev/input/mice. Les données sont alors envoyés via le port série vers le Leonardo qui va les traduire en coordonnées du joystick. À l'aide de ce système il est alors possible de contrôler les déplacements de son personnage dans un jeux vidéos avec une souris ou un trackball.

===Semaine 15 (du 18/01/2016 au 24/01/2016)===

Sixième réunion à La Gerlotte le mercredi 20/01/2016 en présence de MM. Martin Nicolas, Thierry Danigo.

Nous avons présenté notre prototype prêt à être testé. Il a notamment été essayé par deux résidents de la Gerlotte, et par Maxime du SAVS Liévin, que nous avions rencontré lors de la réunion précédente.

Nous avons connecté 4 contacteurs sur le prototype (2 touches de direction droite/gauche et 2 touches d'action), et les testeurs ont essayé le prototype sur un jeu simple : Tetris. Le test a été plutôt concluant, les utilisateurs arrivaient à utiliser les différents contacteurs avec plus ou moins de facilité. Aussi, nous avons essayé d'intégrer le trackball de Maxime dans notre système, et en retouchant la sensibilité du trackball, nous nous sommes aperçu que le trackball était parfaitement intégrable dans la manette.

Nous avons laissé le prototype à La Gerlotte, afin qu'il puisse être testé "dans le quotidien" des résidents, et avoir un retour sur une telle utilisation.

La prochaine réunion est fixée au 03/02/2016 à 14h30. Pour cette date, nous poursuivrons notre travail sur l'interface graphique de gestion de commandes, et nous réfléchirons sur le design final du système (style du coffret), et sur la conception de plaques électroniques pour le système final.

===Semaine 16 (du 25/01/2016 au 31/01/2016)===

Cette semaine nous avons continué l'interface graphique de gestion de commandes. Nous utilisons Processing qui est un environnement de développement libre, multi-plateforme, il permet de programmer en Java et de faire du prototypage rapide.

L'interface graphique réalisé à l'aide de la librairie G4P, est un interface basique qui va permettre d'automatiser chaque bouton du joystick à l'aide de potentiomètres virtuels, mais également de pouvoir effectuer des combinaisons de touches. Des voyants indiquent l'appuie des boutons du joystick sur l'interface.

Concernant la communication de Processing à Arduino nous restons sur le classique envoie-réception série de mots-clés qui vont permettent de modifier le comportement de l'Arduino et ainsi pouvoir remapper les commandes ou les automatiser.

===Semaine 17 ===

== Fichiers Rendus ==
Dépôt Github du projet : [https://github.com/LuomuJie/JoystickLeonardo JoystickLeonardo]

Rapport intermédiaire du projet : [[Fichier:PFE_IMA5_Rapport_intermediaire_Bailet_Zeggai.pdf]]

P33 Réalisations en faveur de l'accessibilité de jeux vidéos

2016-02-02T22:30:58Z

Jbailet : /* Avancement du Projet */

Compteur de tour de piste

2016-01-21T13:13:57Z

Jbailet : /* Étapes du projet */

==Cahier des charges==
===Présentation générale du projet===

====Contexte====
Lors d'une séance d’entraînement sur une piste d'athlétisme il est parfois difficile de compter le nombre de tour de piste effectué tout en réalisant les entraînements.
Dans le cadre du module transversal l'Internet des Objets, nous avons choisi de réaliser un compteur de tour de piste connecté.

====Objectif du projet====
L'objectif du projet est de concevoir un compteur de piste connecté qui serait un objet attaché à la main du coureur comprenant des boutons poussoir et un afficheur. Plusieurs fonctions correspondraient aux boutons: démarrer l'entraînement, arrêter, mettre en pause, incrémenter le nombre de tour. L'afficheur va pouvoir indiquer des informations tels que le nombre de tours effectués et la durée totale.

====Description du projet====
Le compteur de tour de piste serait connecté par Bluetooth Low Energy à une application mobile sur lesquels seront envoyés les données de l’entraînement en cours. Ce compteur devra gérer la gestion d'énergie (mode veille).
Les entraînements enregistrés sur le smartphone pourront être visualisé: nombre de tours, temps mis à chaque tour, et à l'aide de graphe l'on pourrait voir sa performance durant l’entraînement.
L'utilisateur pourra à tout moment envoyer les données enregistrées sur un serveur lorsqu'il sera connecté à internet par wifi ou 3G/4G. Sur le serveur les données seront stockées dans une base de données et à l'aide d'une interface web il sera possible d'accéder à l'historique de tous ses entraînements.

====Choix techniques : matériel et logiciel====
* Microprocesseur RFDuino RFD22301 comprenant un module BLE
* Afficheur OLED Adafruit 128X32
* Boutons poussoirs
* IDE Arduino pour faciliter le développement et du prototypage rapide dans le cadre de ce mini-projet
* Android Studio pour développer l'application mobile

==Étapes du projet==
Partie 1 : Envoie des données du RFDuino

La première partie portera sur le RFDuino qui va indiquer sur l'afficheur OLED le nombre de tour de piste effectué et calculer la durée pour chaque tour. A l'aide des boutons poussoirs l'on démarre une session d’entraînement, on peut incrémenter le nombre de tour et enfin arrêter l’entraînement.

[[Fichier:affichageTour.jpg|left|thumb|180px|Affichage sur écran OLED du nombre de tour de piste]]

[[Fichier:CompteurTourPiste.jpg|center|thumb|180px|Compteur de tour de piste]] 

Partie 2 : Application mobile pour communiquer avec le RFDuino

Dans cette deuxième partie nous allons établir la communication entre le RFDuino et un smartphone par Bluetooth Low Energy. Le RFDuino envoie les données à chaque incrémentation d'un tour de piste. L'application mobile va tout d'abord se connecter au RFDuino, recevoir les données et les stocker directement dans un fichier. Pour chaque entraînement un fichier sera crée avec comme données la date de l’entraînement, le nombre de tours et le temps mis pour chaque tour.

[[Fichier:connexionBLE.png|left|thumb|180px|Connexion par BLE entre le téléphone et le RFDuino]]

[[Fichier:historic.png|center|thumb|180px|Liste des entraînements]] 

Partie 3 : Envoie des données sur le web et affichage sous forme de graphe

Finalement lorsque l'utilisateur sera connecté à internet avec son smartphone, il pourra à tout moment envoyer les entraînements et les stocker sur un serveur web. Avant d'envoyer les données l'utilisateur pourra tout de même afficher sous forme de graphe un entraînement enregistré sur le smartphone.

[[Fichier:trainingGraphic.png|center|thumb|180px|Détails de l'entraînement]]

==Suivi de l'avancement du Projet==

===Séance 1 ===
Durant cette séance nous avons établi le cahier des charges et récupéré les différents composants pour notre système.
Recherche documentaire sur l'utilisation du RFDuino et ses librairies.

===Séance 2 ===
Code RFDuino permettant d'envoyer par BLE une chaîne de caractère simple : "10". L'on teste avec l'application BLE Scanner présente sur le PlayStore nous arrivons à nous connecter au RFDuino et recevoir les données qu'il envoie.

Nous avons commencer à développer l'application smartphone en se basant sur l'exemple RFDuinoTest sur Github https://github.com/lann/RFDuinoTest qui permet de se connecter au RFDuino depuis un portable Android.

===Séance 3 ===
Notre application enregistre à présent les données envoyés du RFDuino dans un fichier dont le nom est la date du début de l'entraînement. On visualise les fichiers enregistrés et rangés selon la date. Lorsqu'on clique sur un entraînement un menu contextuelle s'affiche qui demande si l'on veut visualiser l'entrainement, l'envoyer au serveur, ou annuler.

===Séance 4 ===
* Ajout des différent boutons au RFduino pour commencer, arrêter et compter le tour (et une fonction pour compter la durée de tour)
* Visualisation des entraînements enregistrés sur le téléphone sous forme de graphe à l'aide de la librairie AchartEngine. On observe le temps effectué pour chaque tour sur le graphe, en-dessous on indique le temps total et le nombre de tours effectués. On peut également zoomer/dézoomer sur le graphique.

===Séance 5 ===
*Création de base de données pour stockes les informations cornant les entraînements
*Création de page php pour récupérer les informations venants de l'application Android

== Fichier / Codes==
* Code Partie Android [[Fichier:LapCounter.zip]]
* Code Arduino et serveur MySQL : https://archives.plil.fr/msekar/LapTracker

Compteur de tour de piste

2016-01-21T13:13:41Z

Jbailet : /* Étapes du projet */

Compteur de tour de piste

2016-01-21T13:13:08Z

Jbailet : /* Étapes du projet */

==Cahier des charges==
===Présentation générale du projet===

====Contexte====
Lors d'une séance d’entraînement sur une piste d'athlétisme il est parfois difficile de compter le nombre de tour de piste effectué tout en réalisant les entraînements.
Dans le cadre du module transversal l'Internet des Objets, nous avons choisi de réaliser un compteur de tour de piste connecté.

====Objectif du projet====
L'objectif du projet est de concevoir un compteur de piste connecté qui serait un objet attaché à la main du coureur comprenant des boutons poussoir et un afficheur. Plusieurs fonctions correspondraient aux boutons: démarrer l'entraînement, arrêter, mettre en pause, incrémenter le nombre de tour. L'afficheur va pouvoir indiquer des informations tels que le nombre de tours effectués et la durée totale.

====Description du projet====
Le compteur de tour de piste serait connecté par Bluetooth Low Energy à une application mobile sur lesquels seront envoyés les données de l’entraînement en cours. Ce compteur devra gérer la gestion d'énergie (mode veille).
Les entraînements enregistrés sur le smartphone pourront être visualisé: nombre de tours, temps mis à chaque tour, et à l'aide de graphe l'on pourrait voir sa performance durant l’entraînement.
L'utilisateur pourra à tout moment envoyer les données enregistrées sur un serveur lorsqu'il sera connecté à internet par wifi ou 3G/4G. Sur le serveur les données seront stockées dans une base de données et à l'aide d'une interface web il sera possible d'accéder à l'historique de tous ses entraînements.

====Choix techniques : matériel et logiciel====
* Microprocesseur RFDuino RFD22301 comprenant un module BLE
* Afficheur OLED Adafruit 128X32
* Boutons poussoirs
* IDE Arduino pour faciliter le développement et du prototypage rapide dans le cadre de ce mini-projet
* Android Studio pour développer l'application mobile

==Étapes du projet==
Partie 1 : Envoie des données du RFDuino

La première partie portera sur le RFDuino qui va indiquer sur l'afficheur OLED le nombre de tour de piste effectué et calculer la durée pour chaque tour. A l'aide des boutons poussoirs l'on démarre une session d’entraînement, on peut incrémenter le nombre de tour et enfin arrêter l’entraînement.

[[Fichier:affichageTour.jpg|left|thumb|180px|Affichage sur écran OLED du nombre de tour de piste]]

[[Fichier:CompteurTourPiste.jpg|center|thumb|180px|Compteur de tour de piste]] 

Partie 2 : Application mobile pour communiquer avec le RFDuino

Dans cette deuxième partie nous allons établir la communication entre le RFDuino et un smartphone par Bluetooth Low Energy. Le RFDuino envoie les données à chaque incrémentation d'un tour de piste. L'application mobile va tout d'abord se connecter au RFDuino, recevoir les données et les stocker directement dans un fichier. Pour chaque entraînement un fichier sera crée avec comme données la date de l’entraînement, le nombre de tours et le temps mis pour chaque tour.

[[Fichier:connexionBLE.png|left|thumb|180px|Connexion par BLE entre le téléphone et le RFDuino]]

[[Fichier:historic.png|center|thumb|180px|Liste des entraînements]]

Partie 3 : Envoie des données sur le web et affichage sous forme de graphe

Finalement lorsque l'utilisateur sera connecté à internet avec son smartphone, il pourra à tout moment envoyer les entraînements et les stocker sur un serveur web. Avant d'envoyer les données l'utilisateur pourra tout de même afficher sous forme de graphe un entraînement enregistré sur le smartphone.

[[Fichier:trainingGraphic.png|center|thumb|180px|Détails de l'entraînement]]

==Suivi de l'avancement du Projet==

===Séance 1 ===
Durant cette séance nous avons établi le cahier des charges et récupéré les différents composants pour notre système.
Recherche documentaire sur l'utilisation du RFDuino et ses librairies.

===Séance 2 ===
Code RFDuino permettant d'envoyer par BLE une chaîne de caractère simple : "10". L'on teste avec l'application BLE Scanner présente sur le PlayStore nous arrivons à nous connecter au RFDuino et recevoir les données qu'il envoie.

Nous avons commencer à développer l'application smartphone en se basant sur l'exemple RFDuinoTest sur Github https://github.com/lann/RFDuinoTest qui permet de se connecter au RFDuino depuis un portable Android.

===Séance 3 ===
Notre application enregistre à présent les données envoyés du RFDuino dans un fichier dont le nom est la date du début de l'entraînement. On visualise les fichiers enregistrés et rangés selon la date. Lorsqu'on clique sur un entraînement un menu contextuelle s'affiche qui demande si l'on veut visualiser l'entrainement, l'envoyer au serveur, ou annuler.

===Séance 4 ===
* Ajout des différent boutons au RFduino pour commencer, arrêter et compter le tour (et une fonction pour compter la durée de tour)
* Visualisation des entraînements enregistrés sur le téléphone sous forme de graphe à l'aide de la librairie AchartEngine. On observe le temps effectué pour chaque tour sur le graphe, en-dessous on indique le temps total et le nombre de tours effectués. On peut également zoomer/dézoomer sur le graphique.

===Séance 5 ===
*Création de base de données pour stockes les informations cornant les entraînements
*Création de page php pour récupérer les informations venants de l'application Android

== Fichier / Codes==
* Code Partie Android [[Fichier:LapCounter.zip]]
* Code Arduino et serveur MySQL : https://archives.plil.fr/msekar/LapTracker

Fichier:Historic.png

2016-01-21T13:12:22Z

Jbailet :