P33 Utilisation de Nao et/ou objets connectés avec des enfants autistes

Présentation générale du projet

IME de Coppenaxfort

Contexte

Dans le cadre de ma dernière année de formation dans le département informatique, électronique et automatique de l'école d'ingénieur Polytech Lille, j'ai l'opportunité d'effectuer un projet de fin d'étude. Ce projet, porté par Mme Mahieu directrice de l'IME de Coppenaxfort, consiste à utiliser un robot NAO ou un objet connecté ou enfin tout support numérique, pour fournir aux jeunes et à l'équipe un nouveau moyen de communication et un nouveau support de travail.

Description et objectifs

En collaboration avec l'équipe médico-sociale de l'institut, je devrai dans un premier temps définir clairement le cahier des charges, pour cela il me faudra mener divers interviews sur le terrain afin d'identifier et analyser les besoins. Ensuite, je pourrai passer à la partie développement/conception du projet et enfin je pourrai déployer l'outil conçu afin d'observer son impact et de le réajuster ou de l'adapter.

Cahier des charges

L'objectif de ce projet est de permettre aux jeunes atteints de déficience intellectuelle de communiquer, de se sociabiliser, d'apprendre et de se développer grâce aux outils numériques. Je développerai alors une application pour tablette simple, ludique, ergonomique et adaptée à chaque jeune. Une telle application permettra au jeune d'apprendre le schéma corporel, l'usage de l'extérieur (se déplacer en toute sécurité et civilité à pied), l'hygiène, la dénomination et de travailler ses facultés cognitives (mémoire) et son expression artistique. Cette application pourra aussi être utilisé dans le cadre des ateliers de travail (menuiserie - horticulture - ménager) afin de fournir aux techniciens un support de présentation des procédures de travail (comment peindre un mur).

Feuille d'heures

Titre

Phase	Tâche	Sem 1	Sem 2	Sem 3	Sem 4	Sem 5	Sem 6	Sem 7	Sem 8	Sem 9	Sem 10	Sem 11	Sem 12	Sem 13	Sem 14	Sem 15	Sem 16	Sem 17	Sem 18	Sem 19	Sem 20	Sem 21	Sem 22	Sem 23
Définition du cahier des charges	Découverte de l'IME (lieu et équipe)		2h
	Interviews		2h	1h	6h	1h30
	Ateliers			1h
	État de l'art de l'éducation spécialisée
Conception et développement	Documentation NAO	1h
	Documentation programmation sur tablette (iOs/Android)
Déploiement et observations	T5
	T6
Rédaction du wiki			1h	1h	1h	2h

Tableau de bord

Semaine 1 (18/09/17 : 24/09/17)

Ayant très peu (voire pas du tout) pratiqué la programmation sur NAO, j'ai dans un premier cherché à voir ce qu'il était possible de faire faire à ce petit robot, et surtout comment s'y prendre.

Il existe plusieurs outils développés par SoftBank Robotics (ex Aldebaran Robotics) pour programmer le robot NAO :

• Le store de SoftBank qui propose des applications définissant le comportement de base du robot
• La suite Choregraphe qui offre des outils haut niveau pour piloter les mouvements du robot sans se soucier de quel moteur mouvoir
• Un des SDK (C++, Python, Java ou Javascript) pour agir au plus bas niveau du robot en accédant à ses capteurs et actionneurs

La suite Choregraphe semble l'outil le plus adapté pour répondre au cahier des charges puisque l'objectif principal du projet est de définir un ensemble de mouvements et comportements afin de solliciter l'enfant handicapé. Par la suite, l'éducateur spécialisé devra apprendre à programmer le NAO pour en assurer la maintenance, apprentissage facilité pour un novice de la programmation du fait que cet outil est haut niveau. Choregraphe offre aussi un simulateur du robot, ce qui me permettra de vérifier les actions programmées durant la semaine afin de gagner du temps lors des tests en situation réelle à l'IME (peu voire pas de débogage sur place). On pourra éventuellement chercher dans le store de SoftBank des actions de base, comme la marche, ou bien des actions plus avancées, comme la danse.

Premier rendez-vous pris pour le 28/09/17 à 9h30h à l'IME de Coppenaxfort.

Objectifs de la semaine 2

Rencontre de l'équipe

Définition du cahier des charges

Semaine 2 (25/09/17 : 01/10/17)

Jeudi

• 9h30 - 10h30 : Réunion avec Mme MAHIEU durant laquelle elle m'a présenté l'établissement de Coppenaxfort, ses acteurs, son public, ses missions et ses actions
• 10h30 - 11h30 : Visite du domaine par O, un des deux chefs de service

Vendredi

• 9h30 - 11h15 : Discussion avec 4 membres de l'équipe médico-sociale (chef de service, infirmière, ergothérapeute et comportementaliste) dans le but de définir le périmètre du projet et trouver un axe d'approche

Brève présentation de l'Institut médico-éducatif de Coppenaxfort

Pour la bonne compréhension de la suite du projet par le lecteur, il me semble nécessaire de présenter brièvement l'IME :

• Fait partie de l'association parentale des Papillons blancs de Dunkerque
• Accueil d'adolescents et de jeunes adultes (garçons et filles) présentant une déficience intellectuelle moyenne ou profonde, âgés de 12 à 20 ans
• 47 jeunes en semi-internat (uniquement du lundi au vendredi en journée) et 15 en internat
• Parmi ces 62 jeunes, 17 autistes ou porteurs de Troubles Envahissants du Développement bénéficient du service TED déployé en 2007
• 4 unités dans lesquelles sont dispersés les jeunes adultes selon leur âge : accueil, SI1 (Section Intermédiaire 1), SI2 et sortants
• L’établissement a pour mission de permettre à l’adulte en devenir de trouver une place dans l’environnement économique et social, en fonction de ses capacités et de sa personnalité. Par conséquent la journée de chaque jeune est personnalisée et organisée selon ses envies et besoins

Dans l'optique de permettre à ses jeunes adultes une insertion sociale et économique, l'établissement propose diverses activités/formations :

• Un pôle bois/menuiserie offrant les bases du travail du bois et permettant au jeune de développer ses compétences de sécurité et d'autonomie
• Un pôle horticulture/espace-verts offrant les bases de la culture et de l'entretien des espaces verts, toujours en développant sécurité et autonomie
• Un pôle EMG (Enseignement ménager général) où le jeune apprend l'entretien des sols, du linge, etc

Par la suite, les jeunes les plus doués peuvent intégrer un ESAT (Établissement et service d'aide par le travail)

• Un atelier polyvalent-découverte permet aux nouveaux arrivants de découvrir chaque pôle en toute simplicité, avant de pouvoir rentrer dans les détails
• Un atelier d'expression artistique est également à disposition des jeunes

La direction de l'établissement se compose de Mme MAHIEU et de deux chefs de service. Voici les différents postes occupés au sein de l'IME:

• Psychologue 1,5 (1 temps plein et 1 temps partiel)
• Psychiatre (Jeudi et vendredi après-midi)
• Infirmière (Jeudi et vendredi matin)
• Assistante sociale 1,5
• Ergothérapeute 1,5
• Psychomotricienne 1,5

Le service TED comprend :

• 2 éducateurs spécialisés
• AMP Aide médico-psychologique 1,5
• Psychologue

Synthèse de la discussion

Suite à cette discussion deux axes d'étude se dégagent, un orienté médical et l'autre sur la communication :

• Médical : utiliser NAO comme outil d'aide au diagnostique pour les enfants ayant des difficultés à communiquer. Pour dédramatiser certains actes médicaux comme une prise de tension ou de température, NAO étant alors un miroir/modèle dans lequel le jeune puisse s'identifier. Mais aussi pour les jeunes ne ressentant pas les douleurs
• Communication : Aider les jeunes à s'exprimer, en faisant de NAO un outil ludique pour apprendre et communiquer. Je peux m'inspirer de l'application pour tablette LearnEnjoy utilisée à l'IME

Idées d'utilisation de NAO

Médical	Communication
NAO mimant une chute, se blesse à la cheville (cas de non interprétation des signaux de douleur)	Identification des parties du corps/schéma corporel
NAO devant un écran pendant un long moment, yeux devenant rouge	Travail compréhension des consignes et dénomination
Faciliter les soins en faisant d'abord sur NAO	Scénarii dans lesquels NAO paraisse sympathique. Utilisation d'un langage "jeune" (NAO qui "check" pour dire bonjour)

L'utilisation du robot en tant qu'outil d'aide au diagnostique médical semble moins pertinent que dans le cas d'aide à la communication. En effet, l'infirmière se sert déjà d'une peluche/poupée pour montrer les parties du corps, et n'aurait donc pas d'intérêt particulier à utiliser NAO. De plus, le mode de communication étant différent chez certains jeunes, par exemple chez ceux qui identifient les parties du corps uniquement si elles sont sous forme d'icône, le robot deviendrait alors inutile.

Une des problématiques importante ressortant de cette discussion est l'utilisation de NAO durant les "temps informels", moments de la journée durant lesquels le jeune est livré à lui-même et ne s'occupe pas. Mais le coût élevé du robot contraint fortement l'utilisation de ce dernier pendant ces périodes puisqu'il y a un fort risque de casse. Cela suppose utiliser NAO dans un endroit confiné (infirmerie) et avec des jeunes choisis, réduisant fortement l'intérêt d'un tel dispositif.

Une question récurrente lors de cette discussion était : "Mais, il ne peut pas avoir un écran NAO ?". L'intérêt d'utiliser NAO étant encore réduit, j'ai alors émis l'idée de changer radicalement de dispositif technologique, et de concevoir un "objet connecté" avec divers actionneurs, écran tactile, leds, etc afin de répondre au mieux au besoin d'occupation des temps informels.

Objectifs de la semaine 3

Poursuivre les interviews

Explorer l'idée d'un objet connecté plutôt que NAO

Semaine 3 (02/10/17 : 08/10/17)

Lundi

• Brève discussion avec M Vantroys : les conclusions d'un PFE passé similaire ont montrées que l'utilisation d'un NAO était tout à fait pertinente avec des enfants autistes, mais que l'utilisation d'une tablette pour lancer les divers programmes et le prix du robot étaient un frein au déploiement d'un tel dispositif. M Vantroys émet aussi l'idée de concevoir un "objet connecté" ,dont les fonctions et la forme sont à définir, pour mieux répondre au besoin de l'IME et des jeunes, tout en s'affranchissant (en grande partie) de la contrainte de coût et de fragilité du NAO

Vendredi

• 9h30 - 10h30 : suivi d'un groupe de jeunes mené par une psychomotricienne et un stagiaire, mise en place des tables pour le repas du midi
• 10h30 - 11h30 : interviews de plusieurs membres de l'équipe sur tout le domaine, éducateurs spécialisés, stagiaires, enseignante, infirmière, responsable de la serre

Synthèse des interviews

Lors de mon suivi du premier groupe j'ai longuement pu échanger avec la psychomotricienne. Celle-ci m'a fait part d'un nouveau besoin, l'organisation personnelle de chaque jeune, celui-ci ayant un emploi du temps hebdomadaire, avec pictogrammes personnalisés pour correspondre au mieux à son mode de communication. Cet emploi du temps étant amené à varier et parfois changer, cela peut susciter chez certains du stress et de l'anxiété. L'idée serait donc de développer une "montre connectée" qui lui permettrait d'avoir facilement accès à son emploi du temps, mais aussi d'avoir un dictionnaire de pictogrammes permettant aux non-vocaux de cliquer sur un pictogramme et par synthèse vocale faire des phrases simples.

Objectifs de la semaine 4

Poursuivre les interviews

Discuter de la réorientation du projet avec l'équipe de direction

Semaine 4 (09/10/17 : 15/10/17)

Jeudi

• 9h50 - 10h15 : Présentation de la synthèse des interviews des semaines passées au chef de service et à la comportementaliste. Réorientation du projet vers un objet connecté/tablette. RDV pris le 19/10 à 14h avec la comportementaliste et avec l'ergothérapeute le 10/11 à 10h
• 10h15 - 12h : Participation à l'atelier de rédaction du journal annuel de l'IME (4 jeunes + 2 ES)
• 12h - 13h15 : Repas avec tout le monde
• 13h15 - 16h : Participation à l'atelier de "musicothérapie" (2 jeunes + 3 ES)
• 16h30 - 17h30 : Réunion sur les temps informels

L'institut possédant déjà 8 tablettes, et ce qui semble le plus pertinent pour l'équipe étant que l'objet possède un écran tactile, le projet s'orientera à priori vers le développement d'une application pour tablette.

Durant l'atelier de rédaction du journal de l'IME, j'ai pu constater les difficultés qu'ont les jeunes à retenir les informations qu'on leur donne et à nommer les choses, notamment leur du tour de table de présentation de chacun (prénom+âge+lieu de travail+lieu de vie) puis leur du choix de photo d'évènements passés (pêche aux crevettes, pêche à la truite, visite d'un musée sur la piraterie). L'application pourrait leur permettre de travailler leur concentration, leur mémoire à court terme mais aussi la dénomination. J'ai pu observé comment l'éducatrice les amenait à réfléchir, quelles questions et la façon dont elle les formulait pour les aider à dénommer les lieux (car certains confondaient la mer et l'étang). Pour faciliter la compréhension du journal par tous, il est rédigé en FALC (Facile à lire et à comprendre).

L'atelier de musique m'a permis constater que certains jeunes sont très réceptifs à la musique et ont le rythme dans la peau! D'autres un peu moins... Cet atelier est divisé en deux parties, le matin ils créent et jouent une musique avec l'aide des ES (intro, pont, refrain, rythme, mélodie, ...) tandis que l'après-midi ils se servent des instruments de musique pour communiquer. Par exemple deux d'entre eux (ES et/ou jeune) prennent un djembé, puis un entame une "conversation" en tapant, frottant, caressant etc le djembé. La personne concernée doit donc lui répondre de la même façon. Là aussi certains sont très réceptifs (et d'autres moins), cela leur permet de libérer une parole non-verbale qui est peut être source de frustration et mal-être quand elle n'est pas extériorisée.

Lors de la réunion sur les temps informels, comprendre comme temps de repos/pause/récréation/recréation, il a été question d'optimiser l'utilisation de ces temps. Ils peuvent être utiles à certains jeunes pour se concentrer sur l'activité à venir, pour se défouler et diminuer les tensions accumulées mais chez d'autres ce temps à un effet néfaste sur leur état psychique, pouvant susciter de l'anxiété et du stress. Les ES ont jusqu'à début novembre pour rendre compte de la manière dont les jeunes aimeraient occuper ses temps. Déjà certains ont émis le souhait de jouer au foot/baby-foot/danse, de lire/écouter de la musique/regarder des clips dans la salle de repos et enfin d'avoir accès à des jeux-vidéos ou jeux de société.

Cette journée m'a tout d'abord permis de partager une tranche de vie de l'institut, et de réellement m'immerger dans ce milieu. J'ai ainsi pu analyser et observer certains besoins, et voir comment les professionnels réagissent et agissent pour faciliter la communication et la vie quotidienne des jeunes.

Objectifs de la semaine 5

Discuter de la création d'une application tablette (récupérer un tableau récapitulatif des applis existantes pour enfants autistes) lors de la réunion du jeudi après-midi

Se documenter sur la programmation Android

État de l'art sur l'éducation spécialisée (ressources partagées par M Vantroys)

Semaine 5 (16/10/17 : 22/10/17)

Jeudi

• 14h - 15h30 : Réunion à propos d'une application tablette avec la psychologue-comportementaliste et d'une ES connaissant très bien les besoins du terrain et étant intéressée par l'utilisation de nouvelles technologies dans leur travail.

Lors de cette réunion plutôt que de partir explicitement d'un besoin précis, nous avons imaginé comment nous aimerions que l'application soit. Puis nous avons analysé cette appli pour voir auxquels de ces besoins elle pouvait répondre, et avons adapté notre idée de sorte à couvrir un spectre plus large. Notre idée finale, tout du moins le temps de fournir un prototype, est la suivante :

• Mise en place de scénarios
• Un scénario a plusieurs niveau de difficulté (a priori 5-6 niveaux), de sorte que l'application touche le plus de jeune possible
• Un scénario se déroule dans un lieu bien défini (cuisine, salle de bain, quartier, l'atelier, ...)
• Un scénario est une succession de photos ou de photos mêlées à des schémas formant une scène
• Certains éléments d'une scène sont interactifs : drag'n'drop, émettant un son caractéristique de l'élément, affichant le mot correspondant à l'élément, ...
• Chaque lieu permet d'aborder un ou plusieurs thèmes
• Chaque scénario permet d'aborder un thème
• Thèmes : hygiène, usage de l'extérieur, alimentation, sécurité, intégration des risques quotidiens, comportements adaptés en société

Les applications existantes étant majoritairement en langue anglaise, et pour les enfants, notre application présente l'avantage majeur d'être en français et la moins infantilisante possible (notamment grâce à l'usage de photos au lieu de dessins) afin de correspondre à un public de jeunes adultes. L'application devra aussi être simple, ludique, ergonomique, ne permettant pas l'échec, récompensant les bonnes réponses, permettant d'apprendre (c.f. thèmes) et en 2D. L'application permettra au jeune de travailler sa mémoire à court terme, sa concentration, son vocabulaire, l'association image-image, l'association son-image et la dénomination.

Pour expliciter ce que permettra l'application, je vais prendre ici un exemple de scénario :

• Le jeune/ES choisit le niveau 2 de difficulté
• Le jeune/ES choisit de travailler le thème de l'hygiène
• Il peut alors choisir entre la cuisine, la salle de bain ou le bus (ces trois lieux permettant d'aborder ce thème). Le jeune/ES choisit la salle de bain.
• La première scène s'affiche. 3 objets sont présentés et le jeune peut interagir avec : brosse à dent, gant de toilette, serviette de bain. Quand on clique sur un objet, il est nommé oralement et écrit, puis un son propre à cet objet est joué.
• Il est alors demandé au jeune de cliquer sur la brosse à dent
• Après réussite, il est félicité et récompensé
• Une nouvelle scène s'affiche. Les trois mêmes objets sont affichés. Trois actions sont affichées : brossage de dents, se laver le corps, se sécher. Le jeune doit alors associer l'objet avec son action.
• Après réussite, il est félicité et récompensé

Ce scénario permet d'apprendre l'hygiène quotidienne, de dénommer des objets, reconnaître le son qu'ils produisent et de travailler l'association image-image et objet-action.

Après quelques recherches sur les applications existantes, je trouve cette application permettant de faire sensiblement ce que nous avons imaginé. J'attends de pouvoir en discuter avec l'équipe afin de voir les forces qu'aurait notre application par rapport à celle-ci, voir ce que l'on pourrait changer et voir si nous devons poursuivre avec cette idée.

Objectifs de la semaine 6

Démarrer le prototypage de l'application

Installer Android Studio + prise en main du développement Android

Rechercher des images/photos/sons libres de droit

Développer le menu difficulté > thèmes > lieux > scénarios

Définir un scénario (choisir un thème, un lieu et définir une progression dans la difficulté)