Wiki d'activités IMA - Contributions de l’utilisateur [fr]

P47 Développement d'une interface cerveau-ordinateur

2017-04-05T08:03:20Z

Vcharnet :

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Rapport Final ==

[[Fichier:Rapport_Final_Fevrier_BCI_Charnet.pdf]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| Terminé
| Livrables rendus
|-
| Intégration d'OpenBCI dans une interface
| Terminé
| Livrables rendus
|-
|}
''Dernière mise à jour le 22/02/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne
* Analyse de scénarios pour classification des mains
* Correction des mesures

=== Semaine 20 : du 13/02 au 17/02 ===

* Documentations sur l'imagerie moteur avec OpenBCI
* Essais de classifieurs
* Tests de scénarios OpenVibe P300 speller / Imagerie moteur

=== Semaine 21 : du 20/02 au 24/02 ===

* Scénario avec EMG
* Scénario avec ondes alpha
* Scénarios fusion avec MATLAB

Fichier:Rapport Final Fevrier BCI Charnet.pdf

2017-03-06T13:56:22Z

Vcharnet : a téléversé une nouvelle version de « Fichier:Rapport Final Fevrier BCI Charnet.pdf »

Rapport final du projet "Développement d'une interface Cerveau Ordinateur" - 2016/2017 - CHARNET Victor

P47 Développement d'une interface cerveau-ordinateur

2017-02-26T03:04:25Z

Vcharnet :

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Rapport Final ==

[[Fichier:Rapport_Final_Fevrier_BCI_Charnet.pdf]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| Terminé
| Rendu des livrables à travailler 
|-
|}
''Dernière mise à jour le 22/02/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne
* Analyse de scénarios pour classification des mains
* Correction des mesures

=== Semaine 20 : du 13/02 au 17/02 ===

* Documentations sur l'imagerie moteur avec OpenBCI
* Essais de classifieurs
* Tests de scénarios OpenVibe P300 speller / Imagerie moteur

=== Semaine 21 : du 20/02 au 24/02 ===

* Scénario avec EMG
* Scénario avec ondes alpha
* Scénarios fusion avec MATLAB

P47 Développement d'une interface cerveau-ordinateur

2017-02-26T03:03:26Z

Vcharnet :

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

[[Fichier:Rapport_Final_Fevrier_BCI_Charnet.pdf]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| Terminé
| Rendu des livrables à travailler 
|-
|}
''Dernière mise à jour le 22/02/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne
* Analyse de scénarios pour classification des mains
* Correction des mesures

=== Semaine 20 : du 13/02 au 17/02 ===

* Documentations sur l'imagerie moteur avec OpenBCI
* Essais de classifieurs
* Tests de scénarios OpenVibe P300 speller / Imagerie moteur

=== Semaine 21 : du 20/02 au 24/02 ===

* Scénario avec EMG
* Scénario avec ondes alpha
* Scénarios fusion avec MATLAB

Projets IMA5 2016/2017

2017-02-26T02:58:14Z

Vcharnet :

Merci de référencer vos pages de projets ici. Merci aussi d'uniformiser vos formats que ce soit en regardant la présentation des projets déjà créés ou en allant modifier le format des précédents si votre façon de faire vous semble la meilleure. Dans tous les cas un minimum de communication entre les binômes est conseillée.

Toutes les sources doivent être déposées sur notre archive GIT. Le service est disponible à l'URL [https://archives.plil.fr archives.plil.fr]. Connectez-vous avec vos identifiants Polytech'Lille. Sauf indication contraire de vos encadrants, rendez le projet public et mettez le lien sur votre Wiki. Vous pouvez trouver de la documentation sur ce système d'archives sur ce [https://git-scm.com/book/fr/v1 site].

== Répartition des binômes ==

<table border="1">
<tr>
<th>Projet</th>
<th>Elèves</th>
<th>Encadrant Ecole</th>
<th>Rapport décembre</th>
<th>Rapports finaux</th>
<th>Vidéo</th>
</tr>

<tr>
<td>[[P1 Automatisation de tests de validation d'un logiciel embarqué]]</td>
<td> Thomas ROJ / Maxime SZWECHOWIEZ </td>
<td> Thomas VANTROYS (Ecole)</td>
<td> 11/12/2016, 21:47 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P3 Chaise vibrante pour enfant sourd]]</td>
<td> Geoffrey Piekacz </td>
<td> Rodolphe Astori / Alexandre Boé / Thomas Vantroys </td>
<td> 13/12/2016, 15:36</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P5 Réseau de capteurs sur smartphone]]</td>
<td> Léo MAZIER </td>
<td> Alexandre Boé / Thomas Vantroys </td>
<td> </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P7 Régulation temps réel sur réseau sans fil ]]</td>
<td> Morgan OBEISSART / Vincent ROBIC </td>
<td> Alexandre BOE / Thomas VANTROYS </td>
<td> 12/12/2016, 23:26</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P14 Conversion DC-DC à liaison AC et circuit L-C-L]]</td>
<td>Nicolas WEGRZYN</td>
<td>Philippe DELARUE</td>
<td>[[Fichier:Rapport_intermédiaire_PFE_Wegrzyn_Nicolas.pdf]],13/12/2016, 00:28</td>
<td></td>
<td></td>
</tr>
<tr>
<td>[[P15 Entreprise : Développement d'une application iOS et Android ]]</td>
<td> Loïc DELECROIX / Julien JOIGNAUX </td>
<td> Thomas VANTROYS (Ecole) / Béatrice CADET (entreprise) </td>
<td> 13/12/2016, 09:13</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P16 Réaliser deux trackers GPS permettant de suivre à distance le trajet d'un coureur ]]</td>
<td> Valentin Taffin / Alexandre Cuadros </td>
<td> Thomas Vantroys (Ecole) / Alexandre Boé (Ecole) </td>
<td> [[Fichier:Rapport_PFE_présoutenance_cuadros_taffin.pdf]], 13/12/2016, 10:38</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P17 Sécurité de l'internet des objets ]]</td>
<td> Jérémie Denéchaud </td>
<td> Alexandre Boé / Xavier Redon / Thomas Vantroys </td>
<td> </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P19 Relai Ethernet Lora ]]</td>
<td> Cong CHEN / Sonia NDUWAYO </td>
<td> Xavier Redon </td>
<td> 13/12/2016, 13:26</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P20 Conception d'un périphérique USB de type "gadget"]]</td>
<td> Florian Giovannangeli </td>
<td> Xavier Redon (Ecole) </td>
<td> 13/12/2016, 09:29</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P22 Nuage pour sites Web]]</td>
<td> Guillaume VILLEMONT </td>
<td> Xavier Redon (Ecole) </td>
<td> </td>
<td> [[Fichier:Rapport_PFE_final_GuillaumeVILLEMONT.pdf]] </td>
<td> </td>
</tr>
<tr>
<td>[[P23 Poste ébavurage de pièces plastiques ]]</td>
<td> Corentin CASIER / Jordan RAZAFINDRAIBE </td>
<td> Blaise Conrard (Ecole) / L. HAAG (Entreprise) / R. DAVID (Entreprise) / B. MASSART (Entreprise) </td>
<td> 12/12/2016, 23:31</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P24 Contrôle qualité de la production de pièces plastiques ]]</td>
<td> Alex JULITA / Matthier HERWEGH </td>
<td> Blaise Conrard (Ecole) / L. HAAG (Entreprise) / R. DAVID (Entreprise) / B. MASSART (Entreprise) </td>
<td> 13/12/2016, 12:20 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P25 Supervision calculateur embarqué sur camion ]]</td>
<td> Alexandre DESCAMD / Pierre MICHEL </td>
<td> Thomas Vantroys (Ecole) / R. DAVID (Entreprise) / JF. DUHAUTOIS (Entreprise) </td>
<td>13/12/2016, 08:23 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P31 Partition HTTP/TLS pour Pepin]]</td>
<td> Mageshwaran SEKAR </td>
<td> Julien IGUCHI-CARTIGNY</td>
<td> [[Fichier:Rapport mi-projet SEKAR.pdf]]13/12/2016, 08:14</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P39 Ajouter de nouvelles interactions à la solution Tezeos ]]</td>
<td> Nathan RICHEZ </td>
<td> Samuel Tranchet (Entreprise) / Thomas Vantroys (Ecole) </td>
<td> 13/12/2016, 10:30</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P42 Dispositif à retour tactile ]]</td>
<td> Pierre FITOUSSI </td>
<td> Laurent GRISONI </td>
<td> 13/12/2016, 12:23</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P44 Identification d'un robot mobile ]]</td>
<td> Michel MIKHAEL </td>
<td> Midzodzi PEKPE </td>
<td> 13/12/2016, 08:58 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P47 Développement d'une interface cerveau-ordinateur ]]</td>
<td> Victor CHARNET </td>
<td> C. Lecocq (Ecole) F. Cabestaing (Labo) A. Duprès (Labo)</td>
<td> [[Fichier:Rapport_Decembre_BCI_Charnet.pdf]],13/12/2016, 08:50 </td>
<td>[[Fichier:Rapport_Final_Fevrier_BCI_Charnet.pdf]] </td>
<td> </td>
</tr>
<tr>
<td>[[P52 Application mobile musicale]]</td>
<td> Julien Bielle/Romain Ruet </td>
<td> Thomas Vantroys (Ecole) </td>
<td>13/12/2016, 11:09 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P54 Robot assisté par vision pour le tri de pièces métalliques]]</td>
<td> Julian BONVILLE </td>
<td> Rochdi MERZOUKI (Ecole) </td>
<td> 13/12/2016, 08:35</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P55 DiabetGuard ]]</td>
<td> Martin CLAVERIE </td>
<td> Rochdi MERZOUKI (Ecole) / Guillaume DEWAENE (Entreprise)</td>
<td> </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P56 Robot testeur de club de golf]]</td>
<td> Joshua LETELLIER </td>
<td> Rochdi MERZOUKI (Ecole) / Guillaume DEWAELE (Entreprise) </td>
<td> 13/12/2016, 08:06</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P57 Robotisation d'un poste de production de pièces à base de fil métallique ]]</td>
<td> Audrey AFFOYON </td>
<td> Blaise CONRARD (Ecole) / Laurent HAAG (Projet CENTAURE) / Antoine HONORE (Entreprise) </td>
<td> [[Fichier:Affoyon_rapport_p57.pdf]], 13/12/2016, 10:34</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P59 Popsell : application mobile]]</td>
<td> Quentin GRUSON </td>
<td> Thomas VANTROYS (Ecole) / François Vandeplanque (Popsell) </td>
<td> 12/12/2016, 22:36</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P61 Jeux d'aventure grandeur nature ]]</td>
<td> MAIA Stéphane / LENTIEUL Romuald </td>
<td> GAPAS / Thomas Vantroys (Ecole) </td>
<td> 13/12/2016, 00:51</td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P64 Sécurité de l'IOT ]]</td>
<td> Cédric DUVAL </td>
<td> Thomas Vantroys (Ecole) / Alexandre Boé (Ecole)</td>
<td>[[Fichier:Rapport P64 Cédric DUVAL.pdf]], 13/12/2016, 11:29 </td>
<td> </td>
<td> </td>
</tr>
<tr>
<td>[[P66 Rugby ]]</td>
<td> Antonin Claus </td>
<td> Rodolphe Astori / Alexandre Boé / Xavier Redon / Thomas Vantroys </td>
<td> </td>
<td> </td>
<td> </td>
</tr>

</table>

== Matériel nécessaires ==

<table border="1">
<tr>
<th>Projet</th>
<th>Matériel</th>
</tr>
<tr>
<td>P15</td>
<td> 2 téléphones Android (reçus le 30 septembre. Une boite complète + 1 boite sans câble de connexion) </td>
</tr>
<tr>
<td>P16</td>
<td> Arduino MegaADK </td>
</tr>
<tr>
<td>P52</td>
<td> 2 téléphones Android (reçus le 5 octobre. Deux boites complètes) </td>
</tr>
<tr>
<td>P55</td>
<td> 1 téléphone Android (G4C) reçu le 19/01/2017 
</tr>
<tr>
<td>P61</td>
<td> une tablette Android reçu le 10/10/2016 1 Raspberry pi (+dongle Wifi) reçu le 10/10/2016
 9 Raspberry pi (+dongle Wifi) 8 Haut-Parleurs simples 8 clés Bluetooth</td>
</tr>

</table>

Fichier:Rapport Final Fevrier BCI Charnet.pdf

2017-02-26T02:56:54Z

Vcharnet : Rapport final du projet "Développement d'une interface Cerveau Ordinateur" - 2016/2017 - CHARNET Victor

Rapport final du projet "Développement d'une interface Cerveau Ordinateur" - 2016/2017 - CHARNET Victor

P47 Développement d'une interface cerveau-ordinateur

2017-02-22T16:09:09Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| Terminé
| Rendu des livrables à travailler 
|-
|}
''Dernière mise à jour le 22/02/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne
* Analyse de scénarios pour classification des mains
* Correction des mesures

=== Semaine 20 : du 13/02 au 17/02 ===

* Documentations sur l'imagerie moteur avec OpenBCI
* Essais de classifieurs
* Tests de scénarios OpenVibe P300 speller / Imagerie moteur

=== Semaine 21 : du 20/02 au 24/02 ===

* Scénario avec EMG
* Scénario avec ondes alpha
* Scénarios fusion avec MATLAB

P47 Développement d'une interface cerveau-ordinateur

2017-02-13T09:48:35Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| En cours
| Création de scénarios "en-ligne" en cours 
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne
* Analyse de scénarios pour classification des mains
* Correction des mesures

=== Semaine 20 : du 13/02 au 17/02 ===

P47 Développement d'une interface cerveau-ordinateur

2017-02-07T11:50:19Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| En cours
| Création de scénarios "en-ligne" en cours 
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
* Développement de scripts MATLAB pour OpenVibe (seuillage du signal)
* Tests de l'application en ligne

=== Semaine 19 : du 06/02 au 10/02 ===

* Communication série avec un arduino sur les scénarios en ligne

P47 Développement d'une interface cerveau-ordinateur

2017-02-07T11:48:33Z

Vcharnet : /* Semaine 18 : du 30/01 au 03/02 */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| En cours
| Création de scénarios "en-ligne" en cours 
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne
*

=== Semaine 19 : du 06/02 au 10/02 ===

*

P47 Développement d'une interface cerveau-ordinateur

2017-02-02T09:21:45Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Développement de scénarios pour mesure des performances
|-
| Intégration d'OpenBCI dans une interface
| En cours
| Création de scénarios "en-ligne" en cours 
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne

P47 Développement d'une interface cerveau-ordinateur

2017-02-02T08:59:55Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Sélection des critères de comparaison en cours
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

Réunion du 24/01/2017
* Point sur l'avancée du projet
* Modification de la tâche "Analyse comparative des deux systèmes" en "Mesure des performances d'OpenBCI"
* Lecture d'articles sur la mesure de performances BCI
* Présentation des premiers programmes MATLAB
* Point sur les livrables et objectifs à venir

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne

P47 Développement d'une interface cerveau-ordinateur

2017-02-02T08:58:11Z

Vcharnet : /* Semaine 17 : du 23/01 au 27/01 */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Sélection des critères de comparaison en cours
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

=== Semaine 18 : du 30/01 au 03/02 ===

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne

P47 Développement d'une interface cerveau-ordinateur

2017-02-01T17:00:39Z

Vcharnet :

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Sélection des critères de comparaison en cours
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

* Orientation du PFE sur une mesures des performances d'OpenBCI
* Acquisition sur deux cobayes terrorisés
* Vérification du script matlab sur les mesures obtenues

=== Semaine 18 : du 30/01 au 03/02

* Création d'un scénario "en ligne" sur OpenVibe
* Utilisation du kit OpenBCI sur le scénario en ligne

P47 Développement d'une interface cerveau-ordinateur

2017-01-25T14:32:41Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Sélection des critères de comparaison en cours
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 25/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

P47 Développement d'une interface cerveau-ordinateur

2017-01-24T08:10:20Z

Vcharnet : /* Avancement du travail */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| Terminé
| Livrables rendus
|-
| Analyse comparative des deux systèmes
| En cours
| Sélection des critères de comparaison en cours
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

P47 Développement d'une interface cerveau-ordinateur

2017-01-23T15:24:51Z

Vcharnet : /* Semaine 16 : du 16/01 au 20/01 */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| En cours
| Etude et prise en main des logiciels en cours
|-
| Analyse comparative des deux systèmes
| En attente
|
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

* Filtre coupe-bande 50Hz sur MATLAB (Butterworth)
* Filtre passe-bande sur MATLAB
* FFT sur MATLAB
* Calcul de la puissance moyenne

=== Semaine 16 : du 16/01 au 20/01 ===

* Etude des seuils
* Utilisation des seuils pour détection des mouvements des pieds
* Développement du programme matlab

=== Semaine 17 : du 23/01 au 27/01 ===

Système pour plante connecté

__TOC__
 
==Contexte & Présentation générale du projet==

Le projet se base sur un constat simple : certaines personnes ne savent pas réellement s'occuper d'une plante, que ce soit en pot, ou en terre. L'idée ce projet est de réaliser un système qui mesurerait des éléments essentiels de l'environnement d'une plante et les comparerait à une "base de données". L'utilisateur pourrait alors consulter ces données et serait informé si une de composantes n'est pas dans la plage correspondante à la plante.

Par exemple, l'ANUBIAS BARTERI ´COIN LEAF´ (famille des Rhizomes) doit être à une température ambiante comprise entre 22°C et 28°C. Si la température extérieure est de 20°C, l'utilisateur est informé (depuis son smartphone ou ordinateur) qu'il doit s'arranger pour modifier la température de l'environnement de la plante.

==Objectif du projet==

L'objectif de notre projet est de réaliser un système connecté dédié à la surveillance des plantes pour les particuliers.

Le système mesurera trois éléments essentiels de la plante et de son environnement :
* La luminosité perçue par la plante
* La température ambiante
* L'humidité dans la terre

==Choix techniques : matériel et logiciel==

* Capteur d'humidité & luminosité : Chirp! The Plant Watering Alarm (Ok, reçu)
* Microcontrôleur & communication Wifi : Adafruit HUZZAH ESP8266 (Ok, reçu)
* Capteur de température : TMP36 (Ok, reçu)
* Alimentation : Piles ou batterie

=== Architecture matérielle (provisoire au 05/01) ===

[[Fichier:Architecture_materielle_provisoire.PNG]]

=== Capteur de température (TMP36) ===

Le montage utilisé pour le capteur est le suivant :

[[Fichier:iot2017_TMP36.PNG|300px|]]

Le type de package de notre capteur est TO-92

== Avancée du travail ==

=== Séance n°1 (06/01/2017) ===

* Choix du sujet
* Détail des fonctionnalités
* Etude de l'architecture matérielle

=== Séance n°2 (05/01/2017) ===

* Documentation pour matériel
* Installation serveur MQTT (mosquitto)
* Flash d'un subscriber MQTT sur l'ESP8266

=== Séance n°3 (10/01/2017) ===

* Installation capteur de température (câblage & code)
* Première utilisation du capteur d'humidité (à partir de
* Affichage de la courbe d'humidité sur une application PC en Python
* Paramétrage du RESET du capteur d'humidité

== Base de données pour culture des plantes ==

http://dennerle.com/fr/service/base-de-donnees-des-plantes

== Sources et liens utiles ==

Registres I2C : https://github.com/Miceuz/i2c-moisture-sensor

Fichier:Rapport Decembre BCI Charnet.pdf

2017-01-11T14:56:45Z

Vcharnet : a téléversé une nouvelle version de « Fichier:Rapport Decembre BCI Charnet.pdf »

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:22:36Z

Vcharnet :

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Ce projet est réalisé dans le cadre des projets de fin d’études de cinquième année à l’école d’ingénieur Polytech Lille en formation IMA (informatique, Microélectronique, Automatique).

Le sujet est développé en partenariat avec le pôle BCI (Brain-Computer Interface) du laboratoire CRIStAL (Centre de Recherche en Informatique, Signal et Automatique de Lille) se situant à l’Université Lille 1, dirigé par François Cabestaing.

Le lien entre le laboratoire est assuré par la tutrice du projet, Claudine Lecocq, maître de conférences à Polytech Lille.

L’objectif principal de ce projet est de développer une Interface Cerveau-Ordinateur à l’aide d’un kit Recherche & Développement open source, du nom d’OpenBCI. Le principe d’une Interface Cerveau-Ordinateur est de mesurer les signaux cérébraux, les traiter et effectuer une classification des caractéristiques obtenues dans le but de contrôler et piloter un système, qui peut être physique (fauteuil roulant, drone…) ou logiciel.

Il est important de préciser que les BCI sont développées principalement pour les personnes paralysées et lourdement handicapées moteur pour qu’elles puissent communiquer ou interagir avec leur environnement par la pensée.

====''Objectifs''====

Les objectifs principaux du projet ont été décidés de part une collaboration entre le laboratoire CRIStAL (représenté par Mr Cabestaing), Mme Lecocq et moi-même. Il fallait choisir des objectifs réalisables dans le temps dédié à ce projet de fin d’études, et qui aient un réel apport pour le laboratoire (voir indicateurs de résultats)

*'''Mise en œuvre du système d’acquisition OpenBCI sur OpenVibe :''' OpenVibe est le logiciel majoritairement utilisé par le laboratoire CRIStAL. Il est donc très important de rendre le plus rapidement possible le matériel OpenBCI compatible avec ce logiciel.

*'''Documentation technique pour utilisation OpenBCI :''' il s’agit là de produire une documentation précise des câblages et des caractéristiques du kit afin qu’une personne l’utilisant puisse rapidement trouver les informations dont elle a besoin.

*'''Comparaison coût/performances entre les systèmes g.tec & OpenBCI :''' En effet, le kit OpenBCI est environ 10 fois moins cher qu’un système g.tec (système aux normes médicales utilisé par CRIStAL). Il est important de pouvoir comparer leurs performances.

*'''Utilisation du kit R&D OpenBCI pour commander/piloter un système physique :''' L’objectif à terme de ce projet est de pouvoir mettre en œuvre la commande d’un système physique, qu’il soit logiciel ou physique.

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| En cours
| Etude et prise en main des logiciels en cours
|-
| Analyse comparative des deux systèmes
| En attente
|
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:17:13Z

Vcharnet : /* Architecture matérielle */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Les '''interfaces cerveau/ordinateur''' (BCI : Brain Computer Interface) ont pour but de permettre à des personnes handicapées moteur de '''communiquer''' avec leur entourage ou de '''piloter''' des interfaces.

====''Objectifs''====

L'objectif de ce projet est de mettre en oeuvre un nouveau système d'acquisition de '''signaux EEG''' (OpenBCI). Dans un premier temps il est attendu de mettre en place une '''procédure d'installation et d'utilisation''' du matériel. Ensuite, l'intérêt sera de '''comparer les résultats''' fournis par ce nouveau système à ceux déjà possédés au laboratoire CRIStAL. En parallèle, il faudra veiller à '''compatibilité du nouveau matériel avec l'existant'''.

== Cahier des charges ==
=== Modélisation du cahier des charges ===

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

=== Classification ===

L’étape de classification est là pour effectuer une décision du système à partir des caractéristiques extraites lors de la phase de traitement du signal. On va donc organiser les données en différentes classes, fonctions des caractéristiques. Les classifieurs les plus courants dans les domaines des BCI sont :

*'''Classifieur LDA (Analyse linéaire discriminante) :''' il calcule la décision par combinaison linéaire des échantillons

*'''Réseaux de neurones :''' chaque neurone effectue une combinaison linéaire et permet d’attribuer à chaque neurone une classe

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| En cours
| Etude et prise en main des logiciels en cours
|-
| Analyse comparative des deux systèmes
| En attente
|
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:14:13Z

Vcharnet : /* Traitement du signal */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Les '''interfaces cerveau/ordinateur''' (BCI : Brain Computer Interface) ont pour but de permettre à des personnes handicapées moteur de '''communiquer''' avec leur entourage ou de '''piloter''' des interfaces.

====''Objectifs''====

L'objectif de ce projet est de mettre en oeuvre un nouveau système d'acquisition de '''signaux EEG''' (OpenBCI). Dans un premier temps il est attendu de mettre en place une '''procédure d'installation et d'utilisation''' du matériel. Ensuite, l'intérêt sera de '''comparer les résultats''' fournis par ce nouveau système à ceux déjà possédés au laboratoire CRIStAL. En parallèle, il faudra veiller à '''compatibilité du nouveau matériel avec l'existant'''.

== Cahier des charges ==
=== Modélisation du cahier des charges ===

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*'''Filtrage spatial :''' On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*'''Filtrage fréquentiel :''' Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

[[Fichier:P47_2017_Fft_alpha.PNG]]

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| En cours
| Etude et prise en main des logiciels en cours
|-
| Analyse comparative des deux systèmes
| En attente
|
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

Fichier:P47 2017 Fft alpha.PNG

2017-01-10T16:13:10Z

Vcharnet : Mise en évidence des ondes alpha sur une FFT

Mise en évidence des ondes alpha sur une FFT

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:11:56Z

Vcharnet : /* Architecture matérielle */

[[Fichier:IMA5_P47_Logo_BCI.png|250px|right|Logo OpenBCI]]

== Glossaire ==
; EEG : Électroencéphalographie : Méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau par des électrodes placées sur le cuir chevelu.
; EMG : Électromyogramme : Examen qui permet d'enregistrer l'activité spontanée d'un muscle ou d'un nerf.
; ECG : Électrocardiographie : Représentation graphique de l'activité électrique du cœur.
; Interface synchrone : Une BCI est dite synchrone quand elle ne permet à l'utilisateur d'interagir avec le système qu'à des instants précis, basés sur des stimulus.
; Interface asynchrone : Une interface est asynchrone à partir du moment où l'utilisateur peut changer volontairement certaines caractéristiques de son signal EEG et que l'acquisition de ses données EEG est continue.

== Présentation générale du projet ==

====''Contexte''====

Les '''interfaces cerveau/ordinateur''' (BCI : Brain Computer Interface) ont pour but de permettre à des personnes handicapées moteur de '''communiquer''' avec leur entourage ou de '''piloter''' des interfaces.

====''Objectifs''====

L'objectif de ce projet est de mettre en oeuvre un nouveau système d'acquisition de '''signaux EEG''' (OpenBCI). Dans un premier temps il est attendu de mettre en place une '''procédure d'installation et d'utilisation''' du matériel. Ensuite, l'intérêt sera de '''comparer les résultats''' fournis par ce nouveau système à ceux déjà possédés au laboratoire CRIStAL. En parallèle, il faudra veiller à '''compatibilité du nouveau matériel avec l'existant'''.

== Cahier des charges ==
=== Modélisation du cahier des charges ===

== Architecture matérielle ==

[[Fichier:IMA5_P47_Architecture.png|600px|Architecture fonctionelle et matérielle]]

Sur le premier graphique, on retrouve l’analyse fonctionnelle du système. Chaque bloc représente une fonction principale réalisée par le système. Il s’agit dans un premier temps de mesurer les signaux physiologiques, et dans notre cas les signaux cérébraux de l’utilisateur. Il faut ensuite réaliser une opération de traitement de signal, où les données mesurées seront sélectionnées et traitées en fonction du scénario voulu par l’Interface Cerveau-Ordinateur

Le second graphique correspond à l’architecture matérielle d’une BCI. Chaque bloc correspond donc au système nécessaire pour réaliser la fonction correspondante au bloc supérieur. Ainsi, la mesure des signaux cérébraux est assurée par un système, casque EEG, le traitement du signal et la classification sont réalisées par une partie logicielle (OpenVibe, OpenBCI, Matlab), puis le système à commander, qui peut être physique (fauteuil roulant, drone, etc..) ou logiciel.

=== Acquisition ===

Il existe différents moyens de réaliser de l’acquisition de signaux cérébraux. La méthode la plus classique est la méthode dite « non-invasive ». Cela consiste à installer un système EEG muni d’électrodes sur la surface du crâne. Ce dispositif est très simple à mettre en œuvre et est le plus généralement utilisé. Néanmoins, les signaux sont très bruités car les potentiels mesurés sont extrêmement faibles (ordre du micro volt).

L’acquisition des ondes cérébrales peut également être réalisée par une méthode semi-invasive. Une grille d’électrodes est installée à la surface de boite crânienne. Le procédé permet d’obtenir des signaux beaucoup moins bruités, mais nécessite une lourde intervention chirurgicale, il est donc peu utilisé.

La méthode pour obtenir les signaux de la meilleure qualité est la méthode invasive. Lors d’une très lourde opération, des électrodes vont être placées directement dans le cerveau. Les signaux sont alors très peu bruités et très fiables. Néanmoins, la durée de vie des électrodes dans le milieu cérébral est très courte et leur installation provoque de graves séquelles irréversibles au cerveau.

=== Traitement du signal ===

L’étape de traitement du signal est essentielle dans le bon fonctionnement d’une BCI. Elle permet d’extraire ce que l’on appeler des caractéristiques. L’objectif est dans un premier temps d’éliminer ce que l’on appelle les artefacts (perturbations du signal EEG), qui peuvent être de type électrique, comme la présence du « 50Hz » issu de l’alimentation électrique du secteur, ou de type physiologique comme les clignements des yeux ou bien le pouls. C’est une étape de prétraitement qui utilise généralement des filtres. Les plus courants sont :

*Filtrage spatial : On utilise les informations des électrodes voisines. Un filtre spatial commun est le Laplacien. On va soustraite à une électrode la valeur moyenne des électrodes voisines. Si on se place dans la configuration de l’illustration ci-dessous, l’expression de la valeur de l’électrode centrale Cz après un filtrage Laplacien est la suivante :

<math>Cz_{Laplacien}=Cz-\frac{Fz+Pz+C4+C3}{4}</math>

[[Fichier:P47_2017_Laplacien.png|300px|]]

*Filtrage fréquentiel : Le filtrage fréquentiel permet de sélectionner les bandes de fréquence utiles en fonction du scénario voulu par la BCI. En effet on peut classer les activités électriques cérébrales rythmiques en fonction de leur fréquence. Par exemple les ondes α sont généralement comprises entre 9 et 13Hz, elles correspondent à un état physiologique de repos et se manifestent généralement à la fermeture des yeux. L’analyse fréquentielle permet ainsi de remarquer la présence ou non de ces ondes. Le graphique ci-dessous représente mes propres ondes alpha mesurées lors d'une acquisition sur OpenBCI

== Plan d'action ==



* '''Documentation sur les BCI & gestion de projet'''
** Documentation et état de l'art des BCI
** Utilisation d'outils de gestion de projet
* '''Mise en oeuvre du kit OpenBCI'''
** Etude du kit OpenBCI
** Prise en main des logiciels OpenBCI et OpenVibe
** Mise en place d'une procédure de câblage
** Assurer la compatibilité du kit avec OpenVibe
* '''Analyse comparative des deux systèmes'''
** Sélection des critères de comparaison
** Mise en place d'un protocole de mesure
** Elaboration de scénarios OpenVibe
** Etude comparative des systèmes
* '''Integration d'OpenBCI dans une interface'''
** Portage du kit OpenBCI sur "le labyrinthe"
** Développement d'une BCI de démonstration
** Mise en place d'une campagne de tests

== Planning prévisionnel ==

[[Fichier:P_47_2017_Planning_image.PNG]]

== Avancement du travail ==

{| class="wikitable"
|+ Avancement des tâches
! Tâches !! Avancement !! Commentaires
|-
| Documentation sur les BCI & gestion du projet
| Terminé
| width="50%"| Livrables rendus
|-
| Mise en oeuvre du kit OpenBCI
| En cours
| Etude et prise en main des logiciels en cours
|-
| Analyse comparative des deux systèmes
| En attente
|
|-
| Intégration d'OpenBCI dans une interface
| En attente
|
|-
|}
''Dernière mise à jour le 10/01/2017''

=== Semaine 1 : Du 19/09 au 23/09 ===

Réunion du 20/09/2016 :
* Rencontre avec l'équipe BCI
* Visite du laboratoire
* Définition des objectifs
* Contraintes matérielles

=== Semaine 2 : Du 26/09 au 30/09 ===

Réunion du 26/09/2016 :
* Redéfinition des enjeux & objectifs du projet
* Retour sur le premier CR de réunion
* Méthodologie pour la définition des tâches du projet
* Méthodologie pour quantification des objectifs
* Méthodologie pour l'analyse des risques

=== Semaine 3 : Du 03/10 au 08/10 ===

* Installation matériel (Ordinateur)
* Objectifs du projet
* Définition du plan d'action
* Réception du kit R&D OpenBCI et premiers tests

=== Semaine 4 : Du 10/10 au 14/10 ===

* Objectifs du projet
* Définition du plan d'action
* Réception matériel (Casque laboratoire & Gel)
* Finalisation de la convention de prêt de matériel

=== Semaine 5 : Du 17/10 au 21/10 ===

* Entretien du matériel laboratoire
* Connexion du module de communication OpenBCI

=== Semaine 6 : Du 24/10 au 28/10 ===

Réunion du 25/10/2016 :
* Validation du plan d'action
* Validation des indicateurs de résultat
* Validation des objectifs projet
* Prise de décision concernant le casque OpenBCI

=== Semaine 7 : Du 31/10 au 04/11 ===

* Découverte et sensibilisation au logiciel OpenVibe

=== Semaine 8 : Du 07/11 au 11/11 ===

* Analyse des risques projets
* Préparation du macroplanning

=== Semaine 9 : Du 14/11 au 18/11 ===

* Premiers tests du système d'acquisition

Réunion du 16/11/2016 :
* Présentation Macroplanning
* Présentation analyse des risques
* Présentation V1 diaporama BCI
* Démonstration des mesures des premiers essais

=== Semaine 10 : Du 21/11 au 25/11 ===

* Connexion du kit OpenBCI sur OpenVibe
* Modification du macroplanning
* Mise en place de fiche de compte-rendu de manipulation
* Travail de recherche sur les BCI

=== Semaine 11 : Du 28/11 au 02/12 ===

* Préparation entretien avec Alban Duprès le 06/12
* Documentation OpenVibe

Réunion du 29/11/2016
* Présentation des connaissances BCI
* Présentation de l'avancement de la connexion de l'OpenBCI sur OpenVibe
* Présentation du macroplanning revu
* Présentation des fiches compte-rendu

=== Semaine 12 : Du 05/12 au 09/12 ===

* Préparation diaporama soutenance & rapport décembre
* Documentation kit OpenBCI

Réunion avec Alban Duprès le 06/12
* Récupération des fichiers
** Applications (Labyrinthe, karting etc…) développées sous UNITY
** Scénarios OpenVibe
** Exemples de classifieurs LDA (OpenVibe)
** Fichiers Python (lien Classifieur/VRPN)
* Explications
** Fonctionnement entre OpenVibe et Unity
** Principe d’une interface cerveau ordinateur (d’un point de vue logiciel)
** Scénario OpenVibe
* Impossible d’emprunter une électrode « oreille » car celles du laboratoire ont deux connecteurs
* Discussion à propos de l’application à un système réel

=== Semaine 13 : Du 12/12 au 16/12 ===

* Rapport de intermédiaire
* Préparation soutenance
*'''Rapport intermédiaire rendu le 13/12'''
*'''Soutenance le 14/12'''

=== Semaine 14 : Du 03/01 au 06/01 ===

* Connexion du kit OpenBCI à OpenVibe
* Premières mesures avec OpenVibe
* Enregistrement des données
* Etude des premiers scénarios OpenVibe
* Lecture des données sur MATLAB

Réunion du 06/01/2016
* Point sur le rapport de projet de décembre
* Point sur la soutenance de décembre
* Présentation de l'avancée du projet
* Point sur les livrables et objectifs à venir

=== Semaine 15 : Du 09/01 au 13/01 ===

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:09:48Z

Vcharnet :

Fichier:P47 2017 Laplacien.png

2017-01-10T16:07:05Z

Vcharnet : Filtrage laplacien sur un 10-20 system

Filtrage laplacien sur un 10-20 system

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T16:04:20Z

Vcharnet : /* Architecture matérielle */

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T14:26:36Z

Vcharnet : /* Glossaire */

P47 Développement d'une interface cerveau-ordinateur

2017-01-10T14:24:12Z

Vcharnet :

Fichier:P 47 2017 Planning image.PNG

2017-01-10T14:22:58Z

Vcharnet : Planning prévisionnel du projet P47 2016-2017

Planning prévisionnel du projet P47 2016-2017