PSR SE2a4 2022/2023 G2 : Différence entre versions

De Wiki d'activités IMA
(Modifications dans le programme:)
(Tester les limites de SMTPout)
 
(204 révisions intermédiaires par 2 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
== A faire (concernant les serveurs SMTP): ==
+
== Commandes sur la VM ==
-un système doit être réalisé permettant au serveur SMTP sortant de mettre en file d’attente les messages non remis à destination pour cause d’erreur transitoire du serveur SMTP cible;<br>
 
-les communications peuvent ne pas être chiffrées, les communications non chiffrés sont reçues sur le port 25 ;<br>
 
-les communications peuvent être chiffrées par TLS, les communication chiffrées peuvent être négociées directement sur le port 465 ;<br>
 
-il doit être possible de basculer sur une communication chiffrée à partir du port 25 en utilisant les commandes EHLO et STARTTLS ;<br>
 
-les serveurs SMTP doivent gérer les enregistrements MX permettant d’associer un nom de domaine à un serveur de messagerie, le recours aux enregistrements AAAA et A est à utiliser en cas d’absence de MX ;<br>
 
  
== A faire (concernant le stockage des courriels): ==
+
*Se connecter au serveur : '''ssh root@capbreton.plil.info''' (glopglop)
- ne doivent être stockés que les courriels à destination d’un utilisateur local ;<br>
+
*Se connecter à la VM : '''ssh root@193.48.57.164''' (glopglopglop)
-le processus de remise stocke le message dans le sous-répertoire Maildir/tmp puis le déplace dans le sous-répertoire Maildir/new, déplacement doit être fait par la primitive rename ;<br>
+
*Copier le projet dans la VM (à la racine) : '''scp - r LisaJerome/ root@193.48.57.164:/'''
-pour assurer un nom unique aux fichiers de stockage, utilisez la date en seconde (fonction time), le PID et un compteur commun à tous les flux d’exécution (utilisation de sémaphores indispensable).<br>
+
*Ouvrir le terminal en mode root : "su -" et vérifier si le port 25 est déjà occupé : '''ss -tpln'''
 +
*Arrêter le processus exim4 (qui utilise le port 25) : '''service exim4 stop''' (ou kill pid)
 +
*Compiler le projet (à la racine du projet) : '''make clean''' + '''make debug''' pour afficher les ifdef DEVERMINE
  
== Tips: ==
+
*SMTPin (serveur d'envoi de mail)
-Se connecter au serveur : "ssh root@capbreton.plil.info"<br>
+
**Exécuter SMTPin sur l'interface loopback du port 25 avec strace '''strace ./SMTPin -l -j <logfile.txt>''' et s'y connecter en local '''nc localhost 25'''
-Se connecter à la VM : "ssh root@193.48.57.164"<br>
+
*SMTPout (serveur de réception de mail)
 +
**Exécuter SMTPout sur l'interface eth0 du port 25 '''strace ./SMTPout -i eth0 -u <carte.txt>''' et s'y connecter '''nc 193.48.57.164 25'''
  
Exécuter le programme:<br>
+
== Debug SMTPin==
-ouvrir le terminal en mode root : "su -"<br>
 
-vérifier si le port 25 est déjà occupé : "ss -tpln"<br>
 
-??? : "service exim4 stop"<br>
 
-dans la racine du prog : "make" (voir makefile pour make et makefile???)<br>
 
-dans MTA int ou MTA ext : "./SMTPin -p25" et "./SMTPext -p25"<br>
 
-dans la racine du prog : "nc localhost 25"<br>
 
  
== Modifications SMTPin: ==
+
*"mx.c" ne sert à rien (il est vide d'ailleurs), la fonction "**chercherMX" est implémentée dans "libs/Reseau/mx.c", on peut donc le supprimer.
  
Le fichier "mx.c" dans le "src/SMTPin" ne sert pas (il est vide d'ailleurs), la fonction "**chercherMX" est implémentée dans un autre fichier "mx.c" dans "libs/Reseau", on peut donc le supprimer.
+
*"in.c" -> "gestionCourriel()", une fois les enregistrements DNS de type MX (serveurs courriel) trouvés, on doit envoyer le courriel au MX qui a la priorité la plus basse, si l'envoi échoue on retente avec le MX de priorité suivante jusqu'à ce que l'envoi soit un succès. Pourtant, dans le code, si l'envoi est un succès, on continue d'envoyer le mail aux autres MX, il faut donc rajouter l'instruction else{break;} dans le code lorsque l'envoi est un succès.<br>
  
Dans le fichier "in.c" -> fonction "gestionCourriel", lorsqu'on initialise la connexion au serveur, on ne teste pas a bien été créée, on rajoute donc une condition d'erreur.
+
  while(*p!=NULL){
 +
    #ifdef DEVERMINE
 +
      printf("Serveur : %s\n",*p);
 +
    #endif
 +
    int ss=connexionServeur(*p,SMTP_PORT_DEFAULT);
 +
    FILE *dialogue=fdopen(ss,"a+");
 +
    if(dialogue==NULL){
 +
      perror("gestionCourriel.fdopen");
 +
      exit(EXIT_FAILURE);
 +
    }
 +
    char erreur[MAX_ERREUR];
 +
    int resultat=SMTP_dialogue(dialogue,donnees,erreur,MAX_ERREUR);
 +
    fclose(dialogue);
 +
    if(resultat<0) ecritureJournal(JOURNIV_DEVERMINE,JOURNAL_MXHS,*p);
 +
    // Logguer l'erreur
 +
    '''else{break;}'''
 +
    p++;
 +
    }
  
Dans le fichier "in.c" -> fonction "gestionCourriel", une fois, les enregistrements DNS de type MX (serveurs courriel) trouvés, on envoie le courriel au MX qui a la priorité la plus basse, si l'envoi échoue on retente avec le MX de priorité suivante jusqu'à ce que l'envoi soit un succès. Pourtant si l'envoi est un succès, on continue d'envoyer le mail aux autres MX, il faut donc rajouter l'instruction else{break;} dans le code lorsque l'envoi est un succès.<br>
+
== SMTPout : Processus de stockage du mail ==
  
<b>Ancien code :</b><br>
+
*On doit stocker les courriels dans la structure de répertoire MAILDIR, composée de 3 sous-répertoires : tmp, new et cur. Le processus qui récupère les courriels place les courriels dans le répertoire tmp, le nom du fichier est généré automatiquement de manière à être unique. Une fois le message complètement reçu par le serveur de courriel (MTA), il est déplacé, par un système de link/unlink dans le répertoire new. Au passage du client de messagerie qui parcourt le répertoire new, il est à nouveau déplacé et est mis dans le répertoire cur. Le message n'a toujours pas été lu.<br>
 +
*"outc.c" -> "gestionCourriel", on déplace le sous-répertoire Maildir/tmp dans le sous-repertoire Maildir/new en utilisant la primitive rename<br>
  
while(*p!=NULL){
+
  char fichier[MAX_CHEMIN];
#ifdef DEVERMINE
+
   sprintf(fichier,"%s/%s/%s/%ld_%010d_%010ld",dossier,id,MAILDIR_TMP,time(NULL),pid,messages);
   printf("Serveur : %s\n",*p);
+
   FILE *f=fopen(fichier,"w");
#endif
+
   if(f==NULL){
  int ss=connexionServeur(*p,SMTP_PORT_DEFAULT);
+
     ecritureJournal(JOURNIV_ERREUR,JOURNAL_OUVERTURE,fichier);
   FILE *dialogue=fdopen(ss,"a+");
+
     return;
   if(dialogue==NULL){
 
     perror("gestionCourriel.fdopen");
 
     exit(EXIT_FAILURE);
 
 
   }
 
   }
  char erreur[MAX_ERREUR];
+
   int nb=fwrite(donnees->corps,donnees->taille,1,f);
   int resultat=SMTP_dialogue(dialogue,donnees,erreur,MAX_ERREUR);
+
   if(nb!=1){
   if(resultat<0) ecritureJournal(JOURNIV_DEVERMINE,JOURNAL_MXHS,*p);
+
    ecritureJournal(JOURNIV_ERREUR,JOURNAL_ECRITURE,fichier);
  // Logguer l'erreur
+
    return;
  fclose(dialogue);
 
  p++;
 
 
   }
 
   }
 +
  fclose(f);
 +
  '''char fichier_new[MAX_CHEMIN];'''
 +
  '''sprintf(fichier_new,"%s/%s/%s/%ld_%010d_%010ld",dossier,id,MAILDIR_NEW,time(NULL),pid,messages);'''
 +
  '''rename(fichier, fichier_new);'''
  
<b>Nouveau code :</b>
+
== Exécuter les 2 serveurs sur une interface différente du port réseau 25 ==
  
while(*p!=NULL){
+
Après avoir démarré notre VM (routable sur internet) sur le serveur capbreton.plil.info et y avoir copié le prog, on s'aperçoit qu'il n'est pas possible de lancer les 2 serveurs SMTPin et SMTPout en même temps car les 2 s'exécutent sur la même interface (loopback) du port 25. Il faut donc lancer les serveurs sur des interfaces diff (SMTPout : eth0, SMTPin : loopback).
#ifdef DEVERMINE
+
 
  printf("Serveur : %s\n",*p);
+
 
#endif
+
*SMPTout(args.h) => ajout d'une variable "interface" à la structure "stmp_config
  int ss=connexionServeur(*p,SMTP_PORT_DEFAULT);
+
 
  if(ss<0){
+
struct smtp_config
     fprintf(stderr,"La connexion au serveur %s a échoué", *p);
+
  {
 +
    char journal[CONFIG_MAX_JOURNAL];
 +
    int niveau;
 +
    char port[CONFIG_MAX_PORT];
 +
    char dossier[CONFIG_MAX_CHEMIN];
 +
    char carte[CONFIG_MAX_CHEMIN];
 +
    unsigned char local;
 +
    '''char interface[CONFIG_MAX_INTERFACE];'''
 +
  };
 +
 
 +
 
 +
*SMPTout (args.c) => ajout d'un case i "interface" dans le switch
 +
 
 +
static struct option long_options[] = {
 +
    {"local",no_argument,0,'l'},
 +
    '''{"interfaces", required_argument,0, 'i'},'''
 +
    {"port",required_argument,0,'p'},
 +
    {"journal",required_argument,0,'j'},
 +
    {"niveau",required_argument,0,'n'},
 +
    {"dossier",required_argument,0,'d'},
 +
    {"utilisateurs",required_argument,0,'u'},
 +
    {0,0,0,0}
 +
    };
 +
 
 +
  while(1){
 +
    '''int c=getopt_long(argc,argv,"lp:j:n:d:u:i:",long_options,NULL);'''
 +
    if(c<0) break;
 +
    switch(c){
 +
      case 'l':
 +
        config->local=1;
 +
        break;
 +
      '''case 'i':'''
 +
      '''strncpy(config->interface,optarg,sizeof(config->interface)-1);'''
 +
      '''break;'''
 +
      case 'p':
 +
        strncpy(config->port,optarg,sizeof(config->port)-1);
 +
        break;
 +
      case 'j':
 +
        strncpy(config->journal,optarg,sizeof(config->journal)-1);
 +
        break;
 +
      case 'd':
 +
        strncpy(config->dossier,optarg,sizeof(config->dossier)-1);
 +
        break;
 +
      case 'u':
 +
        strncpy(config->carte,optarg,sizeof(config->carte)-1);
 +
        break;
 +
      case 'n':
 +
        config->niveau=atoi(optarg);
 +
        break;
 +
      default:
 +
        afficheSyntaxe(argv[0]);
 +
        break;
 +
      }
 +
    }
 +
 
 +
 
 +
*SMPTout (out.c) ==> main function => récupérer l'interface passée en paramètre
 +
 
 +
  char *interface=NULL;
 +
  struct smtp_config config;
 +
  analyseArguments(argc,argv,&config);
 +
  if(config.journal[0]!='\0') creationJournal(config.journal);
 +
  niveauJournal(config.niveau);
 +
  ecritureJournal(JOURNIV_INFO,JOURNAL_DEBUT);
 +
  if(config.port[0]=='\0') strcpy(config.port,SMTP_PORT_DEFAULT);
 +
  if(config.local==1) interface=SMTP_LOCAL_INTERFACE;
 +
  '''if(config.interface!=NULL) interface=config.interface;'''
 +
 
 +
== Debug SMTPin -> envoyer les mails ==
 +
 
 +
Malgré le fait qu'on ait trouvé le serveur sur lequel envoyer notre mail et qu'on se soit bien connecté à celui-ci via socket grâce à la fonction "connexionserveur" dans "/libs/Reseau/reseau.c, on remarque que les mails ne s'envoient pas. On debug donc l'envoi du message.
 +
 
 +
*libs/SMTP/smtp.c -> ajout DEBUG :
 +
 
 +
  static int retour_generique(FILE *dialogue,int succes,char *erreur,int taille){
 +
    char ligne[MAX_LIGNE];
 +
    #ifdef DEVERMINE
 +
      printf("SMTP -> retour generique\n");
 +
    #endif
 +
    if(fgets(ligne,MAX_LIGNE,dialogue)==NULL) return -1;
 +
    ligne[MAX_LIGNE-1]='\0';
 +
    int code;
 +
    int statut=sscanf(ligne,"%d",&code);
 +
    '''#ifdef DEVERMINE'''
 +
      '''printf("statut =%d\n", statut);'''
 +
      '''printf("succes =%d\n", succes);'''
 +
      '''printf("code =%d\n", code);'''
 +
    '''#endif'''
 +
    if(statut==1 && code!=succes){
 +
      strncpy(erreur,ligne,taille-1);
 +
     #ifdef DEVERMINE
 +
      printf("retour_generique ERROR\n");
 +
    #endif
 +
    }
 +
  return (statut==1 && code==succes)?0:-1;
 
   }
 
   }
   FILE *dialogue=fdopen(ss,"a+");
+
 
  if(dialogue==NULL){
+
Ce qui nous donne les informations de debug suivantes:
     perror("gestionCourriel.fdopen");
+
 
     exit(EXIT_FAILURE);
+
  #0 [50/woody.escaut.net]
 +
  Serveur : woody.escaut.net
 +
  SMTP -> dialogue_connexion
 +
    SMTP -> retour generique
 +
    statut =1
 +
    succes =250
 +
    code =220
 +
  SMTP -> dialogue_HELO
 +
    SMTP -> retour generique
 +
    statut =1
 +
    succes =250
 +
    code =250
 +
  SMTP -> dialogue_MAIL
 +
    SMTP -> retour generique
 +
    statut =1
 +
    succes =250
 +
    code =250
 +
  SMTP -> dialogue_RCPT
 +
    SMTP -> retour generique
 +
    statut =1
 +
    succes =250
 +
    code =250
 +
  SMTP -> dialogue_DATA
 +
    SMTP -> retour generique
 +
    statut =1
 +
    succes =250
 +
    code =354
 +
   SMTP -> dialogue_QUIT
 +
    SMTP -> retour_generique
 +
    statut =1
 +
    succes =221
 +
    code =250
 +
 
 +
On remarque donc que la fonction "dialogue_connexion" attend un code de succès 220 au lieu de 250, "dialogue_DATA" 354 au lieu de 250 et "dialogue_QUIT" 250 au lieu de 221.
 +
 
 +
*On modifie alors les valeurs des variables globales définies dans "smtp_private.h":
 +
 
 +
  #define ACCUEIL_CODE            '''220'''
 +
  ...
 +
  #define SUCCES_DATA_CODE        250
 +
  #define SUCCES_DATA_TEXTE      "Accepted"
 +
  #define SUCCES_QUIT_CODE        '''250'''
 +
  #define SUCCES_QUIT_TEXTE      "Bye!"
 +
 
 +
*ainsi que les noms des variables globales dans "smtp.c":
 +
 
 +
  static int dialogue_DATA(FILE *dialogue,char *corps,char *erreur,int taille){
 +
    '''#ifdef DEVERMINE'''
 +
      '''printf("SMTP -> dialogue_DATA\n");'''
 +
    '''#endif'''
 +
    if(fprintf(dialogue,"DATA\r\n")<0) return -1;
 +
    if(fprintf(dialogue,corps)<0) return -1;
 +
     if(fprintf(dialogue,".\r\n")<0) return -1;
 +
     return retour_generique(dialogue,'''CONTINUE_DATA_CODE''',erreur,taille);
 
   }
 
   }
  char erreur[MAX_ERREUR];
+
 
  int resultat=SMTP_dialogue(dialogue,donnees,erreur,MAX_ERREUR);
+
 
   fclose(dialogue);
+
Je réussis désormais à envoyer des mails sur @polytech_lille.net mais pas sur @gmail.com (le prob se situe au niveau des MX).
   if(resultat<0) ecritureJournal(JOURNIV_DEVERMINE,JOURNAL_MXHS,*p);
+
 
   // Logguer l'erreur
+
 
   else{break;}
+
+ modifier fgets dans libs/SMTP.c, gérer la gestion d'une commande à deux lignes : si présence d'un tiret dans la quatrième colonne, il faut prendre en compte la commande complète
   p++;
+
 
 +
== Tester les limites de SMTPin ==
 +
 
 +
*Tester SMTPin avec des commandes (HELO, MAIL FROM, RCPT TO, DATA et QUIT) erronées et dans le mauvais ordre.<br>
 +
**SMTPin est solide, il répond aux commandes erronées SYNTAX ERROR et "503 Need MAIL and RCPT first" si mauvais ordre des commandes.
 +
 
 +
 
 +
*Effectuer un test de charge sur le serveur SMTPin en envoyant plusieurs mails en même temps :
 +
**Pour cela se connecter au serveur en chargeant un fichier texte contenant les commandes SMTP à entrer au serveur : '''nc -i1 -q0 -C localhost 25 < test1.txt''', voir test1.txt :
 +
  HELO jj
 +
  MAIL FROM: <goudale@lamentable.site>
 +
  RCPT TO: <jerome.breuvart@polytech-lille.net>
 +
  DATA
 +
  SUBJECT Bonjour
 +
  Hi
 +
  Hola
 +
  .
 +
   QUIT
 +
 
 +
**Ecrire un script shell qui exécute cette commande plusieurs fois en tâche de fond (avec &), cela nous permet de tester les threads:
 +
  #!/bin/bash
 +
   for((i=1; i<=10; i++))
 +
      do
 +
          echo "Exec $i"
 +
          nc -i1 -q0 -C localhost 25 < test1.txt &
 +
  done
 +
 
 +
 
 +
[[Fichier:LisaJerome.zip]]
 +
 
 +
== Debug SMTPout -> recevoir les mails ==
 +
 
 +
*out.c -> gestionCourriel() -> on s'aperçoit que le serveur écrit le mail dans /tmp/<user>/tmp mais il ne le crée pas, il faut donc le créer manuellement.
 +
*out.c -> stockeInit() -> on s'aperçoit que le serveur a besoin d'une carte des utilisateur pour fonctionner, il faut donc exécuter le serveur avec cette carte contenant nos utilisateurs :
 +
 
 +
  lisadubois : lisadubois@lamentable.site
 +
   jeromebreuvart : jeromebreuvart@lamentable.site
 +
 
 +
*On s'aperçoit aussi que le serveur ne crée pas la structure de répertoire MAILDIR, il faut donc la créer : (exemple :/tmp/lisadubois/ créer 3 dossiers "tmp", "cur" et "new")
 +
*out.c -> adresseVersUtilisateur() -> on s'aperçoit aussi qu'il est impératif que le destinataire soit passé entre chevrons dans la commande SMTP RCPT TO (exemple : RCPT TO: <jeromebreuvart@lamentable.site>).
 +
 
 +
*out.c -> *scanCarteUtilisateur() -> La fonction strcasecmp() compare les deux chaînes s1 et s2 et renvoie un entier négatif, nul, ou positif, si la chaîne s1 est respectivement inférieure, égale ou supérieure à s2.
 +
 
 +
   char *scanCarteUtilisateur(char *courriel){
 +
  int i=0;
 +
   while(adresses[i].id!=NULL){
 +
    if('''strcasecmp(adresses[i].adresse,courriel)== 0''') return adresses[i].id;
 +
    i++;
 +
    }
 +
  #ifdef DEVERMINE
 +
  printf("Fin fction *scanCarteUt\n");
 +
  #endif
 +
  return NULL;
 
   }
 
   }
  
 +
*out.c -> adresseVersUtilisateur() -> remplacer '''strlen(adresse)''' par '''strlen(destinataire)''' dans la boucle for():
 +
  char *adresseVersUtilisateur(char *destinataire){
 +
  char *adresse=malloc(strlen(destinataire));
 +
  int i,j=0;;
 +
  unsigned char mode=0;
 +
  for(i=0;i<'''strlen(destinataire)''';i++){
 +
    if(destinataire[i]=='>') break;
 +
    if(mode==1) adresse[j++]=destinataire[i];
 +
    if(destinataire[i]=='<') mode=1;
 +
  }
 +
 +
Maintenant, ça fonctionne, on peut retrouver les mails dans le répertoire new de chaque utilisateur.
 +
 +
== Tester les limites de SMTPout ==
 +
 +
*Effectuer un test en envoyant un mail à un utilisateur qui n'est pas dans la carte utilisateur carte.txt : le mail ne se stocke pas.
 +
 +
*Effectuer un test de charge sur le serveur SMTPout en stockant plusieurs mails simultanément :
 +
**Pour cela, écrire une script shell qui exécute cette commande plusieurs fois en tâche de fond (avec &), cela nous permet de tester les threads:
 +
  #!/bin/bash
 +
  for((i=1; i<=50; i++))
 +
    do
 +
      echo "Exec $i"
 +
      nc -i1 -q0 -C 193.48.57.164 25 < test1.txt &
 +
    done
 +
 +
Voir le fichier test1.txt
 +
HELO lisa
 +
MAIL FROM: <jerome.breuvart@polytech-lille.net>
 +
RCPT TO: <lisadubois@lamentable.site>
 +
DATA
 +
SUBJECT Bonjour
 +
Hi
 +
Hola
 +
.
 +
QUIT
 +
 +
Le test de charge est OK pour un stockage de 50 mails simultanés, le serveur est solide.
 +
 +
 +
*On s'aperçoit que lorsqu'on envoie un mail depuis notre boîte mail polytech-lille.net, les messages ne s'envoient pas, ne se stockent pas
 +
**En exécutant la commande strace -f, on remarque que notre boîte mail envoie la commande :
 +
***EHLO au lieu de HELO
 +
***MAIL FROM:<lisadubois@lamentable.site> au lieu de MAIL FROM: <lisadubois@lamentable.site>
 +
***RCPT TO:<lisadubois@lamentable.site> au lieu de RCPT TO: <lisadubois@lamentable.site>
 +
 +
  struct commandes cmd_smtp[]={
 +
  {"'''EHLO'''",gestion_HELO},
 +
  {"MAIL",gestion_MAIL},
 +
  {"RCPT",gestion_RCPT},
 +
  {"DATA",gestion_DATA},
 +
  {"QUIT",gestion_QUIT},
 +
  {"",NULL}
 +
  };
 +
 +
  static int gestion_MAIL(char *ligne,FILE *client,struct courriel *donnees){
 +
  char cmd[MAX_LIGNE];
 +
  char tag[MAX_LIGNE];
 +
  char arg[MAX_LIGNE];
 +
  char suite[MAX_LIGNE];
 +
  int statut=sscanf(ligne,"'''%4s %5s%s %s'''",cmd,tag,arg,suite);
 +
 +
  static int gestion_RCPT(char *ligne,FILE *client,struct courriel *donnees){
 +
  char cmd[MAX_LIGNE];
 +
  char tag[MAX_LIGNE];
 +
  char arg[MAX_LIGNE];
 +
  char suite[MAX_LIGNE];
 +
  int statut=sscanf(ligne,"'''%4s %3s%s %s'''",cmd,tag,arg,suite);
 +
 +
 +
[[Fichier:LisaJerome.zip]]
 +
 +
== Gérer une file d'attente ==
 +
 +
*un système doit être réalisé permettant au serveur SMTP sortant de mettre en file d’attente les messages non remis à destination pour cause d’erreur transitoire du serveur SMTP cible;
 +
To do...
 +
 +
== Activer la connexion chiffrée avec le serveur ==
  
 +
*les communications peuvent être chiffrées par TLS, les communication chiffrées peuvent être négociées directement sur le port 465 ;
 +
*il doit être possible de basculer sur une communication chiffrée à partir du port 25 en utilisant les commandes EHLO et STARTTLS ;
  
 +
*Télécharger la bibliothèque libssl -> '''apt-get update''' puis '''apt-get install libssl-dev'''.
  
 +
==Contrôle TP Lisa-Marie==
 +
Ajout dans cmd_smtp[] d’une ligne avec la commande HELP
 +
Ajout pour chacune des commandes, un troisième champ avec une petite description de la commande.
 +
 +
struct commandes cmd_smtp[]={
 +
{“EHLO”,gestion_HELO,”Entamer la connexion”},
 +
{“MAIL”,gestion_MAIL,”Expediteur”},
 +
{“RCPT”,gestion_RCPT,”Recepteur”},
 +
{“DATA”,gestion_DATA,”corps du mail”},
 +
{“QUIT”,gestion_QUIT,”fin de connexion”},
 +
{“HELP”,gestion_HELP,”aide”},
 +
{“”,NULL}
 +
};
  
  
 +
Dans smtp_private.h :
 +
ajout de define pour rajouter les codes de succès et d’erreur attendu :
 +
#define SUCCES_HELP_CODE 211
 +
#define SUCCES_HELP_TEXTE ERREUR_SYNTAXE
  
 +
#define ERREUR_HELP_CODE 502
 +
#define ERREUR_HELP_TEXTE ERREUR_SYNTAXE
  
-le processus de remise stocke le message dans le sous-répertoire Maildir/tmp puis le déplace dans le sous-répertoire Maildir/new, déplacement doit être fait par la primitive rename ;<br>
+
et voici la fonction principale ci dessous gestion_HELP : (avec la boucle permettant d'afficher dans le client chaque éléments du tableau"
 +
 +
static int gestion_HELP(char *ligne,FILE *client,struct courriel *donnees){
 +
char cmd[MAX_LIGNE];
 +
char suite[MAX_LIGNE];
 +
int statut=sscanf(ligne,"%4s %s",cmd,suite);
 +
 +
 +
if(statut!=1){
 +
  if(fprintf(client,"%03d %s \r\n",ERREUR_HELP_CODE,ERREUR_HELP_TEXTE)<0) return GESTION_STOP;
 +
}
 +
 +
struct commandes *p=cmd_smtp;
 +
while(p->traitement!=NULL){
 +
    fprintf(client,"%03d-Commande %s : %s\n",SUCCES_HELP_CODE,p->texte,p->aide);
 +
    p++;
 +
}
 +
if(fprintf(client,"%03d %s\r\n",SUCCES_HELP_CODE,SUCCES_HELP_TEXTE)<0) return GESTION_STOP;
 +
return GESTION_STOP;
 +
}

Version actuelle datée du 19 juin 2023 à 12:17

Commandes sur la VM

  • Se connecter au serveur : ssh root@capbreton.plil.info (glopglop)
  • Se connecter à la VM : ssh root@193.48.57.164 (glopglopglop)
  • Copier le projet dans la VM (à la racine) : scp - r LisaJerome/ root@193.48.57.164:/
  • Ouvrir le terminal en mode root : "su -" et vérifier si le port 25 est déjà occupé : ss -tpln
  • Arrêter le processus exim4 (qui utilise le port 25) : service exim4 stop (ou kill pid)
  • Compiler le projet (à la racine du projet) : make clean + make debug pour afficher les ifdef DEVERMINE
  • SMTPin (serveur d'envoi de mail)
    • Exécuter SMTPin sur l'interface loopback du port 25 avec strace strace ./SMTPin -l -j <logfile.txt> et s'y connecter en local nc localhost 25
  • SMTPout (serveur de réception de mail)
    • Exécuter SMTPout sur l'interface eth0 du port 25 strace ./SMTPout -i eth0 -u <carte.txt> et s'y connecter nc 193.48.57.164 25

Debug SMTPin

  • "mx.c" ne sert à rien (il est vide d'ailleurs), la fonction "**chercherMX" est implémentée dans "libs/Reseau/mx.c", on peut donc le supprimer.
  • "in.c" -> "gestionCourriel()", une fois les enregistrements DNS de type MX (serveurs courriel) trouvés, on doit envoyer le courriel au MX qui a la priorité la plus basse, si l'envoi échoue on retente avec le MX de priorité suivante jusqu'à ce que l'envoi soit un succès. Pourtant, dans le code, si l'envoi est un succès, on continue d'envoyer le mail aux autres MX, il faut donc rajouter l'instruction else{break;} dans le code lorsque l'envoi est un succès.
 while(*p!=NULL){
   #ifdef DEVERMINE
     printf("Serveur : %s\n",*p);
   #endif
   int ss=connexionServeur(*p,SMTP_PORT_DEFAULT);
   FILE *dialogue=fdopen(ss,"a+");
   if(dialogue==NULL){
     perror("gestionCourriel.fdopen");
     exit(EXIT_FAILURE);
   }
   char erreur[MAX_ERREUR];
   int resultat=SMTP_dialogue(dialogue,donnees,erreur,MAX_ERREUR);
   fclose(dialogue);
   if(resultat<0) ecritureJournal(JOURNIV_DEVERMINE,JOURNAL_MXHS,*p);
   // Logguer l'erreur
   else{break;}
   p++;
   }

SMTPout : Processus de stockage du mail

  • On doit stocker les courriels dans la structure de répertoire MAILDIR, composée de 3 sous-répertoires : tmp, new et cur. Le processus qui récupère les courriels place les courriels dans le répertoire tmp, le nom du fichier est généré automatiquement de manière à être unique. Une fois le message complètement reçu par le serveur de courriel (MTA), il est déplacé, par un système de link/unlink dans le répertoire new. Au passage du client de messagerie qui parcourt le répertoire new, il est à nouveau déplacé et est mis dans le répertoire cur. Le message n'a toujours pas été lu.
  • "outc.c" -> "gestionCourriel", on déplace le sous-répertoire Maildir/tmp dans le sous-repertoire Maildir/new en utilisant la primitive rename
 char fichier[MAX_CHEMIN];
 sprintf(fichier,"%s/%s/%s/%ld_%010d_%010ld",dossier,id,MAILDIR_TMP,time(NULL),pid,messages);
 FILE *f=fopen(fichier,"w");
 if(f==NULL){
   ecritureJournal(JOURNIV_ERREUR,JOURNAL_OUVERTURE,fichier);
   return;
 }
 int nb=fwrite(donnees->corps,donnees->taille,1,f);
 if(nb!=1){
   ecritureJournal(JOURNIV_ERREUR,JOURNAL_ECRITURE,fichier);
   return;
 }
 fclose(f);
 char fichier_new[MAX_CHEMIN];
 sprintf(fichier_new,"%s/%s/%s/%ld_%010d_%010ld",dossier,id,MAILDIR_NEW,time(NULL),pid,messages);
 rename(fichier, fichier_new);

Exécuter les 2 serveurs sur une interface différente du port réseau 25

Après avoir démarré notre VM (routable sur internet) sur le serveur capbreton.plil.info et y avoir copié le prog, on s'aperçoit qu'il n'est pas possible de lancer les 2 serveurs SMTPin et SMTPout en même temps car les 2 s'exécutent sur la même interface (loopback) du port 25. Il faut donc lancer les serveurs sur des interfaces diff (SMTPout : eth0, SMTPin : loopback).


  • SMPTout(args.h) => ajout d'une variable "interface" à la structure "stmp_config
struct smtp_config
 {
   char journal[CONFIG_MAX_JOURNAL];
   int niveau;
   char port[CONFIG_MAX_PORT];
   char dossier[CONFIG_MAX_CHEMIN];
   char carte[CONFIG_MAX_CHEMIN];
   unsigned char local;
   char interface[CONFIG_MAX_INTERFACE];
 };


  • SMPTout (args.c) => ajout d'un case i "interface" dans le switch
static struct option long_options[] = {
   {"local",no_argument,0,'l'},
   {"interfaces", required_argument,0, 'i'},
   {"port",required_argument,0,'p'},
   {"journal",required_argument,0,'j'},
   {"niveau",required_argument,0,'n'},
   {"dossier",required_argument,0,'d'},
   {"utilisateurs",required_argument,0,'u'},
   {0,0,0,0}
   };
 while(1){
   int c=getopt_long(argc,argv,"lp:j:n:d:u:i:",long_options,NULL);
   if(c<0) break;
   switch(c){
     case 'l':
       config->local=1;
       break;
     case 'i':
     strncpy(config->interface,optarg,sizeof(config->interface)-1);
     break;
     case 'p':
       strncpy(config->port,optarg,sizeof(config->port)-1);
       break;
     case 'j':
       strncpy(config->journal,optarg,sizeof(config->journal)-1);
       break;
     case 'd':
       strncpy(config->dossier,optarg,sizeof(config->dossier)-1);
       break;
     case 'u':
       strncpy(config->carte,optarg,sizeof(config->carte)-1);
       break;
     case 'n':
       config->niveau=atoi(optarg);
       break;
     default:
       afficheSyntaxe(argv[0]);
       break;
     }
   }


  • SMPTout (out.c) ==> main function => récupérer l'interface passée en paramètre
 char *interface=NULL;
 struct smtp_config config;
 analyseArguments(argc,argv,&config);
 if(config.journal[0]!='\0') creationJournal(config.journal);
 niveauJournal(config.niveau);
 ecritureJournal(JOURNIV_INFO,JOURNAL_DEBUT);
 if(config.port[0]=='\0') strcpy(config.port,SMTP_PORT_DEFAULT);
 if(config.local==1) interface=SMTP_LOCAL_INTERFACE;
 if(config.interface!=NULL) interface=config.interface;

Debug SMTPin -> envoyer les mails

Malgré le fait qu'on ait trouvé le serveur sur lequel envoyer notre mail et qu'on se soit bien connecté à celui-ci via socket grâce à la fonction "connexionserveur" dans "/libs/Reseau/reseau.c, on remarque que les mails ne s'envoient pas. On debug donc l'envoi du message.

  • libs/SMTP/smtp.c -> ajout DEBUG :
 static int retour_generique(FILE *dialogue,int succes,char *erreur,int taille){
   char ligne[MAX_LIGNE];
   #ifdef DEVERMINE
     printf("SMTP -> retour generique\n");
   #endif
   if(fgets(ligne,MAX_LIGNE,dialogue)==NULL) return -1;
   ligne[MAX_LIGNE-1]='\0';
   int code;
   int statut=sscanf(ligne,"%d",&code);
   #ifdef DEVERMINE
     printf("statut =%d\n", statut);
     printf("succes =%d\n", succes);
     printf("code =%d\n", code);
   #endif
   if(statut==1 && code!=succes){
     strncpy(erreur,ligne,taille-1);
   #ifdef DEVERMINE
     printf("retour_generique ERROR\n");
   #endif
   }
 return (statut==1 && code==succes)?0:-1;
 }

Ce qui nous donne les informations de debug suivantes:

 #0 [50/woody.escaut.net]
 Serveur : woody.escaut.net
 SMTP -> dialogue_connexion
   SMTP -> retour generique
   statut =1
   succes =250
   code =220
 SMTP -> dialogue_HELO
   SMTP -> retour generique
   statut =1
   succes =250
   code =250
 SMTP -> dialogue_MAIL
   SMTP -> retour generique
   statut =1
   succes =250
   code =250
 SMTP -> dialogue_RCPT
   SMTP -> retour generique
   statut =1
   succes =250
   code =250
 SMTP -> dialogue_DATA
   SMTP -> retour generique
   statut =1
   succes =250
   code =354
 SMTP -> dialogue_QUIT
   SMTP -> retour_generique
   statut =1
   succes =221
   code =250

On remarque donc que la fonction "dialogue_connexion" attend un code de succès 220 au lieu de 250, "dialogue_DATA" 354 au lieu de 250 et "dialogue_QUIT" 250 au lieu de 221.

  • On modifie alors les valeurs des variables globales définies dans "smtp_private.h":
 #define ACCUEIL_CODE            220
 ...
 #define SUCCES_DATA_CODE        250
 #define SUCCES_DATA_TEXTE       "Accepted"
 #define SUCCES_QUIT_CODE        250
 #define SUCCES_QUIT_TEXTE       "Bye!"
  • ainsi que les noms des variables globales dans "smtp.c":
 static int dialogue_DATA(FILE *dialogue,char *corps,char *erreur,int taille){
   #ifdef DEVERMINE
     printf("SMTP -> dialogue_DATA\n");
   #endif
   if(fprintf(dialogue,"DATA\r\n")<0) return -1;
   if(fprintf(dialogue,corps)<0) return -1;
   if(fprintf(dialogue,".\r\n")<0) return -1;
   return retour_generique(dialogue,CONTINUE_DATA_CODE,erreur,taille);
 }


Je réussis désormais à envoyer des mails sur @polytech_lille.net mais pas sur @gmail.com (le prob se situe au niveau des MX).


+ modifier fgets dans libs/SMTP.c, gérer la gestion d'une commande à deux lignes : si présence d'un tiret dans la quatrième colonne, il faut prendre en compte la commande complète

Tester les limites de SMTPin

  • Tester SMTPin avec des commandes (HELO, MAIL FROM, RCPT TO, DATA et QUIT) erronées et dans le mauvais ordre.
    • SMTPin est solide, il répond aux commandes erronées SYNTAX ERROR et "503 Need MAIL and RCPT first" si mauvais ordre des commandes.


  • Effectuer un test de charge sur le serveur SMTPin en envoyant plusieurs mails en même temps :
    • Pour cela se connecter au serveur en chargeant un fichier texte contenant les commandes SMTP à entrer au serveur : nc -i1 -q0 -C localhost 25 < test1.txt, voir test1.txt :
 HELO jj
 MAIL FROM: <goudale@lamentable.site>
 RCPT TO: <jerome.breuvart@polytech-lille.net>
 DATA
 SUBJECT Bonjour
 Hi
 Hola
 .
 QUIT
    • Ecrire un script shell qui exécute cette commande plusieurs fois en tâche de fond (avec &), cela nous permet de tester les threads:
 #!/bin/bash
 for((i=1; i<=10; i++))
     do
         echo "Exec $i"
         nc -i1 -q0 -C localhost 25 < test1.txt &
 done


Fichier:LisaJerome.zip

Debug SMTPout -> recevoir les mails

  • out.c -> gestionCourriel() -> on s'aperçoit que le serveur écrit le mail dans /tmp/<user>/tmp mais il ne le crée pas, il faut donc le créer manuellement.
  • out.c -> stockeInit() -> on s'aperçoit que le serveur a besoin d'une carte des utilisateur pour fonctionner, il faut donc exécuter le serveur avec cette carte contenant nos utilisateurs :
 lisadubois : lisadubois@lamentable.site
 jeromebreuvart : jeromebreuvart@lamentable.site
  • On s'aperçoit aussi que le serveur ne crée pas la structure de répertoire MAILDIR, il faut donc la créer : (exemple :/tmp/lisadubois/ créer 3 dossiers "tmp", "cur" et "new")
  • out.c -> adresseVersUtilisateur() -> on s'aperçoit aussi qu'il est impératif que le destinataire soit passé entre chevrons dans la commande SMTP RCPT TO (exemple : RCPT TO: <jeromebreuvart@lamentable.site>).
  • out.c -> *scanCarteUtilisateur() -> La fonction strcasecmp() compare les deux chaînes s1 et s2 et renvoie un entier négatif, nul, ou positif, si la chaîne s1 est respectivement inférieure, égale ou supérieure à s2.
 char *scanCarteUtilisateur(char *courriel){
 int i=0;
 while(adresses[i].id!=NULL){
   if(strcasecmp(adresses[i].adresse,courriel)== 0) return adresses[i].id;
   i++;
   }
 #ifdef DEVERMINE
 printf("Fin fction *scanCarteUt\n");
 #endif
 return NULL;
 }
  • out.c -> adresseVersUtilisateur() -> remplacer strlen(adresse) par strlen(destinataire) dans la boucle for():
 char *adresseVersUtilisateur(char *destinataire){
 char *adresse=malloc(strlen(destinataire));
 int i,j=0;;
 unsigned char mode=0;
 for(i=0;i<strlen(destinataire);i++){
   if(destinataire[i]=='>') break;
   if(mode==1) adresse[j++]=destinataire[i];
   if(destinataire[i]=='<') mode=1;
 }

Maintenant, ça fonctionne, on peut retrouver les mails dans le répertoire new de chaque utilisateur.

Tester les limites de SMTPout

  • Effectuer un test en envoyant un mail à un utilisateur qui n'est pas dans la carte utilisateur carte.txt : le mail ne se stocke pas.
  • Effectuer un test de charge sur le serveur SMTPout en stockant plusieurs mails simultanément :
    • Pour cela, écrire une script shell qui exécute cette commande plusieurs fois en tâche de fond (avec &), cela nous permet de tester les threads:
 #!/bin/bash
  for((i=1; i<=50; i++))
    do
      echo "Exec $i"
      nc -i1 -q0 -C 193.48.57.164 25 < test1.txt &
    done

Voir le fichier test1.txt

HELO lisa
MAIL FROM: <jerome.breuvart@polytech-lille.net>
RCPT TO: <lisadubois@lamentable.site>
DATA
SUBJECT Bonjour
Hi
Hola
.
QUIT

Le test de charge est OK pour un stockage de 50 mails simultanés, le serveur est solide.


  • On s'aperçoit que lorsqu'on envoie un mail depuis notre boîte mail polytech-lille.net, les messages ne s'envoient pas, ne se stockent pas
    • En exécutant la commande strace -f, on remarque que notre boîte mail envoie la commande :
      • EHLO au lieu de HELO
      • MAIL FROM:<lisadubois@lamentable.site> au lieu de MAIL FROM: <lisadubois@lamentable.site>
      • RCPT TO:<lisadubois@lamentable.site> au lieu de RCPT TO: <lisadubois@lamentable.site>
 struct commandes cmd_smtp[]={
 {"EHLO",gestion_HELO},
 {"MAIL",gestion_MAIL},
 {"RCPT",gestion_RCPT},
 {"DATA",gestion_DATA},
 {"QUIT",gestion_QUIT},
 {"",NULL}
 };
 static int gestion_MAIL(char *ligne,FILE *client,struct courriel *donnees){
 char cmd[MAX_LIGNE];
 char tag[MAX_LIGNE];
 char arg[MAX_LIGNE];
 char suite[MAX_LIGNE];
 int statut=sscanf(ligne,"%4s %5s%s %s",cmd,tag,arg,suite);
 static int gestion_RCPT(char *ligne,FILE *client,struct courriel *donnees){
 char cmd[MAX_LIGNE];
 char tag[MAX_LIGNE];
 char arg[MAX_LIGNE];
 char suite[MAX_LIGNE];
 int statut=sscanf(ligne,"%4s %3s%s %s",cmd,tag,arg,suite);


Fichier:LisaJerome.zip

Gérer une file d'attente

  • un système doit être réalisé permettant au serveur SMTP sortant de mettre en file d’attente les messages non remis à destination pour cause d’erreur transitoire du serveur SMTP cible;

To do...

Activer la connexion chiffrée avec le serveur

  • les communications peuvent être chiffrées par TLS, les communication chiffrées peuvent être négociées directement sur le port 465 ;
  • il doit être possible de basculer sur une communication chiffrée à partir du port 25 en utilisant les commandes EHLO et STARTTLS ;
  • Télécharger la bibliothèque libssl -> apt-get update puis apt-get install libssl-dev.

Contrôle TP Lisa-Marie

Ajout dans cmd_smtp[] d’une ligne avec la commande HELP Ajout pour chacune des commandes, un troisième champ avec une petite description de la commande.

struct commandes cmd_smtp[]={

{“EHLO”,gestion_HELO,”Entamer la connexion”},
{“MAIL”,gestion_MAIL,”Expediteur”},
{“RCPT”,gestion_RCPT,”Recepteur”},
{“DATA”,gestion_DATA,”corps du mail”},
{“QUIT”,gestion_QUIT,”fin de connexion”},
{“HELP”,gestion_HELP,”aide”},
{“”,NULL}
};


Dans smtp_private.h : ajout de define pour rajouter les codes de succès et d’erreur attendu :

#define SUCCES_HELP_CODE	211
#define SUCCES_HELP_TEXTE ERREUR_SYNTAXE
#define ERREUR_HELP_CODE	502
#define ERREUR_HELP_TEXTE ERREUR_SYNTAXE

et voici la fonction principale ci dessous gestion_HELP : (avec la boucle permettant d'afficher dans le client chaque éléments du tableau"

static int gestion_HELP(char *ligne,FILE *client,struct courriel *donnees){

char cmd[MAX_LIGNE];
char suite[MAX_LIGNE];
int statut=sscanf(ligne,"%4s %s",cmd,suite);


if(statut!=1){
  if(fprintf(client,"%03d %s \r\n",ERREUR_HELP_CODE,ERREUR_HELP_TEXTE)<0) return GESTION_STOP;
}

struct commandes *p=cmd_smtp;
while(p->traitement!=NULL){
    fprintf(client,"%03d-Commande %s : %s\n",SUCCES_HELP_CODE,p->texte,p->aide);
    p++;
}
if(fprintf(client,"%03d %s\r\n",SUCCES_HELP_CODE,SUCCES_HELP_TEXTE)<0) return GESTION_STOP;
return GESTION_STOP;
}