Entêtes dans les messages Usenet

Etude portant sur messages issus de différents newsgroups que je lis. Exportés en format #! rnews format, j'ai écrit un petit programe en perl pour analyser les headers que l'on rencontre et en effectuer des statistiques. Ce format est en fait un fichier texte ou les différents messages sont séparés par une ligne commencant par #! rnews et suivi d'un référence numérique. L'analyse est donc assez simple, les lignes suivant celle-ci forment les headers jusqu'a ce que l'on rencontre une ligne vide qui sert de séparateur entre les headers et le corps du message.

Mon implémentation en perl effectue la recherche d'occurences des différents headers et en stocke les trois exemples différents. Le tout est produit en sortie en une table en html directement exploitable:

$count = 0;
while ($file = glob("news/*")) {
  open (INFILE,"< $file");
  $inhead = 0;
  while ($ligne = <INFILE>) {
    if (index($ligne,'#! rnews')== 0) {
      $count++;
      $inhead = 1;
    } elsif (($inhead == 1) and ($ligne eq "\n")) {
      $inhead = 0;
    } elsif (($inhead == 1) and (index ($ligne, ":")>2)) {
      # process
      ($typehead,$value) = split (/: /, $ligne);
      $dep{$typehead}++;
      chomp($value);
      $value =~ s/</&lt;/gi;
      $value =~ s/>/&gt;/gi;
      unless ($expl{$typehead}[1]) {
        $expl{$typehead}[1] = $value;
      } elsif (!($expl{$typehead}[2]) and ($expl{$typehead}[1] ne $value)) {
        $expl{$typehead}[2] = $value;
      } elsif (!($expl{$typehead}[3]) and ($expl{$typehead}[1] ne $value) and ($expl{$typehead}[2] ne $value)) {
        $expl{$typehead}[3] = $value;
      }
    }
  }
}
print "Process on $count messages\n\n";
print "<table border=1>";
foreach (sort {$dep{$b} <=> $dep{$a}} keys %dep) {
  print "<tr><td>$_</td><td>$dep{$_}</td><td><ul>\n";
  for $i (1..3){
    print "<li>$expl{$_}[$i]</li>\n" if ($expl{$_}[$i]);
  }
  print "</ul></td></tr>\n";
}
print "</table>";
exit(0);

J'obtiens les résultats suivants, classés par ordre de fréquence d'apparition:

Process on 2176 messages

menu principal