Aujourd'hui nous avons testé les réseaux qui avaient été entraînés depuis le dernier cours.
Avec des caractères différents dans chaque réseau, le graphique de taux de réussite ressemble à ceci:
Nous avons donc dessiné des caractères additionnels pour ceux qui en avaient moins et dont le taux de réussite était trop bas. Par exemple, les X et les U. Nous avons donc maintenant un total de 2400 caractères qui serviront à entraîné les réseaux.
Nous avons également changé l'algorithme de redimensionnement pour les étirer uniquement en hauteur plutôt qu'en largeur, histoire d'améliorer le heat map des caractères comme Z, J et W.
Il reste donc à entraîner les réseaux de nouveau et comparer les résultats.
Friday, September 29, 2017
Wednesday, September 27, 2017
Semaine 6 Cours 1
Salut la gang,
Aujourd'hui nous avons testé les réseaux de neurones après les avoir entraînés toute la fin de semaine.
Voici un graphique du taux de réussite selon le temps:
Sur les 2077 caractères dessinés, le réseaux en reconnaissait 86.33%. Par contre, lors du testage, nous avons constaté qu'il y a eu beaucoup de overfitting, c'est-à-dire que le réseau performe bien sur les caractères qu'il connait, mais pas des nouveaux que l'on dessine à l'écran. Il n'avait pas de misère à détecter correctement des 7 ou des B, mais certains caractères n'arrivaient pas à un niveau de détection satisfaisant. Par exemple, le K faisait ombre au X à cause de leur similarité dans les 2 barres diagonales.
Nous avons donc décidé de changer les sous-réseaux de sorte à séparer les caractères similaires pour qu'au moins les suggestions de caractères détectés se ressembleront (0, O, D, etc) au lieu d'en avoir un qui "bloque" les autres. Nous estimons que le taux de réussite n'attendrait pas 86% comme précédemment, mais le résultat devrait être plus acceptable en suggérant le bon caractère en 2eme ou 3eme place.
Aujourd'hui nous avons testé les réseaux de neurones après les avoir entraînés toute la fin de semaine.
Voici un graphique du taux de réussite selon le temps:
Sur les 2077 caractères dessinés, le réseaux en reconnaissait 86.33%. Par contre, lors du testage, nous avons constaté qu'il y a eu beaucoup de overfitting, c'est-à-dire que le réseau performe bien sur les caractères qu'il connait, mais pas des nouveaux que l'on dessine à l'écran. Il n'avait pas de misère à détecter correctement des 7 ou des B, mais certains caractères n'arrivaient pas à un niveau de détection satisfaisant. Par exemple, le K faisait ombre au X à cause de leur similarité dans les 2 barres diagonales.
Nous avons donc décidé de changer les sous-réseaux de sorte à séparer les caractères similaires pour qu'au moins les suggestions de caractères détectés se ressembleront (0, O, D, etc) au lieu d'en avoir un qui "bloque" les autres. Nous estimons que le taux de réussite n'attendrait pas 86% comme précédemment, mais le résultat devrait être plus acceptable en suggérant le bon caractère en 2eme ou 3eme place.
Friday, September 22, 2017
Semaine 5 Cours 2
Aujourd'hui, nous avons amélioré les 2077 caractères en les redimensionnant et en les centrant pour que le réseau de neurones puissent reconnaître un caractère peu importe où il est dessiné et quelle taille il a.
Par exemple, voici un heatmap de la valeur moyenne de chaque pixel pour les caractères N dans notre échantillon:
Par exemple, voici un heatmap de la valeur moyenne de chaque pixel pour les caractères N dans notre échantillon:
Et voici une fois redimensionné et centré:
On voit que les pixels plus foncés représentent une meilleure tendance pour la forme du N
Voici le P avant et après:
Par contre, ce processus a engendré quelques faiblesses, notamment au niveau des caractères Z, J et W:
Cette faiblesse est due au fait que ces caractères ont plusieurs styles (largeur et hauteur) possibles donc la moyenne n'est pas aussi forte que les I ou les T qui se retrouvent généralement au même endroit après le processus de redimensionnement et recentrage:
Wednesday, September 20, 2017
Semaine 5 Cours 1
Aujourd'hui nous avons continué d'essayer d'entraîner nos réseaux de neurones selon une tactique un peu différente: Chaque réseau a maintenant un caractère désignant que les pixels en entré ne sont pas supposés faire partie du réseau. Nous avons essayé d'entraîner chaque réseau un à un et nous avons comparé les résultats selon les échantillons de caractères pour déterminer le taux de réussite global. Ce taux n'a pas dépassé 55%, mais dans 14% des cas, le 2ème caractère détecté était le bon, et dans 7.8% des cas, c'était le 3ème. 10% des caractères entrés n'était pas dans les 7 caractères proposés et donc sont considérés comme des échecs du réseau.
Friday, September 15, 2017
Semaine 4 Cours 2
Aujourd'hui nous avons continué l'expérimentation en essayant notre idée de cerveau central tel que décrit au dernier cours. Les résultats ont été peu conclusifs, mais nous gardons l'idée de séparer en plusieurs cerveaux, de sorte qu'on n'aura qu'à passer le caractère dans tous les cerveaux pour afficher les meilleures correspondances. Nous avons essayé de regrouper les caractères similaires ensemble et ensuite des caractères différents. Il reste à entraîner les cerveaux plus amplement et ensuite intégrer la détection directement dans l'interface graphique.
Wednesday, September 13, 2017
Semaine 4 Cours 1
Aujourd'hui nous avons continué des tests d'entraînement avec un échantillon de 1600 caractères dessinés ayant une dimension de 16 pixels par 16 pixels.
En mettant tous les caractères ensemble, le réseau a beaucoup de difficulté à apprendre les particularités de chaque caractère. Par contre, en limitant l'entraînement aux caractères A, B et C, le réseau a bien été entraîné et semble bien apprendre la différence et est capable de détecter d'autres A, B, ou C qu'il n'a jamais vu précédemment.
Donc, nous pensons diviser l'entraînement sur plusieurs réseaux qui se limiteront à quelques caractères chacun, avec un réseau central qui s'occupera de rediriger la combinaison de pixel vers le bon réseau.
En mettant tous les caractères ensemble, le réseau a beaucoup de difficulté à apprendre les particularités de chaque caractère. Par contre, en limitant l'entraînement aux caractères A, B et C, le réseau a bien été entraîné et semble bien apprendre la différence et est capable de détecter d'autres A, B, ou C qu'il n'a jamais vu précédemment.
Donc, nous pensons diviser l'entraînement sur plusieurs réseaux qui se limiteront à quelques caractères chacun, avec un réseau central qui s'occupera de rediriger la combinaison de pixel vers le bon réseau.
Friday, September 8, 2017
Semaine 3 Cours 2
Aujourd'hui nous avons fait d'autres tests avec pybrain pour essayer d'entraîner notre réseau et les résultats ont encore une fois été non conclusifs. Le processus de training est lent et victime d'overfitting, c'est-à-dire que le réseau s'entraîne uniquement sur les lettres qu'il connaît déjà au lieu de reconnaître les patterns tel que voulu.
Nous avons pris la décision de réduire la résolution de chaque lettre à 16x16 pixels. De cette façon, le nombre d'inputs dans le réseau de neurones a été coupé en 4.
L'interface ressemble donc à ceci pour l'instant:
Nous avons pris la décision de réduire la résolution de chaque lettre à 16x16 pixels. De cette façon, le nombre d'inputs dans le réseau de neurones a été coupé en 4.
L'interface ressemble donc à ceci pour l'instant:
Subscribe to:
Posts (Atom)











