Friday, October 27, 2017

Semaine 9 Cours 2

Aujourd'hui nous avons complété la classe CharacterReader et avons continué de travailler sur l'affichage des caractères détectés.

Également, nous avons implémenté le redimensionnement et recentrage des caractères dessinés, mais cette fois-ci de façon discrète. De cette façon, l'utilisateur peut dessiner son caractère là où il le veut et à la taille qu'il veut et les pixels seront discrètement redimensionnés avant de passer dans CharacterReader:


Il restera donc à revisiter l'architecture des réseaux tel que discuté dans un post précédent, et à trouver comment afficher la certitude du réseau.

Wednesday, October 25, 2017

Semaine 9 Cours 1

Aujourd'hui, nous avons continué l'implémentation de l'interface au niveau des choix de résultats. Nous avons également continué l'entraînement des réseaux, mais nous avons perdu beaucoup de temps à configurer mon nouvel ordinateur (Dominic J) avec Python, Numpy, etc.

Friday, October 20, 2017

Semaine 8 Cours 2

Aujourd'hui nous avons travaillé en parallel sur 2 aspects: la classe CharacterReader et la partie de l'interface qui s'occupe de proposer des résultats:


Les 6 rectangles vont contenir les choix possibles et leur pourcentage de certitude. Aussi, il faudra trouver comment convertir la sortie du réseau de neurone (-1 à 1) en pourcentage de certitude.

De l'autre côté, la classe CharacterReader s'occupe de passer la liste de pixels au réseau central pour déterminer quel sous-réseau il faut utiliser. Après quelques tests, nous nous sommes aperçus qu'environ 10% (37 / 360) des caractères inconnus au réseaux ne donnent aucun résultat satisfaisant, c'est-à-dire que le caractère avec le meilleur score de tous les réseaux est en dessous d'un certain seuil qui est à -0.5 pour l'instant. Lors de ces cas, l'application retournera un message indiquant qu'aucun caractère n'a pu être détecté et de réessayer en dessinant mieux que ça.

Ensuite nous avons utilisé la classe CharacterReader pour analyser les résultats donnés par le réseau central. Nous avons remarqué que le caractère 8 se fait souvent confondre avec 9, et Q se fait confondre avec R, et M avec H. Non seulement le réseau central a redirigé ces caractères vers le mauvais réseau à plusieurs occasions, le mauvais réseau a donné des forts niveaux de certitude malgré avoir été entraînés pour donner des niveaux plus bas. Cela suggère qu'il faudrait entraîner de nouveaux réseaux en regroupant ces caractères pour améliorer le taux de succès.

Wednesday, October 18, 2017

Semaine 8 Cours 1

Lors de la semaine de relâche, nous avons poursuivi nos tests et nous sommes arrivés à la conclusion que pybrains n'est pas la meilleure librairie d'intelligence artificielle. Nous avons trouvé la librairie nommée Neurolab qui entraîne mieux les réseaux.

Nous avons également revisité l'idée qu'on avait eu au tout début, de regrouper les caractères similaires dans des réseaux distincts, avec un autre réseau de neurones qui a comme tâche de rediriger vers le bon réseau. De plus, les réseaux de neurones vont maintenant de -1 à 1 (au lieu de 0 à 1) plus le résultat est haut, plus le réseau est certain qu'il s'agit d'un certain caractère.

Nous avons concocté un petit script qui compare les caractères entre eux pour afficher lesquels se ressemblent le plus:

Il s'agit d'une échelle relative de 0 à 1. Plus le chiffre est bas, plus les caractères se ressemblent.

Lors de l'entraînement, par exemple dans le réseau qui contient les caractères 1, I, J, 3, B, 8, les échantillons de 3 seront entraînés en tant que -1, -1, -1, 1, -1, -1. De cette façon, lorsqu'on lui donne un 3 qu'il n'a jamais vu précédemment, le réseau devrait donner quelque chose s'y rapprochant, par exemple -0.99, -0.96, -0.97, 0.98, -0.94, -0.98. On déduit donc qu'il s'agit d'un 3 car c'est le caractère avec le meilleur « score ». Le même principe s'applique lors de l'entraînement du réseau central, on se sert du meilleur score pour déduire quel réseau on doit cibler.

De plus, les réseaux ont été entraînés avec -1, -1, -1, -1, -1, -1 pour les caractères qui n'appartiennent pas à leur réseau. De cette façon, si jamais le réseau central se trompe, on peut en déduire et appliquer une procédure de « backup » et lancer la série de pixels dans tous les réseaux et trouver celui avec le meilleur score.

Nous travaillons également en parallel sur l'interface graphique de l'application, pour afficher les prédictions de caractères et le niveau de certitude des réseaux.

Friday, October 6, 2017

Semaine 7 Cours 2

Aujourd'hui nous avons continué les expérimentations des entraînements. Nous avons entraîné un réseau avec deux couches cachées au lieu d'une seule et les résultats semblent plus prometteurs qu'avant, même s'ils restent insatisfaisants.

Par exemple voici les distributions des résultats connus et inconnus dans le cas d'un réseau avec 2 couches de 6 neurones chaque:





En entraînant un réseaux avec 2 couches de 10 neurones chaque, les résultats sont un peu meilleures sur les 2 plans:


Nous avons également dessiné un peu plus de caractères (5 de chaque) qui serviront à juger le succès des réseaux.

Il reste donc encore à tester différentes configurations de réseaux, voire peut-être même essayer une autre librairie que PyBrain pour arriver au résultat voulu.

Wednesday, October 4, 2017

Semaine 7 Cours 1

Cette semaine nous avons continué les expérimentations avec les différents styles de réseaux de neurone. Le problème majeur est que les réseaux ont besoin d'être entraînés pendant plusieurs heures avant de pouvoir qualifier si c'est un succès ou non.

Nous comptons automatiser un petit peu plus le processus de benchmarking établi au dernier cours (avec le graphique) en dessinant des caractères supplémentaires qui ne seront pas utilisés dans l'entraînement des réseaux. De cette façon, lors des tests nous pourrons directement passé des caractères que le réseau n'a jamais vu pour pouvoir juger sa performance, sans avoir à toujours dessiner des caractères individuellement. Cette technique nous sauvera beaucoup de temps de testage de réseaux.

Il reste plusieurs configurations de réseaux à tester, en espérant trouver la bonne un jour!