Grand établissement public d'enseignement supérieur, pôle de recherche reconnu, élément fondateur de l'écosystème grenoblois : Grenoble INP, l'institut d'ingénierie et de management de l’Université Grenoble Alpes (UGA), occupe une place de premier plan dans la communauté scientifique et industrielle.
Grenoble INP - UGA est membre de réseaux internationaux de formation et recherche en ingénierie et management.
Il est reconnu dans les classements nationaux et internationaux.
TIMA (Techniques de l'Informatique et de la Microélectronique pour l'Architecture des systèmes intégrés) est un laboratoire de recherche commun public de Grenoble INP - UGA, de l'Université Grenoble Alpes, et du CNRS. TIMA est un laboratoire multinational, avec des membres et des stagiaires en provenance de nombreux pays étrangers.
Les thèmes de recherche de TIMA couvrent la spécification, la conception, la vérification, les tests, les outils de CAO et les méthodes de conception pour les systèmes intégrés, depuis les composants analogiques et numériques à une extrémité du spectre jusqu'aux systèmes multiprocesseurs sur puce avec leur système d'exploitation de base à l'autre extrémité.
Site internet : https://tima.univ-grenoble-alpes.fr/
Are you interested in this job offer? Please click on the following link to discover the position description in English!
https://euraxess.ec.europa.eu/jobs/355873
Doctorant-e en implémentations matérielles efficaces pour réseaux de neurones avec quantification hétérogène à l'intérieur des couches.
Les réseaux de neurones consistent le plus souvent à effectuer un grand nombre de multiplications matrice-vecteur et matrice-matrice. La conception de circuits d'accélération matérielle pour les réseaux de neurones s'intéresse donc principalement à l'accélération de ces opérations matricielles. Les matrices considérées sont souvent de grande taille, chacune avec des millions voire dizaines de millions de paramètres. La taille des mémoires de paramètres et la bande passante effectivement disponible avec les unités de calcul sont des paramètres de conception de première importance.
Il a déjà été proposé de compresser les paramètres en mémoire afin de réduire les besoins en taille de mémoire et en bande passante. Cela exploite généralement la proportion de paramètres nuls (sparsité) dans le contenu des matrices de paramètres. La généralisation de cette considération est la quantification : cela consiste à évaluer le nombre minimum de bits d'information nécessaires pour représenter chaque paramètre d'un modèle de réseau de neurones donné. Pour l'inférence spécifiquement, des quantifications aussi basses que 8 bits sont maintenant relativement fréquentes.
Des quantifications plus extrêmes à 2 bits, ternaire voir même binaire ont été évaluées avec succès bien que l'impact sur la qualité des résultats soit non négligeable. Le but des travaux est d'augmenter l'efficacité des circuits dédiés à l'opération d'inférence en Intelligence Artificielle. La direction explorée est la quantification hétérogène à l'intérieur d'une couche de neurones. Des précédents travaux ont montré que, dans un étage donné d'un réseau, seule une petite fraction des paramètres a réellement besoin d'une quantification significative (4 ou 8 bits), la grande majorité des valeurs pouvant être fortement quantifiée (1 ou 2 bits).
Les travaux consistent à :
- étudier la répartition des différentes quantifications et leur impact théorique sur la qualité des résultats
- étudier comment transformer les couches de neurones de façon à permettre de distribuer les calculs sur des unités de calcul hétérogènes
- concevoir les implémentations matérielles efficaces qui effectuent une distribution dynamique des opérations
hétérogènes, en temps réel,
- étudier les compromis entre efficacité des implémentations matérielles et qualité des résultats.
Des preuves de concept d'implémentations seront réalisées sur plateforme FPGA.
Compétences requises :
• Solides connaissances en architectures de circuits numériques • Bonnes aptitudes avec les langages RTL (Verilog ou VHDL), VHDL serait un plus
• Bonnes aptitudes en programmation, langages C / C++ / Python, … Compétences appréciées :
• Connaissances en architectures de réseaux de neurones
• Connaissances en codage et compression de l'information, voire traitement du signal
• Expérience avec la manipulation des flot d'entraînement des réseaux de neurones La maîtrise de la langue anglaise Anglaise (notamment à l'écrit) est vivement conseillée.
La maîtrise de la langue française est un plus.
Un intérêt dans les technologies de la microélectronique et la résolution de problèmes sera apprécié.