Deux nouveaux Benchmarks lancés par l’ECE
Face à la multiplication des grands modèles de langage comme GPT-4, Mixtral 8x22B et Claude 3, l’ECE a développé des benchmarks spécifiques pour aider les entreprises à évaluer ces modèles.
Deux Types de Benchmarks :
- Capacités Mathématiques
- Performance Sociale et Environnementale
Les objectifs de ces Benchmarks :
- Neutralité et Confiance : Offrir des évaluations impartiales et fiables.
- Qualité des Données : Assurer la pertinence des questions et réponses pour des évaluations justes.
- Transparence Environnementale : Pénaliser les entreprises non transparentes sur l’impact énergétique de leurs modèles.
Ressources et Développement :
- Les benchmarks seront disponibles via l’Intelligence Lab de l’ECE, centre de recherche et d’innovation sur l’intelligence artificielle, espace de travail dédié à nos étudiants et nos entreprises partenaires, fonctionnel dès septembre prochain au sein de notre établissement
En positionnant l’ECE comme un acteur clé dans l’évaluation des LLM, nous visons à fournir des outils de pointe à nos étudiants et partenaires, tout en promouvant l’excellence académique et l’innovation.
