Évaluer l'IA générative pour le conseil agricole : l'expérimentation AgroEcologIA

En amont de l’atelier, les spécialistes ont constitué un corpus de 116 documents métiers (fiches, rapports, publications) et ont écrit 18 questions techniques complexes, dont douze ont été retenues et posées à 7 modèles de langages généralistes différents (ex. ChatGPT, Claude…). Deux modalités ont été testées, le modèle répondant soit « seul », soit « ancré au corpus ». Cela a généré 168 (12*2*7) réponses qui ont été évaluées en aveugle et de manière anonyme par les participants selon 5 critères : pertinence, clarté, actionnabilité, confiance, longueur.

L’atelier poursuivait deux objectifs. Le premier était de faire évaluer par les spécialistes la qualité des réponses des différents modèles, pour documenter leur intérêt dans le contexte et l’intérêt de l’ancrage au corpus documentaire. Le second était d'étudier la possibilité d'utiliser des modèles plus petits, consommant moins d'énergie, sans dégrader la qualité des réponses.

L'expérimentation confirme ce dernier point. Il n'est pas nécessaire de recourir aux plus gros modèles du marché pour le conseil agricole : un modèle compact (ici Mistral Small 4) couplé à une base documentaire métier offre une qualité équivalente tout en réduisant la latence de la réponse et l'empreinte énergétique.

Le dispositif d’évaluation demande encore d'être consolidé et testé sur d’autres panels. Des travaux futurs viseront entre autres à tester des modèles encore plus petits pour identifier le seuil minimal sans perte de qualité.

Plus d'informations sur le projet : https://agroecologia.cirad.fr/