[Google Recherche] L’evaluation de la recherche chez Google

Source : Official Google Blog

Cette série de billets a eu pour objectif de vous décrire les différentes façons dont nous tentons d’améliorer la recherche comme le classement et l’interface du moteur. Je vais à présent expliquer l’évaluation de la recherche. En résumé, l’évaluation est une procédure qui nous permet de mesurer la qualité de nos résultats de recherche et de l’expérience d’utilisation de notre service.

Permettez-moi tout d’abord de me présenter. Je suis Scott Huffman, directeur des ingénieurs responsables de l’évaluation, à la tête d’une équipe talentueuse constituée de statisticiens et d’ingénieurs en logiciel. Je travaille dans ce département depuis 2005, et ait toujours baigné dans le milieu de la recherche dans les dernières quarante années.

Lorsque je fais passé des entretiens à des personnes intéressées pour travailler dans l’équipe d’évaluation, j’utilise souvent ce scénario pour décrire ce que nous faisons : Imaginez un ingénieur travaillant sur le classement surexcité dans votre bureau. « J’ai une super idée pour améliorer nos résultats de recherche ! » s’exclame-t-elle. « C’est très simple : dès que le titre d’une page commence par la lettre « T », on la fait monter de trois places dans les résultats ». Cet ingénieur s’est bien sûr armée de plusieurs exemples dans lesquels cette idée apporte en effet une amélioration significative aux résultats.

Afin de pouvoir faire face à ces problématiques, nous avons plusieurs méthodes d’évaluation et de données à notre disposition :

• Evaluateurs humains. Google emploie des évaluateurs dans beaucoup de pays et de langues. Ces évaluateurs sont minitieusement formés et ont pour tâche d’évaluer la qualité des résultats de recherche selon plusieurs axes. Nous leur montrons par exemple un résultat, et ils doivent lui attribuer une note selon diverses critères.

• Expérimentations. Nous organisons également des expérimentations, durant lesquelles une faible fraction d’utilisateurs se retrouvent confrontés à des approches alternatives. Ben Gomes vous a expliqué comment nous utilisions ces expérimentations pour tester les éléments de l’interface dans son précédent billet. Grâce à ces tests, nous pouvons voir la réaction des internautes (clics, etc.) à des résultats alternatifs.

Evidemment, nous ne pouvons pas évaluer chaque requête qui sera demander à Google dans le futur. Chaque jour, Google reçoit des millions de requêtes que nous n’avons jamais vu par le passé, et que nous ne verront jamais plus. Nous nous basons donc sur des études statistiques, sur des requêtes représentatives des tendances de recherche. L’idée de la lettre T améliore sûrement certaines requêtes, mais si on l’applique à un échantillon de recherches, je suis certain que cela serait un gros désavantage.

L’une des compétences clé de notre équipe est la simulation expérimentale. Pour chaque proposition d’amélioration, nous générons un modèle de simulation qui nous permet de mesurer les aspects principaux du changement. Souvent, nous combinons les évaluateurs humains et les expérimentations. Par exemple, imaginez une proposition d’amélioration pour la fonction « recherche liées » visant à étendre sa couverture à davantage de localités. Notre évaluation pourrait inclure une expérimentation au cours de laquelle nous affichons la version améliorée de la fonctionnalité à des internautes pour mesurer les taux de clics dans chaque localité. Nous pourrions également faire appel à des évaluateurs humain, auxquels nous demanderions de noter la pertinence et l’utilité de chaque suggestion de recherche. Combiner les deux méthodes nous permet de mieux comprendre l’impact global sur les utilisateurs (via les expérimentations), et de mesurer la qualité des suggestions dans chaque pays selon différents aspects (via les évaluateurs humains).

Sélectionner un échantillon de requêtes représentatives peut s’avérer difficile. Lorsque nous évaluons une proposition d’amélioration, nous mesurons non seulement son impact sur une requête donnée, mais aussi l’importance de cet impact. Par exemple, une idée selon laquelle les trois premiers résultats seraient modifiés a beaucoup plus d’impact qu’une idée proposant d’inverser les résultats 9 et 10. Dans le billet précédent d’Amit Singhal sur le classement, il parlait de synonymes. Tout récemment, nous avons évaluer une proposition d’amélioration visant à rendre les synonymes plus importants dans certains cas. Sur un échantillon de requêtes, la modification paraissait tout à fait viable. Cependant, nous nous sommes rendu compte que le changement allait beaucoup trop loin. Par exemple, en chinois, les mots « petit » (小) et « gros » (大) étaient devenus des synonymes… Mauvaise idée !

Nous donnons beaucoup d’importance à l’évaluation car nous tenons à vous proposer une expérience de recherche de la meilleure qualité possible. Plutôt que de se fier à nos intuitions sur ce qui pourrait être bien, nous préférons nous baser sur des études statistiques pour confirmer que nos « supers idées » sont effectivement supers pour vous. Dans ces conditions, l’idée de la lettre T n’avait aucune chance.