Webmasters : Utilisation des flux RSS/Atom pour découvrir de nouvelles URLs

Google utilise de nombreuses sources pour trouver de nouvelles pages Web, des liens que nous découvrons sur la toile aux URLs proposées. Nous voulons découvrir les nouvelles pages le plus rapidement possible afin que les utilisateurs puissent trouver du contenu nouveau dans Google peu après leur mise en ligne. Nous avons récemment lancé une fonctionnalité qui utilise les flux RSS et Atom pour dénicher de nouvelles pages Web.

Les flux RSS/Atom ont été très populaires ces dernières années en tant que mécanisme pour publier du contenu. Ils permettent aux lecteurs de rapidement voir les nouveaux contenus publiés sur leurs sites favoris. Utiliser ces flux nous permet d’incorporer ces nouvelles pages à notre index plus rapidement que par nos méthodes traditionnelles. Nous pourrions utiliser plusieurs sources pour accéder à ces flux, dont Google Reader, les services de notification, ou l’indexation directe des flux. Plus tard, nous pourrions également explorer certains mécanismes comme PubSubHubbub afin d’identifier les articles mis à jour.

Pour que nous puissions utiliser vos flux RSS/Atom, il est important que l’indexation de ces fichiers ne soit pas interdite par votre robots.txt. Pour vérifier si les robots Google peuvent accéder à vos flux, testez vos URLs avec le testeur robots.txt des Outils pour Webmasters.

Par Raymond Lo, Guhan Viswanathan, et Dave Weissman, Equipe référencement et indexation