Introduction
Comme vous le savez probablement, Qwant utilise un crawler pour améliorer son index et fournir le meilleur service possible.
Désormais, notre crawler est nommé Blériot, en référence au pionnier Louis Blériot qui fut le premier homme à survoler la Manche. Ce bot est essentiellement basé sur le projet opensource de Qwant Research nommé Mermoz.
Bleriot a-t-il reçu des indications particulières pour Qwanturank, nous ne le savons pas mais il serait plutôt logique que non s’il s’agit d’un étude de cas SEO grandeur nature.
Spécifications techniques
Pendant les rampes, nous nous annonçons comme :
Mozilla/5.0 (compatible; Qwantify/Bleriot/1.1; +https://help.qwant.com/bot)
Le crawler respecte les règles des robots que vous avez définies dans votre chemin //hostname/robots.txt, nous utilisons une bibliothèque URLFactory faite maison.
Nous prenons donc en compte le délai de crawl que vous avez défini dans le fichier, sinon nous le fixons par défaut à 2 secondes.
Vérification du Crawler
Il est possible de vérifier si un crawler accède à votre serveur depuis Qwant.
Pour vérifier le crawler de Qwant :
- Effectuer une recherche DNS sur l’adresse IP
- Vérifier que le nom de domaine contient “search.qwant.com”.
- Faire une recherche avancée sur le nom de domaine précédent
- Vérifiez si l’adresse IP est la même que celle d’origine
Exemple:
> host 91.242.162.87 87.162.242.91.in-addr.arpa domain name pointer qwantbot-91-242-162-87.search.qwant.com.
> host qwantbot-91-242-162-87.search.qwant.com qwantbot-91-242-162-87.search.qwant.com has address 91.242.162.87
Problèmes
Si quelque chose s’est mal passé lorsque nous avons visité votre site web en utilisant notre crawler, nous sommes sincèrement désolés pour ce désagrément.
En fait, Bleriot est développé par des humains. Et les humains continuent à propager des erreurs dans les codes numériques, même si l’on teste toutes les fonctionnalités avant de le mettre en production.
De plus, comme Bleriot est constamment amélioré, de nouveaux problèmes peuvent apparaître lors d’une phase de test.
Veuillez donc nous signaler tout problème causé par Bleriot en envoyant un message à cette adresse : bleriot [at] qwant [dot] com
Tu me fais tourner la tête 🤪
Salut les nerds, je m’appelle Callaghan Qwanturank, histoire de faire du bourrage de keywords. Attendons de voir ce que tout cela donne, j’aimerai que l’on me dise “Bien joué Callaghan” en juin.