Lorsque vous récupérez des données sur des sites web à grande échelle, il est très probable que vous n'ayez pas eu à faire face à un CAPTCHA pour prouver que vous êtes un être humain. En tant que scrapeur web, vous savez peut-être déjà pourquoi les professionnels de la cybersécurité ont été contraints d'inventer ces CAPTCHA. Ils étaient le résultat de l'automatisation, par vos robots, d'innombrables demandes d'accès à des sites web. Ainsi, même les utilisateurs authentiques ont dû affronter les CAPTCHA, qui se présentent sous différentes formes. Cependant, vous pouvez contourner les CAPTCHA, que vous soyez un scrapeur web ou non, ce qui est l'objectif de cet article. Mais tout d'abord, voyons ce que sont les CAPTCHA.
CAPTCHA signifie Completely Automated Public Turing Test to tell Computers and Humans Apart (Test de Turing public entièrement automatisé pour distinguer les ordinateurs des humains). C'est un acronyme assez long, n'est-ce pas ? Vous vous demandez peut-être ce que signifie la dernière partie de cet acronyme, le test de Turing. Il s'agit d'un test simple qui permet de déterminer si c'est un humain ou un robot qui interagit avec une page web ou un serveur web.
Après tout, un CAPTCHA différencie les humains des robots, ce qui aide les analystes en cybersécurité à protéger les serveurs web contre les attaques par force brute, les DDoS et, dans certains cas, le piratage web.
Voyons comment les CAPTCHA différencient les humains des robots.
Les CAPTCHA se trouvent dans les formulaires d'un site web, notamment les formulaires de contact, d'enregistrement, de commentaires, d'inscription ou de paiement.
Les CAPTCHA traditionnels comprennent une image avec des lettres, des chiffres ou les deux, étirés ou flous, dans une boîte avec une couleur d'arrière-plan ou un arrière-plan transparent. Vous devez ensuite identifier les caractères et les taper dans le champ de texte qui suit. Ce processus d'identification des caractères est plus facile pour les humains, mais quelque peu compliqué pour un robot.
D'autre part, certains robots avancés peuvent intercepter des lettres déformées grâce à l'apprentissage automatique au fil des ans. En conséquence, certaines entreprises telles que Google ont remplacé les CAPTCHA conventionnels par des CAPTCHA sophistiqués. L'un de ces exemples est ReCAPTCHA, que vous découvrirez dans la section suivante.
ReCAPTCHA est un service gratuit offert par Google. Il demande aux utilisateurs de cocher des cases plutôt que de taper du texte, de résoudre des puzzles ou des équations mathématiques.
Un ReCAPTCHA typique est plus avancé que les formes conventionnelles de CAPTCHA. Il utilise des images et des textes du monde réel, tels que des feux de circulation dans les rues, des textes de vieux journaux et des livres imprimés. Ainsi, les utilisateurs n'ont pas à se fier aux anciens CAPTCHA dont le texte est flou et déformé.
Il existe trois types de tests ReCAPTCHA permettant de vérifier si vous êtes un être humain ou non :
Il s'agit des ReCAPTCHA qui demandent aux utilisateurs de cocher une case "Je ne suis pas un robot", comme dans l'image ci-dessus. Bien qu'il puisse sembler à l'œil nu que même un robot puisse réussir ce test, plusieurs facteurs sont pris en compte :
Si le ReCAPTCHA ne parvient pas à vérifier que vous êtes un être humain, il vous proposera un autre défi.
Ces ReCAPTCHAs fournissent aux utilisateurs des images carrées de neuf ou seize cases, comme vous pouvez le voir dans l'image ci-dessus. Chaque carré représente une partie d'une image plus grande ou de différentes images. L'utilisateur doit sélectionner des carrés représentant des objets, des animaux, des arbres, des véhicules ou des feux de signalisation spécifiques.
Si la sélection de l'utilisateur correspond à celle d'autres utilisateurs ayant effectué le même test, l'utilisateur est vérifié. Dans le cas contraire, le ReCAPTCHA présentera un test plus difficile.
Saviez-vous que ReCAPTCHA peut vérifier si vous êtes un humain ou non sans utiliser de cases à cocher ou d'interactions avec l'utilisateur ?
Il le fait certainement en tenant compte de l'historique des interactions de l'utilisateur avec les sites web et de son comportement général en ligne. Dans la plupart des cas, sur la base de ces facteurs, le système est en mesure de déterminer si vous êtes un robot.
Dans le cas contraire, on reviendrait à l'une des deux méthodes mentionnées précédemment.
Les CAPTCHA peuvent être déclenchés si un site web détecte des activités inhabituelles ressemblant à un comportement de robot. Ce comportement inhabituel comprend des demandes illimitées en quelques secondes et le fait de cliquer sur des liens à un taux beaucoup plus élevé que les humains.
Certains sites web auraient alors automatiquement mis en place des CAPTCHA pour protéger leurs systèmes.
En ce qui concerne les ReCAPTCHA, on ne sait pas exactement ce qui les déclenche. Toutefois, les causes générales sont les mouvements de la souris, l'historique de navigation et le suivi des cookies.
Vous avez maintenant un aperçu clair de ce que sont les CAPTCHA et les Rechaptchas, de leur fonctionnement et de ce qui les déclenche. Il est maintenant temps de voir comment les CAPTCHA affectent le web scraping.
Les CAPTCHA peuvent entraver le scraping du web car les robots automatisés effectuent la plupart des opérations de scraping. Cependant, ne vous découragez pas. Comme indiqué au début de cet article, il existe des moyens de surmonter les CAPTCHA lors du scraping du web. Avant d'en arriver là, intéressons-nous à ce dont vous devez être conscient avant de procéder au scraping.
Lorsque vous vous connectez à un site web, vous envoyez des informations sur votre appareil au site web qui se connecte. Ces informations peuvent être utilisées pour adapter le contenu aux spécifications de votre appareil et au suivi métrique. Ainsi, lorsqu'ils découvrent que les demandes proviennent du même appareil, toutes les demandes que vous envoyez par la suite sont bloquées.
Vous devez également vous assurer que le site web cible n'a pas mis votre adresse IP sur liste noire. Il est probable qu'il le fasse si vous envoyez trop de requêtes avec votre scraper/crawler.
La rotation des en-têtes HTTP et de proxys (plus d'informations à ce sujet dans la section suivante) avec un pool garantira que plusieurs appareils accèdent au site web à partir de différents endroits. Vous devriez donc être en mesure de poursuivre le scraping sans être interrompu par les CAPTCHA. Cela dit, vous devez vous assurer que vous ne nuisez pas aux performances du site web de quelque manière que ce soit.
Outre les facteurs clés susmentionnés, vous devez connaître les CAPTCHA ci-dessous lorsque vous faites du web scraping avec un robot :
Il ne suffit pas de modifier l'agent utilisateur ; vous devez disposer d'une liste de chaînes d'agents utilisateurs et les alterner. Cette rotation fera en sorte que le site web cible vous verra comme un appareil différent alors qu'en réalité, un seul appareil envoie toutes les requêtes.
Comme meilleure pratique pour cette étape, il serait bon de conserver une base de données des agents utilisateurs réels. Supprimez également les cookies lorsque vous n'en avez plus besoin.
Une méthode plus simple et moins technique pour résoudre un CAPTCHA consisterait à utiliser un service de résolution de CAPTCHA. Ces services utilisent l'intelligence artificielle (IA), l'apprentissage automatique (MI) et un ensemble d'autres technologies pour résoudre un CAPTCHA.
Lorsque vous laissez votre scraper accéder directement à une URL à chaque fraction de seconde, le site web destinataire se méfie. Par conséquent, le site web cible déclenchera un CAPTCHA.
Pour éviter un tel scénario, vous pouvez définir l'en-tête "referer" de manière à ce qu'il semble provenir d'une autre page. Cela réduirait la probabilité d'être détecté comme un robot. Vous pouvez également faire en sorte que le robot visite d'autres pages avant de se rendre sur le lien souhaité.
Les pots de miel sont des éléments cachés sur une page web que les experts en sécurité utilisent pour piéger les robots ou les intrus. Bien que le navigateur rende son HTML, ses propriétés CSS sont réglées pour être cachées. Toutefois, contrairement aux humains, le code du pot de miel est visible par les robots lorsqu'ils récupèrent les données. Ils sont donc tombés dans le piège tendu par le pot de miel.
Vous devez donc vous assurer que les propriétés CSS de tous les éléments d'une page web ne sont pas cachées ou invisibles avant de commencer le scraping. Ce n'est que lorsque vous êtes certain qu'aucun élément n'est caché que vous configurez votre robot pour le scraping.
Cet article vous a donné une idée complète de la manière d'éviter les CAPTCHA lors du scraping du web. Éviter un CAPTCHA peut être un processus compliqué. Cependant, en utilisant les techniques spécifiques présentées dans cet article, vous pouvez développer le robot de manière à éviter les CAPTCHA.
Nous espérons que vous utiliserez toutes les techniques présentées dans cet article.