cURL est l'abréviation de client URL et un outil de ligne de commande permettant d'envoyer et de recevoir des données d'un serveur. Il est distribué dans les systèmes d'exploitation modernes, y compris Windows 10 et les distributions Linux. Il s'agit d'une bibliothèque pratique qui vous permet d'envoyer et de recevoir des données vers et depuis des sites web et constitue un outil essentiel pour vos besoins en matière de web scraping. Avant de voir un exemple simple, voyons ce qu'il faut savoir pour l'installer.
sudo apt install curl.
Sous Windows, ouvrez votre terminal ou l'invite de commande et tapez :
<em><strong>curl https://www.yahoo.com</strong></em>Sur la console, il imprime le code HTML de la page.
cURL transfère des données vers et depuis des pages web à l'aide des protocoles Internet. Bien que cURL ait été initialement développé pour fonctionner avec les protocoles HTTP, il prend actuellement en charge de nombreux protocoles réseau tels que FTP, IMAP, IMAPS, SMTP, POP3, POP3S, et d'autres.
Il prend également en charge les méthodes POST, GET, PUT et d'autres méthodes d'envoi de requêtes. Voyons un exemple d'envoi de données avec les données post.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"Le morceau de code ci-dessus -d indique que vous utilisez la méthode post pour transmettre votre nom et une certaine valeur à la page post de examplewebsite.com.
Maintenant que vous savez ce qu'est cURL, passons à son utilisation avec proxys.
La configuration de cURL avec une adresse proxy permet d'améliorer la communication des données grâce à toutes ces fonctions proxy.
L'utilisation de cURL avec un proxy permet aux utilisateurs de cacher leur identité au serveur. Si les utilisateurs préfèrent récupérer des informations sans laisser les autres connaître leur identité réelle, ils peuvent configurer une adresse proxy avec leur demande de commande cURL. Dans ce cas, le proxy transmettra la requête de l'utilisateur en son nom, et son identité réelle sera cachée. Proxyscrape fournit proxys de tous les types de protocoles comme HTTPs, Socks4, et Socks5 qui peuvent maintenir l'anonymat pour tous les types de requêtes.
Lorsque les utilisateurs d'un lieu donné sont empêchés de récupérer du contenu sur des sites situés dans d'autres zones géographiques, proxys les aidera à contourner ces restrictions. Proxyscrape propose proxys pour plusieurs pays afin que les utilisateurs puissent choisir celui qui leur convient pour contourner les blocages géographiques.
Vous pouvez utiliser proxys pour vous connecter à un site web utilisant cURL. Par exemple, proxys est essentiel lorsque vous utilisez cURL pour récupérer des données. Vous restez alors anonyme par rapport au site web cible à partir duquel vous récupérez des données.
Pour vous connecter avec proxys, vous aurez besoin de l'adresse du serveur proxy, du numéro de port et du type de protocole, et si l'authentification est requise, vous devrez entrer le nom d'utilisateur et le mot de passe. Prenons un exemple simple : nous supposons que l'adresse du proxy est 127.0.0.1 et que le numéro de port est 8920. Les exemples mentionnés ci-dessous sont les bases de la connexion proxys avec cURL, qui fonctionnerait pour n'importe quel service proxy.
La syntaxe pour se connecter à un proxy serait la suivante :
curl --proxy proxyaddress : port https://examplewebsite.comserait remplacée par :
curl --proxy 127.0.0.1:8920 https://examplewebsite.comLa commande ci-dessus acheminera votre connexion via un proxy vers examplewebsite.com.
Nous allons maintenant examiner un exemple qui requiert une authentification où le nom d'utilisateur est le nom d'utilisateur et le mot de passe est le mot de passe.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comVous pouvez maintenant savoir quelles commandes utiliser pour connecter cURL avec un protocole proxy, en utilisant :
curl --helpIl ne fait aucun doute que la liste serait très longue, et nous nous concentrerons sur les commandes les plus fondamentales énumérées ci-dessous :
-x, --proxy [protocole://]hôte[:port]Dans cette commande, x et -proxy indiquent les détails du proxy, et vous pouvez utiliser l'un ou l'autre, car les deux sont corrects. Cependant, n'oubliez pas que x est sensible à la casse.
De plus, pour être sûr que vous utilisez bien proxys, vous pouvez utiliser la commande suivante :
curl http://httpbin.org/ipCette commande renvoie généralement l'adresse IP de l'origine. Ainsi, si vous utilisez un serveur proxy, elle renverra l'adresse IP du serveur proxy au lieu de la vôtre.
Pour résumer, vous pouvez envoyer la demande comme suit :
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"De même, la commande ci-dessous serait la même que la précédente :
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Il est important de garder à l'esprit que vous devez utiliser des guillemets à la fois pour l'URL du proxy et pour l'URL cible. Cela est dû à la présence de caractères spéciaux dans l'URL.
De plus, si vous obtenez des erreurs de certificat SSL, vous devez ajouter la lettre minuscule -k à la fin de la commande, comme indiqué ci-dessous :
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Cela permettra aux connexions non sécurisées de passer lors de l'utilisation de la connexion SSL.
Lorsque vous utilisez proxys, le protocole par défaut est HTTP, sauf indication contraire. Les deux commandes ci-dessous sont donc correctes :
curl --proxy "http://username:[email protected]:89 20" "http://httpbin.org/ip".
curl --proxy "username :[email protected]:89 20" "http://httpbin.org/ip".Si vous souhaitez disposer d'un proxy pour cURL, vous pouvez créer un fichier curl-config de la manière suivante.
Si vous êtes sous macOS ou Linux, vous devez tout d'abord ouvrir le terminal et vous rendre dans votre répertoire personnel. S'il existe un fichier .curlrc, vous devez l'ouvrir et créer un nouveau fichier vide. Vous pouvez utiliser les commandes ci-dessous pour naviguer jusqu'au fichier :
cd~
nano .curlrc.Il faut donc ajouter cette ligne dans le fichier :
mandataire="http://username:[email protected]:8920"Sauvegardez le fichier, et vous pouvez maintenant utiliser le cURL avec proxys. Il vous suffit de lancer le cURL normalement, et il lira le proxy à partir du fichier ci-dessus :
curl "http://httpbin.org/ip"echo %APPDATA%La commande ci-dessus renverra donc le chemin d'accès, et vous devrez vous y rendre. Ensuite, vous devez créer le fichier _curlrc et définir le proxy de la même manière que pour macOS ou Linux.