The web browsers use Javascript to create a dynamic and interactive experience for the user. Majority of the applications and functions making the Internet indispensable to modern life are encoded in the form of Javascript. Considering the early incarnations of Javascript, the web pages were static, and offered a little user interaction beyond clicking links
Les navigateurs web utilisent Javascript pour créer une expérience dynamique et interactive pour l'utilisateur. La majorité des applications et des fonctions qui rendent l'internet indispensable à la vie moderne sont codées sous la forme de Javascript. Si l'on considère les premières incarnations de Javascript, les pages web étaient statiques et offraient peu d'interaction à l'utilisateur en dehors du fait de cliquer sur des liens et de charger de nouvelles pages.
Voici quelques-unes des améliorations dynamiques apportées à un site web par Javascript.
Vous pouvez utiliser le scraping pour collecter des données structurées à partir de sites web de manière automatisée. Le web scraping est également connu sous le nom d'extraction de données web. Voici quelques-uns des principaux cas d'utilisation du scraping web :
Comprenons d'abord pourquoi il est nécessaire de récupérer des sites web.
Les entreprises utilisent le web scraping pour exploiter la grande quantité de données accessibles au public afin de prendre des décisions plus judicieuses. Voici quelques-uns des domaines dans lesquels le web scraping est utilisé.
Voici les raisons pour lesquelles les entreprises ont besoin de scraper les sites web.
Automatisation - Il n'est pas possible de copier et de coller chaque information d'un site web. Les entreprises utilisent des logiciels de scraping pour automatiser la plupart de leurs processus associés.
Gestion des données - Il n'est pas possible d'utiliser des bases de données et des feuilles de calcul pour gérer des chiffres et des nombres sur un site web configuré en HTML. Les entreprises utilisent donc des outils de web scraping pour gérer leurs données.
Inscriptions immobilières - Les agents immobiliers utilisent le web scraping pour alimenter leur base de données de biens immobiliers disponibles à la location ou à la vente.
Données comparatives des sites d'achat - Les entreprises utilisent le web scraping pour récupérer les données sur les prix et les produits de chaque détaillant, afin de fournir à leurs utilisateurs les données comparatives qu'ils souhaitent.
Statistiques et informations sectorielles - Les entreprises utilisent le scraping pour constituer d'énormes bases de données et en tirer des informations sectorielles. Par exemple, une entreprise peut récupérer et analyser des tonnes de données sur les prix du pétrole. Elle peut ensuite vendre ces informations aux compagnies pétrolières du monde entier.
Voyons comment vous pouvez utiliser Selenium pour récupérer des sites web Javascript.
Vous pouvez installer Selenium à l'aide de la commande suivante.
pip install seleniumSavez-vous que Selenium simule un véritable navigateur ? Il n'utilise pas votre installation Chrome, mais un pilote pour faire fonctionner un navigateur. Les pilotes web Selenium se réfèrent à la fois aux liaisons de langage et aux implémentations du code de contrôle du navigateur individuel. Vous devez télécharger le pilote web, et vous pouvez l'ajouter à la variable d'environnement path. Nous utiliserons le pilote web Firefox et vous pouvez l'installer en suivant ce lien.
Considérons un exemple simple de selenium qui implique la collecte d'un titre de site web. Pour cela, nous allons d'abord importer webdriver de selenium dans un fichier python comme indiqué ci-dessous :
from selenium import webdriverNous devons mentionner le chemin où se trouve le pilote web. Ensuite, nous devons initialiser le pilote web de Firefox.
WEBDRIVER_PATH = './'
driver = webdriver.Firefox(WEBDRIVER_PATH)Nous définissons maintenant l'URL pour obtenir le titre du site web.
URL = 'https://www.google.com'
driver.get(URL)
print (driver.title)L'exécution du code ci-dessus ouvre une fenêtre Firefox qui imprime dans la console le titre du site web. Nous avons défini l'URL de Google comme exemple dans ce cas, le résultat sera donc le suivant :
Il s'agit de la page google du pilote web firefox. Le titre imprimé sur la console sera le suivant :
Nous devons fermer manuellement la fenêtre firefox qui a été ouverte. Nous ajouterons driver.quit() à la fin de notre code pour que la fenêtre soit automatiquement fermée une fois le travail terminé.
from selenium import webdriver
WEBDRIVER_PATH = './'
driver = webdriver.Firefox(WEBDRIVER_PATH)
URL = 'https://www.google.com'
driver.get(URL)
print (driver.title)
driver.quit()Si vous souhaitez collecter des données à partir d'un site web dynamique, vous pouvez suivre les mêmes étapes que celles mentionnées ci-dessus. Par exemple, si vous voulez récupérer le titre de Youtube, vous pouvez utiliser le code ci-dessous.
from selenium import webdriver
WEBDRIVER_PATH = './'
driver = webdriver.Firefox(WEBDRIVER_PATH)
URL = 'https://www.youtube.com'
driver.get(URL)
print (driver.title)
driver.quit()Essayons quelque chose de nouveau. Nous pouvons éditer la boîte de recherche et la remplir avec le mot "Selenium" en utilisant la classe "Keys" comme indiqué ci-dessous.
from selenium.webdriver.common.keys import KeysAprès avoir initialisé le pilote web firefox et récupéré le titre de Youtube, nous créons un objet qui contient la boîte de recherche avec xpath.
search_box = driver.find_element_by_xpath('//input[@id="search"]')Nous modifions ensuite le contenu de la boîte de recherche et y ajoutons le mot "Selenium".
search_box.send_keys('Selenium')Une fois que nous avons rempli le champ de recherche avec le contenu souhaité, nous pouvons appuyer sur "Entrée" pour activer la recherche.
boîte_de_recherche.send_keys(Clés.ENTER)Vous pouvez voir dans l'image ci-dessous que la boîte de recherche Youtube contient le mot "Selenium".
Le site proxys est nécessaire lorsque vous avez besoin d'un contenu web localisé. Ils sont également nécessaires lorsque vous envoyez trop de requêtes à un site web dans un court laps de temps. Vous avez besoin de proxys pour Selenium lorsque des tests automatisés sont nécessaires. Cependant, afin d'utiliser un proxy Selenium pour gratter un site web Javascript, vous devez utiliser un fil Selenium qui étend les bindings Selenium et donne accès aux requêtes sous-jacentes faites par le navigateur.
Pour utiliser Selenium avec un proxy, le package suivant doit être installé.
from selenium wire import webdriverAprès avoir installé la bibliothèque Python selenium-wire, vous devez mentionner ce qui suit :
Ici, nous avons mentionné un numéro de port aléatoire 8080 à titre d'exemple. Vous pouvez définir le nom d'utilisateur, le mot de passe et l'URL du site web de votre choix.
proxy_username = "USER_NAME"
proxy_password = "PASSWORD"
proxy_url = "Any Website URL"
proxy_port = 8080
options = {
"proxy": {
"http": f"http://{proxy_username}:{proxy_password}@{proxy_url}:{proxy_port}",
"verify_ssl": False,
},
}Pour le pilote web Selenium, les proxys résidentiels sont le meilleur choix. En effet, ils ne sont pas facilement détectés, contrairement aux centres de données proxys. Ils acheminent les requêtes des clients via des IP résidentielles et gagnent plus de confiance que les IP des centres de données. Ils sont également utiles pour accéder à des sites web complexes qui utilisent Javascript comme Youtube, Google, Instagram, etc.
L'utilisation de proxys pour le scraping d'un site web est nécessaire pour les raisons suivantes :
Le web scraping est important car vous pouvez l'utiliser pour :
Plus loin, nous avons expliqué comment utiliser Selenium pour récupérer des sites web en Javascript en Python. Vous pouvez récupérer le contenu de sites web statiques ainsi que de sites web dynamiques comme Youtube. Vous devez également utiliser Selenium proxys pour les tests automatisés. Les meilleurs proxys que vous pouvez utiliser sont lesproxys résidentiels car ils sont super rapides et ne peuvent pas être facilement détectés contrairement à d'autres proxys.
J'espère que vous avez compris comment scraper un site web Javascript en utilisant Python.