Google is the biggest player among all search engines when it comes to searching information on the Internet. According to the estimates, over 3.5 billion searches are performed on Google Search every day. We (Google users) are only given a certain amount of information based on Google Analytics and Google Ads. Google uses its API
Google est le plus grand acteur de tous les moteurs de recherche lorsqu'il s'agit de rechercher des informations sur l'internet. Selon les estimations, plus de 3,5 milliards de recherches sont effectuées chaque jour sur Google Search. Nous (les utilisateurs de Google) ne recevons qu'un certain nombre d'informations basées sur Google Analytics et Google Ads. Google utilise son API (interface de programmation d'applications) et choisit essentiellement les informations les plus utiles pour nous sur la base de ses recherches et de ses classements. Mais qu'en est-il si nous voulons creuser un peu plus pour savoir quelles sont les informations qui ont vraiment de la valeur pour vous ?
C'est là qu'intervient la nécessité du scraping. Vous pouvez considérer un scraper Google comme un moyen de mettre en évidence les chapitres les plus importants d'un livre. Lorsque vous parcourez un manuel à la recherche d'informations, vous avez tendance à choisir le texte qui sera le plus utile pour votre recherche ou votre test. Mais le World Wide Web est plus grand qu'un livre de 1000 pages. Ainsi, dans le cas de l'internet, Google scraper peut être votre œil concentré qui saisit et collecte immédiatement les meilleurs résultats sur le sujet qui vous préoccupe. Vous pouvez extraire des résultats de recherche Google sur la base de mots-clés spécifiques. Par exemple, si vous scrapez Google en utilisant le mot-clé "lions", le scraper web de Google vous donnera un certain nombre d'URL les mieux classés sur la base de ce mot-clé. Plus vous utilisez de mots-clés, plus Google vous fournira des URL et des données spécifiques. Plus les données sont spécifiques, plus elles sont adaptées à vos besoins. Mais comprenons d'abord la nécessité de scraper Google.
Vous savez que Google est le principal point d'accès à l'internet pour des milliards de personnes et que presque toutes les entreprises souhaitent apparaître dans les résultats de recherche de Google. Les évaluations et les avis de Google ont un impact considérable sur les profils en ligne des entreprises locales. Les agences de marketing qui comptent de nombreux clients issus de différents secteurs d'activité s'appuient fortement sur l'obtention d'outils SEO (Search Engine Optimization) fiables. Ces outils permettent d'exécuter efficacement diverses tâches et de gérer et d'analyser les résultats avec succès.
Voici quelques-uns des cas d'utilisation du scraping Google.
Les entreprises ont besoin de scraper Google pour les raisons suivantes.
Voyons comment nous pouvons récupérer les données de Google à l'aide de Python.
Tout d'abord, vous devez installer un faux useragent. Il récupère un useragent à jour avec une base de données réelle.
pip install fake-useragentVous devez importer toutes les bibliothèques nécessaires, comme indiqué ci-dessous.
import pandas as pd
import numpy sous le nom np
import urllib
from fake_useragent import UserAgent
import requests
import re
from urllib.request import Request, urlopen
from bs4 import BeautifulSoupVous devez construire l'URL de Google en utilisant votre mot-clé et le nombre de résultats. Pour ce faire, nous allons suivre les deux étapes suivantes :
Nous supposons que notre mot clé est "machine learning python".
mot-clé= "machine learning python"
html_keyword= urllib.parse.quote_plus(keyword)
print(mot-clé)Lorsque nous imprimons le mot-clé, nous obtenons le résultat suivant.
Après avoir encodé le mot-clé en HTML à l'aide d'urllib, nous devons construire l'URL de Google comme indiqué ci-dessous.
nombre_de_résultats = 15
google_url = "https://www.google.com/search?q=" + html_keyword + "&num=" + str(number_of_result)
print(google_url)Nous obtenons l'URL suivante :
Maintenant, nous devons cliquer sur l'URL et obtenir les résultats. Pour ce faire, Beautiful Soup et Fake Useragent nous aideront.
ua = UserAgent()
response = requests.get(google_url, {"User-Agent": ua.random})
soup = BeautifulSoup(response.text, "html.parser")Nous n'avons besoin que des expressions régulières pour extraire les informations que nous voulons.
result = soup.find_all('div', attrs = {'class': 'ZINbbc'})
results=[re.search('\/url\?q\=(.*)\&sa',str(i.find('a', href = True)['href'])) for i in result if "url" in str(i)]
#this is because in rare cases we can't get the urls
links=[i.group(1) for i in results if i != None]
linksVoici ce que nous obtenons.
Voici comment vous pouvez récupérer les données de Google en utilisant Python.
Nous pouvons également résumer le code ci-dessus en une seule fonction scraper, comme indiqué ci-dessous.
def google_results(keyword, n_results):
query = keyword
query = urllib.parse.quote_plus(query) # Format into URL encoding
number_result = n_results
ua = UserAgent()
google_url = "https://www.google.com/search?q=" + query + "&num=" + str(number_result)
response = requests.get(google_url, {"User-Agent": ua.random})
soup = BeautifulSoup(response.text, "html.parser")
result = soup.find_all('div', attrs = {'class': 'ZINbbc'})
results=[re.search('\/url\?q\=(.*)\&sa',str(i.find('a', href = True)['href'])) for i in result if "url" in str(i)]
links=[i.group(1) for i in results if i != None]
return (links)Ici, google_results est notre fonction de scraper dans laquelle nous passons le mot-clé et le nombre de résultats comme paramètres et construisons l'URL de Google.
google_results("machine learning in python", 10)Voici ce que nous obtenons.
Que faire si vous souhaitez vous connecter à l'API Google Ads? Vous pouvez le faire par l'intermédiaire d'un proxy en définissant la configuration http_proxy dans votre fichier google-ads.yaml comme indiqué ci-dessous.
http_proxy : INSÉRER_PROXY_ICIVous pouvez spécifier http://user:pass@localhost:8082 comme proxy. Vous pouvez également configurer le paramètre de proxy de manière programmatique à l'aide des méthodes de GoogleAdsClient comme :
Par exemple,
config = {
...
"http_proxy": "INSERT_PROXY_HERE",
}
googleads_client = GoogleAdsClient.load_from_dict(config)Vous devez définir la variable d'environnement GOOGLE_ADS_HTTP_PROXY pour utiliser un proxy à partir de la méthode load_from_env.
Voici les raisons d'utiliser Google proxys.
Il est possible d'explorer Google en utilisant Python pour :
Lors de l'extraction de données de Google, proxys sont essentiels, car ils peuvent aider les entreprises à améliorer leur classement dans les moteurs de recherche et à éviter que leur adresse IP ne soit bloquée. Vous pouvez utiliser tout un lot de proxys dédiés au scraping de Google, et ils vous permettent d'obtenir les données extrêmement rapidement.
J'espère que vous avez compris comment faire du scrape sur Google en utilisant Python.