AutoScraper est une puissante bibliothèque open-source de web scraping pour Python qui simplifie le processus d'extraction de données à partir de sites web. Contrairement aux frameworks de web scraping traditionnels qui nécessitent un codage important pour analyser le contenu HTML, AutoScraper peut générer automatiquement des règles pour extraire les informations souhaitées sur la base d'exemples que vous fournissez. AutoScraper est particulièrement bien adapté aux débutants dans le monde du web scraping. Son interface conviviale et la génération automatique de règles le rendent accessible à ceux qui n'ont pas une grande expérience du codage.
Supposons que vous souhaitiez récupérer les données d'un magasin de commerce électronique sans avoir à vous préoccuper de l'analyse HTML. AutoScraper vous permet de saisir des noms de produits dans la "wanted_list", et il apprendra automatiquement la structure HTML et analysera lui-même les produits suivants.
Voici un exemple clair qui illustre le processus, y compris la mise en œuvre de proxys:
Tout d'abord, vous devez installer AutoScraper. Vous pouvez le faire en utilisant pip :
from autoscraper import AutoScraperSpécifiez l'URL que vous souhaitez récupérer et les éléments ou produits que vous souhaitez extraire. Ce faisant, AutoScraper peut apprendre la structure HTML et analyser avec précision tous les éléments similaires dans ce cadre :
url = 'https://books.toscrape.com/'
wanted_list = [
"Tipping the Velvet",
"Soumission",
]Utilisez l'AutoScraper pour construire votre modèle de scraping :
scraper = AutoScraper()
proxies = {
"http": 'http://test_user112:[email protected]:6060',
"https": 'http://test_user112:[email protected]:6060',
}
# if you wish to use the same scraper again
scraper.save('books_to_scrape')
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))
print(result) scraper = AutoScraper()
scraper.load('books_to_scrape')
result = scraper.get_result(url)["Une lumière dans le ...",
"Un coup de velours",
"Soumission",
'Sharp Objects',
Sapiens : une brève histoire ...',
'The Requiem Red', 'The Dirty Little Secrets ...',
La femme qui vient : A ...',
"Les garçons dans la ...",
'The Black Maria',
Les cœurs affamés( commercetriangulaire...)",
"Les Sonnets de Shakespeare",
"Set Me Free",
"Le précieux petit ... de Scott Pilgrim",
"Rip it Up and ...",
"Notre groupe pourrait être...",
"Olio",
"Mesaerion : La meilleure science...",
"Le libertarisme pour les débutants",
"Ce n'est que l'Himalaya",
"Une lumière dans le grenier",
Sapiens : une brève histoire de l'humanité,
"Les petits secrets de l'emploi de rêve",
La femme qui vient : Un roman basé sur la vie de la célèbre féministe Victoria Woodhull",
Les garçons dans le bateau : Neuf Américains et leur quête épique de l'or aux Jeux olympiques de Berlin en 1936 ",
Starving Hearts(Tri angular Trade Trilogy,#1)",
"La petite vie précieuse de Scott Pilgrim (Scott Pilgrim #1)",
'Rip it Up and Start Again',
Notre groupe pourrait être votre vie : Scenes from the American Indie Underground, 1981-1991",
Mesaerion : Les meilleures histoires de science-fiction 1800-1849"] L'une des principales limites d'AutoScraper est qu'il ne prend pas en charge le rendu JavaScript ou les données chargées dynamiquement. Mais ne vous inquiétez pas, il existe une solution ! En utilisant des bibliothèques Python comme Selenium ou Playwright, qui gèrent les données dynamiques, nous pouvons récupérer les données HTML et laisser Autoscraper se charger de l'analyse pour nous.
Si votre site web cible utilise une protection anti-bot, à ProxyScrape, nous offrons une API de web scraping fiable qui s'occupe de tout pour vous, rendant votre processus de collecte de données efficace et sans effort.
Voici un exemple de la façon dont vous pouvez utiliser notre API de web scraping avec AutoScraper :
import requests
from autoscraper import AutoScraper
def send_request(url_to_scrape):
api_key = 'your_api_key'
data = {
"url": url_to_scrape,
"browserHtml": True # Use browserHtml for JavaScript rendering
}
headers = {
"Content-Type": "application/json",
"X-Api-Key": api_key
}
response = requests.post("https://api.proxyscrape.com/v3/accounts/freebies/scraperapi/request",
headers=headers, json=data)
# we return the html data that web scraping api extracted
return response.json()['data']['browserHtml']
if __name__ == '__main__':
target_url = 'https://books.toscrape.com/'
# get html data using web scraping api
html_content = send_request(target_url)
# parse that html data using AutoScraper
scraper = AutoScraper()
wanted_list = [
"Tipping the Velvet",
"Soumission",
]
result = scraper.build(wanted_list=wanted_list, html=html_content)
print(result)
Le Web scraping est un outil puissant pour l'acquisition de données, et avec la bonne combinaison d'AutoScraper et de proxys, vous pouvez libérer tout son potentiel. En intégrant ProxyScrape's premium proxys, vous vous assurez que vos activités de scraping sont efficaces, anonymes et ininterrompues. Nous vous avons fourni les éléments nécessaires pour commencer, si vous voulez aller plus loin avec AutoScraper, consultez ce gist.
Prêt à élever votre niveau de jeu dans le domaine du web scraping ? Commencez dès aujourd'hui à explorer les capacités d'AutoScraper avec ProxyScrape's premium proxys . Visitez le site ProxyScrape pour vous inscrire et profiter de nos solutions proxy de pointe.
Si vous avez besoin d'aide avec le web scraping, n'hésitez pas à rejoindre notre canal Discord où vous pourrez trouver de l'aide.
Bon grattage !