La génération de leads est un élément essentiel de la croissance de votre entreprise. Si votre équipe de vente n'a pas de prospects à approcher, elle ne peut pas faire son travail. Le démarchage à froid est rarement efficace, en particulier pour les marques qui vendent des produits à forte valeur ajoutée, pour lesquels l'idée d'un achat n'est pas sans friction.
Les ventes proviennent des prospects. Le rapport Technology Content Marketing : Benchmarks, Budgets and Trends report produit par le Content Marketing Institute et MarketingProfs souligne que 77 % des spécialistes du marketing technologique utilisent des leads qualifiés par le marketing pour stimuler les ventes (contre 64 % en 2019).
Les prospects qualifiés sont plus faciles à convertir parce qu'il s'agit de personnes (ou d'entreprises) qui ont déjà exprimé un intérêt pour votre produit ou service. En identifiant votre public cible et en concentrant vos efforts de marketing sur ces personnes en particulier, vous économiserez le temps et l'énergie de votre équipe de vente, qui pourra ainsi se concentrer sur les prospects de la plus haute qualité.
La génération de prospects est plus facile aujourd'hui qu'elle ne l'a jamais été. La communication instantanée, les options de marketing très ciblées des médias sociaux et l'accès à des bases de données contenant presque toutes les informations imaginables signifient que les propriétaires de petites entreprises ont le pouvoir de réaliser tout ce qu'ils veulent.
Par le passé, si vous vouliez atteindre un public cible spécifique, vous deviez payer une somme énorme à une société de marketing pour pouvoir envoyer des prospectus par la poste aux entreprises figurant dans sa base de données.
Aujourd'hui, ce n'est plus nécessaire. Si vous souhaitez trouver une liste de restaurants mexicains sur la côte est ou d'écoles primaires dans votre État, vous pouvez le faire en ligne. Les entreprises actives dans l'espace B2B peuvent constituer rapidement et facilement une base de données de prospects, puis filtrer cette liste et envoyer des messages marketing sur mesure.
Pour les entités B2B qui ciblent une zone géographique relativement restreinte, une simple recherche sur le web peut suffire à trouver une liste de clients potentiels. En revanche, si vous cherchez à atteindre des entreprises à l'échelle de l'État, voire du pays, la collecte manuelle de toutes ces données prendrait énormément de temps.
Le web scraping peut vous faire gagner du temps et de l'argent, à vous et à votre équipe marketing, en collectant automatiquement les données dont vous avez besoin.
Le Web Scraping est une technique automatisée permettant d'extraire des données d'un site web ou de plusieurs sites web, afin de les utiliser dans d'autres applications. Supposons, par exemple, que vous souhaitiez établir une liste des noms et adresses des restaurants de votre région, plutôt que de visiter manuellement chaque restaurant local répertorié sur Yelp ou Tripadvisor. Dans ce cas, vous pourriez utiliser un scraper web pour parcourir ces pages et extraire ces détails, créant ainsi une liste que vous pourriez utiliser pour des mailings.
Le web scraping peut faire gagner beaucoup de temps et d'efforts aux entreprises lorsqu'il s'agit de construire une liste de marketing. Il est également étonnamment facile à réaliser si vous disposez des bons outils ou du savoir-faire en matière de programmation.
Les scrapers Web fonctionnent en chargeant les pages dont vous voulez extraire des données, puis en lisant la page à la recherche du type d'informations que vous essayez de trouver. Ces informations peuvent être
Lorsqu'un scraper télécharge une page, il lit le code source à la recherche de modèles. Selon le site dont vous tirez les données, il peut simplement rechercher quelque chose qui correspond au modèle 123-456-78901 d'un numéro de téléphone ou au format [email protected] d'une adresse électronique.
Par ailleurs, le développeur du scraper peut savoir que sur un certain site d'annuaire, les coordonnées sont entourées d'un ensemble spécifique de balises dans le code HTML et faire en sorte que le scraper extraie les informations entre ces balises.
Certains logiciels de scraper peuvent être configurés par l'utilisateur final, de sorte qu'il est possible de leur apprendre à comprendre pratiquement n'importe quel site web.
L'un des problèmes liés à l'utilisation d'un logiciel de scraper est que des réglementations telles que le GDPR de l'UE obligent les utilisateurs à faire très attention aux données qu'ils collectent et à la manière dont elles sont utilisées. En vertu du GDPR, une organisation doit obtenir l'autorisation d'une personne pour détenir ou traiter des données la concernant.
Certains sites web tentent de protéger la vie privée de leurs utilisateurs et les ressources de leur propre serveur en essayant de bloquer les "web scrapers". Il existe plusieurs options pour ce faire, notamment la vérification de l'"agent utilisateur" renvoyé par le logiciel client et la limitation du nombre de demandes de pages provenant d'une adresse IP spécifique.
Si vous souhaitez utiliser les scrapers de manière efficace, vous devez vous assurer que vous comprenez les règles relatives au marketing dans votre pays, que vous traitez toutes les données que vous collectez de manière responsable et que vous savez comment collecter des données à partir des sources choisies d'une manière efficace et non destructive qui ne vous fera pas bannir du site en question.
Par exemple, à l'adresse ProxyScrape, nous proposons un site résidentiel proxys qui peut être utilisé à des fins de collecte de données. Si vous envisagez d'utiliser ces sites proxys, nous vous recommandons de vous assurer que votre scraper n'envoie pas un nombre excessif de requêtes à un site web cible dans un court laps de temps. Scrapez de manière responsable afin de ne pas nuire aux sites web avec lesquels vous travaillez.
Le scraping de contenu permet aux entreprises d'accéder à d'énormes quantités d'informations qu'il serait autrement difficile de rassembler, mais ces informations ne sont utiles que dans la mesure où elles proviennent de la source.
L'un des défis de la collecte de données par scraping est de s'assurer que les informations sont à jour. Il existe des milliers d'annuaires sur le web, et nombre d'entre eux sont mal classés et obsolètes.
Si vous recueillez des données à partir d'une source obsolète et de mauvaise qualité, au mieux, vous perdez du temps à envoyer des courriels qui ne seront pas lus. Dans le pire des cas, vous risquez de faire l'objet de plaintes pour avoir passé plusieurs appels téléphoniques non sollicités à un numéro qui n'appartient plus à l'entreprise à laquelle vous pensiez qu'il appartenait.
Alors, comment augmenter les chances que les données recueillies soient utiles ?
Avant de commencer à collecter des données à l'aide d'un outil de scraping, vérifiez manuellement le site web avec lequel vous envisagez de travailler. Recueillez quelques pistes à la main et étudiez-les.
Les entreprises sont-elles toujours en activité ? Les coordonnées sont-elles toujours correctes ? Le propriétaire de l'annuaire semble-t-il contrôler les informations avant de les ajouter ?
Supposons que la moitié des prospects que vous recueillez manuellement soient morts, périmés ou potentiellement faux. Dans ce cas, il y a de fortes chances que la base de données que vous créerez en récupérant ce site soit de mauvaise qualité.
Les grands sites d'annuaires tels que Tripadvisor, Yelp ou FourSquare sont plus susceptibles de contenir des données de qualité que les petits annuaires moins connus, car ces plateformes sont mises à jour par un nombre beaucoup plus important d'utilisateurs.
Les annuaires de niche peuvent être utiles si vous cherchez à commercialiser vos produits auprès d'un groupe d'intérêt obscur ou d'un type d'entreprise hautement spécialisé, mais vous devez vous attendre à devoir nettoyer de nombreuses données avant d'utiliser les informations collectées à des fins de marketing.
Dans de nombreux cas, vous obtiendrez des données bien plus précieuses si vous les collectez à partir d'un site nécessitant une connexion. LinkedIn et Twitter, par exemple, peuvent être récupérés si vous utilisez un limiteur de taux pour maintenir le nombre de requêtes envoyées par votre robot à un niveau raisonnable et si vous êtes connecté au site lorsque vous effectuez les requêtes.
Une autre option consiste à utiliser une API au lieu d'un simple scraper HTTP et à collecter des informations à partir de l'un des services de cartographie les plus populaires. Par exemple, Google fournit une API de recherche d'entreprises qui peut être utilisée pour collecter des informations sur les organisations incluses dans Google Maps, mais vous devez accepter de vous conformer aux conditions générales de Google avant d'accéder à l'API.
En général, si une API est disponible, il est préférable de collecter vos données à l'aide de cette API plutôt que d'utiliser le web scraping. Vous aurez beaucoup moins de chances de rencontrer des problèmes avec les propriétaires de sites web et il sera plus facile de nettoyer les données fournies par l'intermédiaire d'une API.
En programmation informatique, l'adage "garbage in, garbage out" s'applique très certainement à la collecte de données. Veillez à construire soigneusement toutes les recherches que vous effectuez.
Par exemple, si vous souhaitez vous adresser aux constructeurs de Newcastle, n'oubliez pas qu'il y a plus d'un Newcastle en Angleterre et qu'il y a également un Newcastle en Australie. Si vous recherchez "Newcastle" via un proxy, la plupart des sites web essaieront de deviner de quel Newcastle vous parlez en recherchant celui qui est le plus proche de l'emplacement géographique du proxy.
Essayez de limiter la recherche autant que possible, en fournissant des informations sur la ville, l'état et même le pays si le site web cible le permet. Vous éviterez ainsi de vous retrouver avec une base de données remplie de coordonnées d'organisations situées à des centaines de kilomètres de la région souhaitée.
Le web scraping peut être aussi simple ou aussi complexe que vous le souhaitez. Si vous essayez le scraping pour la première fois, il n'est pas nécessaire de dépenser beaucoup d'argent pour un logiciel sophistiqué.
Voici quelques bonnes options :
Scraper est une extension de navigateur web qui permet aux utilisateurs d'extraire rapidement et facilement des données de pages web. Si vous souhaitez extraire des informations d'une seule page de résultats ou d'un petit nombre de pages, Scraper est un moyen simple et efficace de le faire, et vous constaterez peut-être qu'il est beaucoup plus facile à utiliser qu'un robot d'exploration plus sophistiqué.
ProWebScraper est un outil plus avancé qui possède une version gratuite et une version premium. L'outil gratuit peut être utilisé pour scraper jusqu'à 100 pages, ce qui devrait être suffisant pour une petite entreprise de niche. ProWebScraper est relativement facile à utiliser pour un logiciel de scraping, avec une interface de type pointer-cliquer et des règles prédéfinies qui vous permettent de mettre en place le scraping même si vous n'êtes pas sûr de vous sur le plan technique.
ProWebScraper peut télécharger des images et créer des fichiers JSON, CSV ou XML. Il peut même être configuré pour scanner des sites selon un calendrier afin que vous puissiez collecter les données et mettre à jour vos enregistrements marketing.
Scrapy est un cadre de scraping web gratuit et open source. Cet outil nécessite des connaissances techniques, mais il est rapide, flexible et peut être utilisé pour récupérer de grandes quantités de données. Scrapy peut être exécuté sur votre propre ordinateur Linux, OS X, Windows ou BSD ou sur un serveur web.
Il existe une communauté Scrapy active, qui comprend des chats IRC, Reddit et StackOverflow. Vous pouvez demander conseil à la communauté et profiter des extensions ou des modules qu'elle a créés, ce qui vous permet d'exploiter la puissance de Scrapy même si vous n'êtes pas un développeur chevronné.
Si vous avez besoin de collecter beaucoup de données ou si vous prévoyez de le faire régulièrement, les outils gratuits et les outils basés sur une interface graphique peuvent ne pas être assez puissants pour votre cas d'utilisation. Le codage de votre propre scraper, ou l'embauche d'un développeur pour le faire à votre place, est une bonne option.
Il existe plusieurs cadres libres et gratuits qui peuvent être utilisés pour coder un scraper dans des langages courants tels que Python, Perl, Java, R ou PHP.
L'une des bibliothèques les plus populaires pour le web scraping est BeautifulSoup. Il s'agit d'un outil de scraping en Python capable d'extraire rapidement et facilement des données de fichiers HTML ou XML. Vous devrez avoir quelques connaissances en programmation pour l'utiliser, mais il fait une grande partie du travail de scraping pour vous, vous évitant ainsi de réinventer la roue.
Une fois les données extraites, vous pouvez les exporter sous forme de fichier CSV ou les afficher sous différents formats à l'aide d'une bibliothèque de traitement de données telle que Pandas.
Coder votre propre scraper est une bonne idée si vous avez des connaissances en programmation. Il peut également être utile de coder votre propre scraper si vous avez besoin d'extraire un grand nombre de données d'une page web inhabituelle que les outils de scraping gratuits ne peuvent pas traiter.
Coder votre propre scraper ou payer quelqu'un pour le faire pour vous peut être une bonne idée si vous avez des besoins spécifiques et sophistiqués. Un scraper codé sur mesure peut être conçu autour d'une page cible plus efficacement qu'un outil plus général, de sorte que vous risquez moins de rencontrer des bogues ou des problèmes dans le traitement des données.
À l'inverse, les scrapeurs codés sur mesure sont également utiles pour les tâches simples et de moindre envergure. Une fois que vous avez écrit un scraper, vous pouvez modifier la routine d'analyse et utiliser le même script pour extraire des données d'autres pages.
L'inconvénient de l'utilisation d'un scraper codé sur mesure est qu'il faut du temps pour écrire le scraper pour la première fois, et si vous n'êtes pas un développeur expérimenté, vous risquez de passer plus de temps à vous débattre avec le formatage JSON ou à essayer d'apprendre une nouvelle bibliothèque qu'il n'en faudrait pour simplement lire le manuel de ProWebScraper et le configurer.
En fonction de la tâche à accomplir, il peut être plus rentable de payer pour un outil que d'en rédiger un sur mesure.
En outre, si vous envisagez d'écrire votre propre scraper, vous devrez connaître les meilleures pratiques en matière de scraping et les problèmes de codage, notamment :
Il est tout à fait judicieux d'écrire un petit scraper pour obtenir des informations sur quelques centaines ou quelques milliers d'entreprises. Si vous recueillez de plus grandes quantités de données, vous pouvez demander conseil ou travailler avec un expert pour vous assurer que vous respectez pleinement les réglementations locales en matière de protection de la vie privée.
Si vous décidez d'écrire votre propre scraper, n'oubliez pas d'être "gentil". Faites tous les efforts possibles pour scraper de manière attentionnée, en envoyant des requêtes correctement formées, en scrappant lentement et en utilisant une série d'adresses IP lorsque vous scrappez.
Essayez de faire en sorte que votre scraper ressemble à un être humain. Cela signifie qu'il faut demander des pages lentement et essayer de ne pas suivre un modèle fixe lorsqu'il parcourt les pages. Envisagez, par exemple, d'obtenir une liste de résultats de recherche, de dresser une liste des liens figurant sur la page de résultats, puis d'accéder à ces liens dans un ordre aléatoire, afin qu'il soit moins évident que vous êtes un robot.
N'envoyez pas plusieurs requêtes en même temps à partir de la même adresse IP. Les outils anti-scraping détecteront que vous placez une charge anormale sur le serveur.
Respectez les informations contenues dans le fichier Robots.txt du site web. S'il y a des pages, le webmaster ne veut pas qu'elles soient indexées. Il serait contraire à l'éthique d'ignorer cette information.
Envisagez d'utiliser une bibliothèque telle que Selenium pour donner à votre robot une apparence plus humaine en envoyant des clics vers la page ou en interagissant avec elle d'une manière ou d'une autre. Certains outils ant-scraper plus sophistiqués recherchent des modèles d'interaction de type "bot" et bloqueront une adresse IP s'ils remarquent un manque de défilement, de clics et d'autres interactions.
Il y a une course aux armements technologiques entre les développeurs de scraper et ceux qui tentent de bloquer les scraper sur leurs sites web. Il est très difficile de créer un scraper capable de collecter d'énormes volumes de données sans être détecté. Toutefois, pour les projets de petite ou moyenne envergure, si vous suivez les règles de la gentillesse et de la non-voracité, vous devriez être en mesure d'obtenir les données dont vous avez besoin avec un scraper lent et régulier et un peu de proxys.
N'oubliez pas que votre robot peut fonctionner 24 heures sur 24, en collectant des données en arrière-plan, et qu'il n'est donc pas nécessaire de télécharger toute la liste des petites entreprises sur Yelp en une seule fois.
Il existe plusieurs problèmes potentiels que vous pouvez rencontrer lors de l'utilisation d'un racleur. Il peut s'agir de
La bonne nouvelle, c'est que ces problèmes peuvent tous être résolus si vous comprenez le fonctionnement des scrapers.
Les scrapers web simples suivent un modèle :
Il y a quelques domaines où les choses peuvent mal tourner.
Si le scraper ne collecte aucune donnée, cela peut être dû à un problème lié à la manière dont vous avez configuré l'analyseur, ou au fait que le scraper ne voit pas le même site que vous lorsque vous utilisez un navigateur web.
Pour savoir ce qui ne va pas, paramétrez votre scraper pour qu'il produise le code HTML de la page et comparez-le à la sortie normale du navigateur.
Si vous voyez une erreur ou une page différente, il se peut que votre client de scraping ait été banni. Le site peut avoir banni votre adresse IP ou le logiciel du client de scraper.
Essayez de modifier l'agent utilisateur identifié par votre scraper pour qu'il ressemble à un navigateur web moderne tel que Firefox ou Chrome. Cela pourrait vous aider à contourner des restrictions simples sur certains sites.
Si cela ne fonctionne pas, envisagez de configurer votre scraper de manière à ce qu'il utilise un proxy pour se connecter au site web en question. Un proxy est un serveur qui envoie des requêtes web en votre nom, de sorte que le site web ne peut pas savoir qu'elles proviennent de votre connexion internet.
Si vous voyez une page "normale", le problème est probablement lié à la manière dont vous avez configuré le scraper pour extraire les données. Chaque programme de scraping a sa propre façon de faire correspondre les motifs, bien que la plupart d'entre eux utilisent des expressions régulières. Assurez-vous qu'il n'y a pas d'erreurs typographiques dans la correspondance des motifs. N'oubliez pas que le programme fait exactement ce que vous lui demandez, de sorte qu'une seule petite erreur suffit à briser les règles de correspondance !
Un autre problème courant est qu'un scraper fonctionne pendant une courte période, puis cesse de fonctionner. Cela signifie généralement que le site web a bloqué votre adresse IP, de manière temporaire ou permanente, parce que vous avez envoyé trop de requêtes en peu de temps.
Dans ce cas, vous pouvez contourner l'interdiction en utilisant un proxy. Proxyscrape propose à la fois des proxys premium et résidentiels à utiliser pour le scraping de données. Premium datacenter proxys est rapide et offre une bande passante illimitée, mais ses adresses IP peuvent être reconnues par les webmasters comme provenant d'un centre de données. Les proxys résidentiels ont l'air d'être utilisés par des "utilisateurs privés", mais le débit disponible sur ces sites peut être plus faible.
Envisagez de changer le proxy que vous utilisez après quelques requêtes afin de réduire le risque d'interdiction de l'adresse IP du proxy. Vous pouvez également réduire le risque d'interdiction d'IP en réduisant la vitesse à laquelle votre scraper envoie des requêtes.
N'oubliez pas qu'un scraper peut travailler en arrière-plan, 24 heures sur 24, sans interruption. Même si vous limitez la vitesse du scraper à l'analyse d'une page toutes les 15 à 30 secondes, il travaillera plus rapidement qu'un être humain.
N'oubliez pas que de nombreux sites web, en particulier les plus petits, sont hébergés sur des serveurs dont la vitesse et la quantité de données qu'ils peuvent transmettre chaque mois sont limitées. Vous pouvez estimer qu'il n'est pas déraisonnable que votre robot récupère des données, mais si de nombreux autres utilisateurs font la même chose, ou si votre robot se "perd" et tente de télécharger indéfiniment les mêmes pages, vous risquez de nuire aux performances du site web pour les utilisateurs humains ou de coûter de l'argent au webmestre en consommant des ressources excessives.
Un autre problème que les spécialistes du marketing rencontrent souvent lorsqu'ils essaient d'utiliser un scraper web est que ce dernier s'embrouille et télécharge des pages qu'il ne devrait pas.
Imaginons que votre scraper ait pour objectif de trouver une liste de maçons dans votre ville, et que vous l'envoyiez à un annuaire dans lequel il effectue une recherche. Le scraper devrait :
Certains sites web sont conçus pour inclure des "pots de miel" qui piègent et confondent les robots. Ces pots de miel sont des morceaux de HTML qui sont définis avec une balise d'affichage disant "display:none", de sorte qu'ils ne s'affichent pas dans un navigateur normal. Les robots peuvent toutefois les voir et, s'ils ne sont pas configurés pour les ignorer, ils les traiteront comme du HTML normal.
Il est très difficile de programmer un robot de manière à ce qu'il ignore complètement tout le HTML qui piège les robots, car certains de ces pièges sont incroyablement sophistiqués. Ce que vous pouvez faire, cependant, c'est fixer des limites au nombre de liens que votre robot suivra. Vous pouvez également consulter vous-même la source de la page et rechercher les pièges les plus évidents afin de configurer le robot pour qu'il les ignore.
Le "web scraping" est une pratique que de nombreux sites désapprouvent et que les propriétaires d'entreprises doivent éviter de pratiquer. En vertu du GDPR, il est illégal de récupérer les informations d'un résident de l'UE sans son consentement, par exemple.
En outre, de nombreux sites web qui cachent des données derrière un écran de connexion interdisent explicitement le web scraping dans leurs conditions générales. Cela signifie que vous risquez d'être banni de ce site s'il s'avère que vous utilisez un scraper.
Si vous décidez d'utiliser le scraping pour collecter des prospects, essayez de le faire de manière raisonnable. Considérez le scraping comme un moyen de gagner du temps en recueillant des prospects que vous auriez recueillis de toute façon, plutôt que comme un moyen d'organiser une campagne de marketing massive.
Évitez de jeter un filet trop large avec le scraping. Il peut être tentant de recueillir les coordonnées de toutes les entreprises ou personnes de votre région et des environs, dans l'espoir de convertir l'une d'entre elles en client, mais une campagne aussi vaste et non ciblée se retournera très probablement contre vous.
Avant de lancer votre campagne de marketing, vérifiez les données que vous avez recueillies. Nettoyez la base de données pour supprimer toute donnée manifestement incorrecte, comme les entreprises qui ont fermé, les enregistrements en double ou les enregistrements de personnes qui ne se trouvent pas dans votre zone cible.
Une fois la campagne lancée, maintenez la base de données à jour. Si un prospect demande à être retiré de votre base de données, supprimez-le. Si vous êtes légalement en mesure de le faire dans votre juridiction, conservez juste assez de données sur lui pour ajouter son adresse électronique ou son numéro de téléphone à une liste de personnes à ne pas contacter, afin qu'il ne puisse pas être réintroduit dans votre base de données marketing la prochaine fois que vous ferez du scraping.
Voici d'autres éléments à prendre en compte lors de la gestion de vos campagnes de marketing :
La frontière entre le marketing proactif et le spam agressif est ténue. Les contacts répétés des spécialistes du marketing font partie du parcours du client et il est important de rester en contact avec les clients potentiels, mais un marketing trop agressif pourrait aliéner les prospects et donner une mauvaise réputation à votre marque.
Envisagez d'importer les données que vous obtenez grâce au scraping dans un système de gestion de la relation client (CRM) afin de pouvoir suivre chaque client, de savoir où il en est dans le processus de conversion et comment il a réagi aux messages marketing.
Cela vous permettra non seulement de garder le contrôle sur les clients individuels, mais aussi de voir plus facilement comment vos campagnes de marketing se déroulent collectivement afin d'affiner vos messages.
Le suivi de la source des pistes peut également être utile, car il vous donnera une idée des sources de données qui contiennent les informations de la plus haute qualité.