PROGETTO

Scraping di siti web per dati di contatto strutturati

Sviluppo software personalizzato, Scraping dei dati dai siti web, Estrazione dei dati di contatto, Sviluppo di scraper riutilizzabili, Pulizia e convalida dei dati, Esportazione CSV ed Excel, Esportazione JSON, Dati pronti per il CRM

  • Settore: Ricerca di mercato
  • Croazia Posizione: Croazia
  • Tempi di consegna: 10 settimane
  • Tecnologie: Python, JavaScript / TypeScript (Node.js)
3 mesi

Questo cliente dedica tempo alla raccolta di dati di contatto e informazioni aziendali da siti web, database pubblici e directory online. Il software è una soluzione personalizzata per lo scraping di siti web che utilizza URL delle fonti e campi selezionati. Estrae i record di contatto, li pulisce e convalida, quindi restituisce file organizzati per il team di ricerca di mercato. L'estrazione riutilizzabile rende la raccolta ricorrente dei dati meno dipendente dall'inserimento manuale.

Riepilogo

Problema

Il cliente dedica tempo alla raccolta e al controllo manuale dei dati di contatto.

Soluzione

La soluzione è diventata uno scraper riutilizzabile per estrarre, pulire, convalidare e organizzare i dati specificati dei siti web.

Risultato

Il software è progettato per ridurre la raccolta manuale e le rielaborazioni nelle attività di ricerca di mercato.

Storia del cliente

Il cliente è una società croata di ricerca di mercato. Raccoglie nomi di aziende, indirizzi email e numeri di telefono da siti web aziendali, database pubblici e directory online.

Anche gli indirizzi fisici e altri dati aziendali fanno parte delle informazioni raccolte.

Il team prepara i dati di contatto per l'analisi di mercato, lo sviluppo commerciale, il telemarketing e l'importazione nel CRM. La raccolta manuale, i controlli ripetuti e i record duplicati richiedono tempo e generano rielaborazioni.

La richiesta era semplice: estrarre i campi di contatto selezionati da fonti definite, ripetere la raccolta quando necessario e consegnare file strutturati e puliti.

La soluzione è stata sviluppata attorno a una schermata per la configurazione delle fonti, un monitor delle esecuzioni, un'area per la pulizia dei dati e impostazioni di esportazione. I record potevano essere revisionati prima dell'utilizzo.

Il cliente ha richiesto

  1. Estrarre i campi di contatto da siti web, database, directory e fonti online
  2. Eseguire uno scraper riutilizzabile e riceverne il codice sorgente o il notebook
  3. Pulire, convalidare, organizzare e deduplicare i record estratti
  4. Esportare i dati strutturati in formato CSV, Excel, JSON o cartelle di lavoro categorizzate

Perché i software pronti all'uso non erano adatti

Gli strumenti pronti all'uso per l'estrazione dei dati coprono solo alcune parti dell'attività, ma le loro descrizioni non definiscono insieme i campi esatti del cliente, le regole di pulizia e i file di output. Serviva una soluzione personalizzata per combinare scraping ripetibile, convalida, deduplicazione, cartelle di lavoro organizzate e codice riutilizzabile in un unico processo.

Panoramica del progetto

La soluzione è stata progettata sulla base delle fonti, dei campi e delle regole effettive del cliente. La prima schermata definisce gli URL dei siti web, i campi di contatto e le impostazioni per le estrazioni ricorrenti prima dell'avvio.

Per gestire la raccolta da una o più fonti, è stato fornito un monitor dell'estrazione. Mostra in un unico spazio lo stato dell'esecuzione, gli URL delle fonti, i record estratti e le note sul caricamento o sull'accesso.

I record passano quindi attraverso la pulizia e la revisione. Corrispondenze duplicate, stato della convalida, campi di contatto e categorie restano visibili, così il responsabile dei dati può preparare un elenco di contatti coerente.

La schermata finale è stata progettata per una consegna pratica. Esporta i record organizzati in formato CSV, Excel o JSON e mantiene disponibili, insieme al file, le istruzioni di configurazione o le note sul processo.

Lo scraper utilizza codice riutilizzabile e può essere adattato alle regole del cliente. La documentazione e i materiali formativi supportano l'utilizzo autonomo del sistema.

Funzionalità principali fornite

  • Configurazione dell'elenco di siti e fonti
  • Estrazione dei campi di contatto selezionati
  • Scraping riutilizzabile e ripetibile
  • Monitoraggio delle esecuzioni di estrazione
  • Raccolta di email e numeri di telefono
  • Convalida e pulizia dei record
  • Rilevamento e deduplicazione dei duplicati
  • Categorizzazione dei dati di contatto
  • Esportazione CSV, Excel e JSON

Funzioni aggiungibili

+ Aggiornamenti ricorrenti del database Excel + Verifica di email e domini + Categorizzazione basata su parole chiave + Categorizzazione basata sulle date + Illustrazione del codice sorgente + Metodi di scraping aggiuntivi

Chi altro può utilizzare questa soluzione

Queste aziende svolgono attività simili e la stessa soluzione può essere adattata alle loro fonti, ai loro campi e alle loro regole di consegna.

Un'azienda di servizi alle imprese

Attività Raccoglie dati aziendali e di contatto da siti web pubblici e directory.
Come aiuta la soluzione La soluzione estrae i campi selezionati, rimuove i record duplicati e prepara file per l'importazione nel CRM o per lo sviluppo commerciale.
Servizi aziendali

Un'azienda di servizi professionali

Attività Crea elenchi di contatti da siti web aziendali e fonti online.
Come aiuta la soluzione La soluzione raccoglie indirizzi email, numeri di telefono e dati aziendali in file strutturati.
Servizi professionali

Stack tecnologico

Python

Scraping e automazione del browser

Python supporta il crawling web, il parsing delle pagine e l'estrazione tramite browser.

JavaScript / TypeScript (Node.js)

Elaborazione di file strutturati

JavaScript e TypeScript supportano l'elaborazione di file strutturati.

Scrapy

Crawling e scraping di siti web

Scrapy (un framework per il crawling e lo scraping di siti web) raccoglie record dalle fonti definite.

BeautifulSoup

Parsing di pagine HTML

BeautifulSoup (una libreria che legge le informazioni dalle pagine web) analizza il contenuto delle pagine e individua i campi specificati.

selenium

Estrazione tramite browser

selenium (uno strumento che controlla un browser web) supporta l'estrazione quando il caricamento richiede un browser.

csv-parse

Lettura e parsing di file CSV

csv-parse (una libreria Node.js per la lettura dei file CSV) legge dati CSV strutturati.

maatwebsite/excel

Esportazione Excel e CSV

maatwebsite/excel (un pacchetto Laravel per file Excel e CSV) supporta la consegna di fogli di calcolo organizzati.

jsonify

Gestione dei dati JSON

jsonify (una libreria JavaScript per lavorare con JSON) supporta i record JSON senza modificare gli oggetti globali.

CSV, Excel, JSON

Consegna di dati strutturati

Questi formati contengono record di contatto organizzati per l'analisi, l'importazione nel CRM e altri utilizzi aziendali.

Integrazioni

CRM systems

La soluzione esporta record di contatto organizzati in formati adatti all'importazione nel CRM.

Excel

La soluzione esporta dati di contatto categorizzati e cartelle di lavoro organizzate come file Excel.

CSV files

La soluzione legge e scrive record di contatto separati da virgole per uno scambio strutturato.

JSON files

La soluzione fornisce record strutturati in formato JSON per i sistemi che utilizzano questo formato.

Email verification service

Un servizio di verifica delle email può controllare gli indirizzi email e i domini prima della consegna.

Il risultato

Imposta fonti e campi precisi prima della raccolta

La prima schermata mantiene specifica la richiesta di estrazione. URL dei siti web, elenchi delle fonti e campi di contatto selezionati definiscono ciò che lo scraper raccoglie.

Come funziona

  1. Il software memorizza i siti web e gli elenchi delle fonti specificati.
  2. Il software conserva campi selezionati come email, numero di telefono e indirizzo postale.
  3. Il software memorizza le impostazioni per le estrazioni ricorrenti.
  • Gli indirizzi email e i numeri di telefono sono disponibili come campi di contatto separati.
  • Gli indirizzi fisici e i dati aziendali possono essere inclusi nei campi selezionati.
Configurazione delle fonti e dei campi

Configurazione delle fonti e dei campi

Funzioni presenti in questa schermata
Scraping dei dati del sito web Scraping degli indirizzi email Estrazione dei numeri di telefono Estrazione degli indirizzi fisici

Visualizza l'avanzamento dell'estrazione e i record raccolti

Il monitor dell'estrazione riunisce URL delle fonti, stato dell'esecuzione e record estratti. Avvisi di accesso e note sul caricamento rendono visibile il comportamento delle fonti durante la raccolta.

Il team visualizza chiaramente i record restituiti da uno o più siti web prima della fase di pulizia.

Come funziona

  1. Scrapy (un framework per il crawling e lo scraping di siti web) raccoglie dati dalle fonti elencate.
  2. BeautifulSoup (una libreria che analizza le pagine web) legge il contenuto dei siti ed estrae i campi specificati.
  3. Il software mostra lo stato dell'esecuzione, gli URL delle fonti, i dati estratti e le note sul caricamento o sull'accesso.
  • L'estrazione supporta più pagine e siti web.
  • Lo scraper può essere rieseguito con regole riutilizzabili.
Nota: Le regole di raccolta devono rispettare il comportamento dei siti web, i termini delle piattaforme, le leggi sulla privacy, il GDPR e gli altri requisiti applicabili.
Monitor dell'esecuzione dell'estrazione

Monitor dell'esecuzione dell'estrazione

Funzioni presenti in questa schermata
Scraping dei dati del sito web Estrazione dei dati

Prepara record di contatto più puliti

La schermata di pulizia offre al responsabile dei dati un unico spazio per revisionare lo stato della convalida, le corrispondenze duplicate e le categorie. I record di contatto restano organizzati prima dell'esportazione.

Gli indicatori dei duplicati aiutano a separare le voci ripetute dall'elenco di contatti utilizzabili, mentre le categorie preparano i dati per l'analisi o il contatto commerciale.

Come funziona

  1. Il software mostra indirizzi email, numeri di telefono e indirizzi postali nella tabella dei contatti.
  2. Il software confronta i record e mostra le corrispondenze duplicate e lo stato della convalida.
  3. Il software applica categorie ai record di contatto organizzati.
  • I record possono essere categorizzati per date o parole chiave.
  • Un servizio di deduplicazione dei dati può supportare la prevenzione dei duplicati.
Pulizia e deduplicazione dei record

Pulizia e deduplicazione dei record

Funzioni presenti in questa schermata
Organizzazione dei dati di contatto Prevenzione dei duplicati Servizio di deduplicazione dei dati Pulizia di grandi set di dati Categorizzazione dei dati Estrazione dei dati di contatto

Consegna i dati nel formato utilizzato dal team

La schermata di esportazione trasforma i record revisionati in una consegna pratica per l'analisi o l'importazione nel CRM. CSV, Excel e JSON mantengono flessibile la consegna senza modificare i campi delle fonti.

Le istruzioni di configurazione e le note sul processo restano collegate alle impostazioni di consegna, aiutando il team a capire come funziona l'estrazione.

Come funziona

  1. Il software prepara record di contatto organizzati per l'output CSV, Excel o JSON.
  2. Il software crea un riepilogo del file per il formato selezionato.
  3. Il software fornisce collegamenti alle istruzioni di configurazione o alle note sul processo.
  • I file CSV supportano lo scambio strutturato.
  • I file Excel supportano cartelle di lavoro categorizzate.
  • I file JSON supportano l'utilizzo dei dati tra sistemi.
Impostazioni di esportazione e consegna

Impostazioni di esportazione e consegna

Funzioni presenti in questa schermata
Esportazione degli elenchi di contatti aziendali Strumento di esportazione Excel Gestione dei dati CSV

Cosa offre la soluzione

Con questa soluzione, la società di ricerca di mercato può:

  • Raccogliere i campi di contatto e aziendali specificati dalle fonti online definite
  • Ripetere le regole di estrazione per la raccolta ricorrente dei dati
  • Controllare lo stato della convalida e le corrispondenze duplicate prima della consegna
  • Organizzare i record per categorie come date o parole chiave
  • Esportare dati di contatto puliti per l'analisi e l'importazione nel CRM
  • Mantenere codice riutilizzabile, istruzioni di configurazione e note sul processo

I sistemi pronti all'uso avrebbero potuto svolgere il lavoro?

Prima della progettazione, l'attività è stata confrontata con prodotti pronti all'uso sulla base delle loro descrizioni.

Ciò di cui il cliente ha bisogno API di web scraping Zyte, Scrapfly, ScrapingBee Strumenti di web scraping Octoparse, Oxylabs Software per l'estrazione dei dati Data Extraction Soluzione personalizzata
Estrarre i campi di contatto dalle fonti parzialmente
Rieseguire lo scraper con il codice sorgente — parzialmente parzialmente
Pulire e deduplicare i record — parzialmente
Esportare file di contatto strutturati
Adattarsi alle regole del cliente: fasi, ruoli, report — — —
Tutti i passaggi in un unico spazio — — —
Nessun passaggio manuale tra i programmi parzialmente — parzialmente

In base alle descrizioni pubbliche dei prodotti e della loro categoria.

I prodotti pronti all'uso coprono l'accesso ai siti web, il crawling, l'estrazione e la consegna dei file, mentre i software generici per l'estrazione dei dati coprono il recupero di dati più ampio.

Un prodotto pronto all'uso è sufficiente quando l'attività richiede solo una di queste componenti. Questo cliente aveva bisogno di un software proprio perché campi richiesti, regole di pulizia, categorie, codice riutilizzabile ed esportazioni dovevano funzionare insieme in un unico spazio.

I prodotti descrivono una raccolta automatizzata, ma le regole del cliente per revisione, convalida, deduplicazione e consegna richiedono comunque un processo personalizzato.

In definitiva

In definitiva, la soluzione è stata realizzata per eliminare il lavoro manuale nel percorso dalle fonti online pubbliche ai file di contatto puliti.

FAQ

Stai pensando di creare un sistema simile? Leggi le risposte qui sotto per scoprire come scraping, esportazioni strutturate e regole personalizzate possono integrarsi.

Ti serve qualcosa di simile? Parliamone
Oppure esplora altri progetti