web scraper

[silver_ang]

Buonasera a tutti,

ragazzi mi serve il vostro supporto per l'installazione di un web scraper o una dritta che me ne indichi uno più semplice.
Premetto che uso linux mint 18 sarah.
Da varie ricerche in rete la maggior parte dei web scrapers sono a pagamento, l'unico open source che ho trovato è scrapy.
Ho provato ad installarlo ma siccome è scritto in python già dall installazione ho notato differenze nella normale installazione da terminale (comando pip) che non conoscevo.

Inoltre seguendo i passaggi del sito sono andato in confusione (ovviamente per colpa mia, non so più cosa ho gia fatto e cosa ancora devo tentare, cosa è già installato e cosa installare. in ogni caso dal terminale mi appaiono messaggi in cui i comandi non sono stati eseguiti per vari motivi, versioni di pacchetti già installati che devono essere aggiornati, ecc ecc

Perciò, come premesso, mi date qualche dritta o mi suggerite altri scrapers?

Vi ringrazio anticipatamente.
Ciao a tutti

[silver_ang]

Salve a tutti ragazzi,

visto che non ci sono risposte (weekend è anche giusto) volevo aggiornare chi legge e chi leggerà la discussione sui progressi fatti:
prima di tutto il primo passaggio indicato dal sito :

Codice: Seleziona tutto

pip install scrapy

messaggi di errori per il comando pip, non era installato, poi non è aggiornato, lo aggiorno e ancora il comando non viene eseguito correttamente....
in un momento di estrema disperazione sono passato come root e il comando è andato senza messaggi di errore....spero di non aver combinato più casini di prima.
Ad ogni modo passando al root ha funzionato e con sudo non andava...

Andando avanti nella guida all installazione di scrapy tra le "thinks that are good to know" ci sono vari elementi che dovrebbero essere installata per far funzionare scrapy al meglio, per ora ho installato i 3 essenziali lxml, twisted, pyopenssl.
Vado avanti e vi aggiorno.
Buona domenica

[silver_ang]

salve ragazzi,
ho rinunciato al suddetto programma, un pò per tempo e un pò perchè vorrei qualcosa di più semplice da usare, si perchè oltre all'installazione, anche l'ultilizzo mi sembra molto più complicato di uno che conoscevo quando usavo windows, yellow page spider.
Aspetto ancora qualche suggerimento, poi chiudo la discussione.
Buona Domenica