Hva er det beste nettskraper biblioteket for å skrape store menger informasjon ?

[pedero]

Hei, jeg driver å lete etter et godt nettskraper bibliotek for å skrape store mengder informasjon, noen ganger i timen.

 

Biblioteket burde helst være skrevet i Java(tenker å bruke Scala), men kan også være skrevet i enten python eller javascript så lenge det er nogen lunde effektivt.

 

Noen som har noen gode tips ?

 

PS. Hadde vært kjekkt om det også hadde en HTML parser innbyggd, og kunne behandle javascript på en god måte.

[siDDis]

Bruk Jsoup, finn alle a tags, last ned hrefene på nytt, finn alle a tags last ned alle hrefene på nytt osv.....

[pedero]

Bruk Jsoup, finn alle a tags, last ned hrefene på nytt, finn alle a tags last ned alle hrefene på nytt osv.....

Hvorfor snakker du om linker ?

 

 

Målet mitt er ikke å samle inn så mye informasjon som mulig. Målet mitt er å samle inn avisartikler for å samle flere nettaviser på samme sted.

[Enthroner]

RSS er ikke bra nok?

 

For å svare på spørsmålet ditt liker jeg denne best http://jsoup.org/

http://dispatch-classic.databinder.net/JSoup.html

 

Lykke til!

[pedero]

RSS er ikke bra nok?

 

For å svare på spørsmålet ditt liker jeg denne best http://jsoup.org/

http://dispatch-classic.databinder.net/JSoup.html

 

Lykke til!

Vel planen min er å skrape de nettavisene jeg leser, og samle de på en side. Og hvis noen artikler handler om det samme vil man kunne velge imellom nettavisene.

 

 

PS. hadde Heritirx + Jsoup vært en god kombinasjon ?

Endret 17. februar 2015 av pedero

[Gjest Slettet+9871234]

http://webbotsspidersscreenscrapers.com/ Der kan du også laste ned kode,