Grabe urls og annen nyttig informasjon fra en webside.

[googlerian]

Kan du være så snill å komme med noen gode anbefalinger om hvilke programmer, som kan benyttes til grabing etter nyttig informasjonsmateriell?

 

Jeg er på utkikk etter et program, som klarer å "grabe" alle url`er på en webside.

 

m.v.h

Googlerian - googlere enn googlest!

[Lurifaksen]

Vet ikke om det var akkurat dette du tenkte på, men i den nye betaen av opera 7 som kom i dag, er det med en funksjon som viser alle linker på websidene.

[Torbjørn]

Perl greier jobben veldig lett!

 

Code:

#!/usr/bin/perl use LWP::Simple; use HTML::TokeParser; $url='http://hw.no'; $html=get($url); $parser=HTML::TokeParser->new($html); while($tag=$parser->get_tag('a')){ my $href=$tag->[1]{href}; print $href,"n"; }

[googlerian]

Quote:

Den 2002-12-19 00:51, skrev GeeZuZz: Vet ikke om det var akkurat dette du tenkte på, men i den nye betaen av opera 7 som kom i dag, er det med en funksjon som viser alle linker på websidene.

 

Du nevner akkurat det som jeg er på utkikk etter. Nemlig det å "grabe" alle linker på en webside/-ene.

Vet du om noen andre shareware/freeware programmer, som har samme funksjon?

 

Takker uansett for ditt forrige svar!

 

m.v.h

Googlerian!

[Torbjørn]

Den grabbet forresten alle linker (<A tags), men kan lett skrives om til å ta ut det du trenger fra en side.

 

resultatet kan sees her

 

[ Denne Melding var redigert av: Torbjørn på 2002-12-19 01:26 ]

[googlerian]

Quote:

Den 2002-12-19 01:13, skrev Torbjørn: Perl greier jobben veldig lett! Code: #!/usr/bin/perl use LWP::Simple; use HTML::TokeParser; $url='http://hw.no'; $html=get($url); $parser=HTML::TokeParser->new($html); while($tag=$parser->get_tag('a')){ my $href=$tag->[1]{href}; print $href,"n"; }

 

Må ærlig innrømme at mine kunnskaper innenfor perl og de fleste andre programmeringsområder er svært - Svært- SVÆRT dårlige. Takker for ditt svar!

 

m.v.h

Googlerian!

[sberg43]

Et annet alternativ for å finne alle URLer til en webside er dette programmet, URLSnooper:

 

http://sun.sj.net.cn:8080/souxin/software/...Snooper-106.zip

 

Du skriver egentlig ikke så mye om hva du skal bruke dette til men ofte så vil man laste ned et nettsted (eller deler av et). Da pleier jeg å bruke HTTrack

 

http://www.httrack.com/

[pskard]

wget (linux) funker veldig bra.

[Darth Kjell]

Vet ikke hva du skal med det der, men hvis du har tenkt å leeche bilder/linker bør du være litt forsiktig. Something Awful skifter som regel ut linken til leechede bilder... du vil helst ikke se hvilken bilder de setter inn i stedet :smile:

 

Man skal heller ikke "stjele" båndbredde fra andre sider. Spør om lov.

 

Men som jeg sa; jeg vet ikke hva du skal gjøre med linkene.

[castor]

Enkel løsning på et enkelt problem (som allerede er nevnt).

 

Last ned Opera fra http://www.opera.com, (stable version)

-> installer opera

-> start opera

-> gå til siden med alle de fantastiske linkene

-> trykk "Ctrl+J"

 

voila!

Du har nå muligheten til å copy-paste alle url'ne som er siden.

 

- castor -

- http://www.techcrew.no -