Gå til innhold

Scrape data fra Finn.no for bruk i Excel


Anbefalte innlegg

Jeg er novice på webutvikling, men er såpass kompetent at jeg vanligvis klarer å få til enkle ting. Men nå har jeg støtt på et problem: Når jeg bruker det innebygde verktøyet i Excel får jeg ingenting. Det er som en blank side. Antar Finn har gjort noe lurt for å unngå at hvem som helst får tilgang til å automatisere datafangst.

Spørsmålet er det finnes (pun intended) en vei rundt begrensningene til Finn?

Lenke til kommentar
Videoannonse
Annonse

nå tror jeg ikke excel er det beste verktøyet å bruke, men tipper finn har mekanismer som stopper dette. kanhende det hjelper å scrape fra mange forskjellige ip-adresser, skifte user-agent i requestene osv. så det ikke blir så lett å kjenne igjen, men du bør kanskje spørre deg selv om dette er innhold det er meningen du skal få lov til å scrape? svaret gir seg vel litt selv, basert på hvilke mekanismer som er satt inn for å beskytte det.  selv om innholdet er publisert på nett betyr det ikke nødvendigvis at du kan laste det ned systematisk og benytte det til hva du vil.

  • Liker 1
Lenke til kommentar

Det er fullt mulig å scrape finn.no. Hvordan du gjør det med noe innebygd verktøy i excel vet jeg ikke, men det er mulig å scrape finn med et eget verktøy laget i f.eks. python eller noe og så lagre dataen og importere det i excel. Det er garantert i mot deres retningslinjer, men generelt sett så er det vel sånn at hvis du gjør det kun for deg selv og altså kun gjør det i en mengde som genererer trafikken du selv kunne gjort manuelt så skal det godt gjøres å bli tatt/straffet. 

Kjenner flere som har scrapet finn for å ha prishistorikk på boliger. Fungerte knirkefritt.

  • Liker 1
Lenke til kommentar

rubrikk.no scrapet jo hele finn.no og ble tatt for det, men de fikk så vidt jeg vet et tilbud om å kjøpe tilgang etterpå. Pr nå viser de kortversjon med bilde på sine websider mens de måler klikk de sender videre til finn.no.

Kommer nok an på hvordan du har tenkt å bruke dataene du henter om det er akseptabelt eller ikke.

Finn er jo såpass stort at de kanskje har beskyttelse.

  • Liker 1
  • Innsiktsfullt 1
Lenke til kommentar

@quantum Jeg har ikke planer om å bruke noe dataene til noe kommersielle greier. Kun personlig bruk. Det er snakk om et titalls annonser jeg skal hente data fra. Jeg vet dem tilbyr API-tilgang, men kun til bedriftskunder. @Comma Chameleon var inne på noe, jeg har et utvalg biler jeg er interessert i og skulle samle sammen alt (pris, km-stand osv.) i et regneark. Så slo det meg at det måtte være mulig å automatisere det, slik at jeg slipper å trykke alt inn manuelt. 

Bryr meg ærlig talt ikke om vilkårene til Finn. Og helt ærlig tviler jeg sterkt på at dem kommer til å bry seg om meg. 

@Dan-Levi takk for tips. Skal sjekke ut hva jeg får til. 

Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
×
×
  • Opprett ny...