Finne ut om en nettside er oppdatert

[Qwark]

Driver å skriver ett program i c# som skal sjekke om en side er oppdatert med ett gitt intervall og vil ha en metode som er generell slik at den vil fungere på flest mulig nettsider.

Det jeg har prøvd og det er å lese "Last modified" , "modified since" samt å laste ned kildekoden og sammenligne koden fra forrige intervall med neste intervals kode.

Problemet at svært mange sider benytter javascript på sidene sine som gjør at kildekoden blir generert i det man gjør spørringen mot siden og "Last modified" blir satt til samme sekund som man gjør spørringen, og det lar seg ikke gjøre å sammenligne kildekoden da javascript ofte genererer unik kode for den hver spørring.

Så er det noen som har noen gode ideer for hvordan man kan få til å finne ut om en side har blitt oppdatert?

Endret 5. november 2008 av Qwark

[DeadManWalking]

kanskje laste ned filen, kjøre md5-hash på den for å sammenlikne med siste utgave? Bare kanskje, ikke sikker.

[steingrim]

Det jeg har prøvd og det er å lese "Last modified" , "modified since" samt å laste ned kildekoden og sammenligne koden fra forrige intervall med neste intervals kode.

Det er ikke alle som bryr seg om If-Modified-Since og det fungerer dårlig på dynamiske nettsteder.

 

Problemet at svært mange sider benytter javascript på sidene sine som gjør at kildekoden blir generert i det man gjør spørringen

mot siden og "Last modified" blir satt til samme sekund som man gjør spørringen, og det lar seg ikke gjøre å sammenligne kildekoden da javascript ofte genererer unik kode for den hver spørring.

Javascript endrer ikke Last-Modified ettersom Javascript eksekveres av klienten. Kildekoden, altså payloaden i GET-responsen, endres ikke av Javascript. Dynamiske nettsteder, generert av feks PHP, ASP, Java osv, fungerer dog ofte dårlig med If-Modified-Since, programmereren må gjerne gjøre noen beviste valg for å få det til å spille riktig sammen. Men det har altså ingenting med Javascript å gjøre.

 

Du har selvsagt sjekket om nettstedet tilbyr feeds (RSS/Atom)?

[Qwark]

nettstedet som jeg skullle bruke programmet på i utgangspuntet støtter ikke rss/atom, så jeg endte opp men så hente ut den spesifike kodebiten fra siden for så å sjekke om denne er oppdatert siden siste inteval. Noe som gjør at jeg må analysere hver side jeg ønsker å legge til og kode det inn i programmet. Vurderer å legge til en funksjon slik at jeg kan spesifisere hvordan tager på siden innholdet jeg ønsker å sjekke ligger mellom. Kansje ikke helt supert men bedre en ingenting.