Lese tekst fra ekstrern web-side?

[echoromeo]

Hei!

 

Eg har lyst å få kun Dagens Tema frå TV2 sin værfotokonkurranse på mi eiga side så eg slepp å gå inn og scrolle ned kvar gong eg skal sjekke, er det mogleg? Det eg vil ha ut er for eksempel i dag "Til torsdag 4. februar kl 12: Vinglepetter".

 

Eg har prøvd med sånt som fopen() og file_get_contents(), men reknar med at enten så er eg heilt på vidda eller så har sidene til storm blokkert for sånt?

[TheClown]

De funksjonene funker dersom fila du prøver å åpne er i CHMODE777 og de ligger på din server (så vidt jeg veit). Det du spørr om er vel Curl?

[Jonas]

Både file_get_contents og fopen kan brukes til å lese fra eksterne sider, forutsatt at allow_url_fopen er skrudd på.

[echoromeo]

Jonas, meiner du at allow_url_fopen må være skrudd på hos meg eller hos storm?

 

Googla litt på curl og kom fram til det under, som funka flott testa på example.com, men får error når eg prøvar med den tiltenkte urlen.

 

// create a new cURL resource
$ch = curl_init();

// set URL and other appropriate options
curl_setopt($ch, CURLOPT_URL, "http://www.storm.no/fotokonkurranse/");
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 2);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_RANGE, "1500-1600");

// grab URL and pass it to the browser
$buffer = curl_exec($ch);

// close cURL resource, and free up system resources
curl_close($ch);

if (empty($buffer))
{
print "Empty";
}
else
{
print $buffer;
}

 

Er dette et håplaust prosjekt, eller er eg håplaus?

[TheClown]

Jeg kan ikke curl, men jeg tror dette burde vært veldig mulig å få til. Kanskje du må ha med filnavn i curlen?

[nomore]

Post feilmeldingen du får her.

[Even_A]

Hvorfor ikke bruke fsockopen? Ettersom linja <b>Dagens Tema </b> alltid er før det du skal ha, kan du parse ut det du vil ha av kildekoden.

[echoromeo]

nomore: Einaste feilmeldinga eg har er "An application error occurred on the server. The current custom error settings for this application prevent the details of the application error from being viewed remotely (for security reasons)."

 

 

No har eg prøvd fsockopen også, som funkar flott på f.eks www.example.com, men ikkje på www.storm.no/fotokonkurranse/ (eller www.storm.no heller).

Filnavnet har eg ikkje peiling på, reknar med det startar på index.?

[nomore]

Vel, feilmeldingen sier jo at du ikke kan se feilmeldingen om du kobler deg til fra en annen maskin. For å kunne finne ut av mer må du derfor gjøre det samme i fra selve maskinen, for å se selve feilmeldingen.

 

Og det er ingen garanti for at startfilen heter index.?.

[Wattengård]

Tror du prøver å gjøre det litt vel vanskelig... Fins det ikke noen screenscraping-bibliotek til php?

 

http://www.bradino.com/php/php-screen-scraping/

 

-C-

[Martin A.]

storm.no har nok blokkert user-agenten til cURL, PHP, perl, etc. Om man setter noe annet som user-agent, går det helt fint.

 

<?php

// create a new cURL resource
$ch = curl_init();

// set URL and other appropriate options
curl_setopt( $ch, CURLOPT_URL, 'http://www.storm.no/fotokonkurranse' );
curl_setopt( $ch, CURLOPT_CONNECTTIMEOUT, 10 );
curl_setopt( $ch, CURLOPT_TIMEOUT, 10 );
curl_setopt( $ch, CURLOPT_RETURNTRANSFER, 1 );
curl_setopt( $ch, CURLOPT_SSL_VERIFYPEER, 0 );
curl_setopt( $ch, CURLOPT_USERAGENT, 'Googlebot/2.1 (+http://www.google.com/bot.html)' ); 


// grab URL and pass it to the browser
$buffer = curl_exec($ch);
$buffer = str_replace( array( "\n", "\r" ), '', $buffer ); // Nasty opplegg :S
curl_close($ch);

preg_match( "#<p><b>Dagens tema </b></p><p>(.*?)</p>#i", $buffer, $mathces );

print_r( $mathces );

[echoromeo]

Tusen takk m4tin! overraska meg ikkje at noko var sperra..

[AlecTBM]

Uhm, er det bare jeg som ser at det er en flash app?

[Ernie]

Les litt nøyere så ser du at det er snakk om noe fra teksten lenger ned, og ikke noe fra flash-applikasjonen.

 

Forøvrig er vel ikke dette spesielt lovlig uten avtale med TV2/Storm.

[AlecTBM]

Ja jeg leste helt feil

 

Ang lovlighet så er det vell ikke lov nei, er liksom en grunn til at de har sperra

Men om du skal bruke det selv og ikke spre så er det tvilsomt at noen gjør noe med det

[Ernie]

Til privat bruk er det nok muligens lovlig, men da må det heller ikke være framvist på noen måte. Mao. det går dårlig å ha det på sin egen hjemmeside.n