Laste ned og parse masse websider raskest?

[DrDoogie]

Lurer litt på hva ekspertene her mener er beste veien å gå, i situasjonen at man har flere websider å laste ned (les: ma-hasse sider), god båndbredde men mindre god maskin.

 

Kaste opp en masse tråder? Noe finurlig med å be om flere sider samtidig?

 

Hører med til historien at det hele går ut på å stjele en database, ved å poste GET og parse det man får.

[tvangsgreie]

Jeg har bare drevet med slikt før Perl fikk god trådstøtte (vet ikke hvor god den er nå). Jeg pleide bare å lage programmet slik at man kunne starte flere instanser av det. Med mindre du snakker med en særdeles rask maskin, vil den neppe takle mer enn 5-10 instanser av gangen uansett.

[Torbjørn]

Vet ærlig talt ikke. trådstøtte var buggy før version 5.6, men fork funker nok bra.

 

du kunne forka if scalar @procs < $max eller noe sånt.

 

det finns moduler får å finne andre processer. enda mere avansert, brukt shared memory for å holde kontroll på hvor mange processer som kjører

 

10 er sikkert et fornuftig tall.

 

hvilken db skal du bøffe?

[DrDoogie]

...10 er sikkert et fornuftig tall.

...hvilken db skal du bøffe?

 

Jau, det kan man jo telle til uten å ta av seg skoa óg...

 

Tror jeg bøffer først, og skryter av det etterpå.

[Torbjørn]

Hvor mange sider er det snakk om? 10,000 eller 100,000?

[DrDoogie]

Hvor mange sider er det snakk om? 10,000 eller 100,000?

 

1000 til å begynne med, så kan det heller stå å koke litt i bakgrunnen etter den tid.

[Torbjørn]

ok. si hvilken db det er da

[DrDoogie]

ok. si hvilken db det er da

 

Vilikkevilikkeikkeikkenei!

[Torbjørn]

hvordan gikk dette?