Brukerstatistikk - er spillsidene biased?

[prebenl]

Har lenge fundert om spillsider er biased, etter all kjefting fra fanboys verden over. Her forsøker jeg å finne ut av det med litt statistikk. Undersøkelsen går på PS3 og 360. For å måle om sidene er "biased" har jeg gått frem på følgende måte: Jeg har sanket anmeldeler fra ni eksklusive spill til hver plattform, samt gjennomsnittet disse spillene har fått på gamerankings. Kvaliteten på disse spillene i seg selv har ikke noe å si, da det ikke er selve karakterene, men hvordan disse helhetlig henger sammen med karaktergivningen til gjennomsnittet som skaper resultattallene.

 

Hele regnskapet er inkludert i en Excel-fil, jeg poster kun resultatene her. Tallene er altså et statistisk gjennomsnitt for hvor mange prosentkarakterer over eller under gjennonsnittet en side ligger på henholdsvis PS3 og 360-anmeldeldser. Jeg antar at et avvik på opp mot 10 prosentkarakterer vil være akseptabelt på grunn av begrenset statistikkgrunnlag. Mulig jeg utvider statistikken på et senere tidspunkt. Jeg tok ikke med sider som åpenlyst favoriserer en av plattformene, men kun de som utad fremstår som nøytrale.

 

Gamespot

360: -1.94

PS3: -4.13

 

Litt i 360s favør, men ikke noe urovekkende.

 

1UP

360: -3.44

PS3: -0.33

 

Mildt sagt overraskende at siden som stadig blir kalt "Microsoft Defence Force" faktisk er en av de snillere med PS3-karakterene.

 

IGN

360: 1.11

PS3: 2.78

 

Litt snillere med karakterene, men ikke veldig.

 

Eurogamer

360: -5.11

PS3: -13.11

 

Strenge karakterer generellt. I grenseland til suspekt strenge PS3-karakterer.

 

VG

360: -4

PS3: -20

 

Desidert dårligst ut av fanboytesten er det vår kjære VG som kommer. Hele 20 prosentkarakterer under gjenomsnittet for PS3-spillene.

 

 

Så hva sier folket, er det tilfeldig? At hvert enkelt spill skal ligge på snittet er jo selvfølgelig ikke et mål, men man skulle jo tro at avviket i karaktersnittet for en plattform burde holde seg mer eller mindre lik avviket for den andre plattformen.

 

Edit: Glemte å legge ved selve statistikkgrunnlaget. Er nå å finne i vedlagt PDF og zippet Excel-fil.

Sidestatistikk.pdf

Sidestatistikk.xls.zip

Endret 20. november 2007 av Geofrank

[psino]

Hvem er vel unbiased i våre dager?

 

Du har et poeng med at avvikene kanskje burde stemme ca. overens med hverandre, men siden statistikken bygger på seg selv, så er jeg usikker på hva vi egentlig kan trekke ut av det.

 

Det kan jo bety at de andre sidene bare er for snille mot den ene plattformen de har forelsket seg i eller noe også. Som sagt, det kan slå begge veier.

Endret 20. november 2007 av psino

[cyclo]

Det vil jo være den enkelte spillanmelders preferanser og subjektive oppfatninger som avgjør. Ingen anmeldelse av noe som helst er objektiv. Jeg tipper du vil finne enda større avvike på enkelte andre typer anmeldelser, f. eks. bøker eller musikk.

 

For å være helt ærlig så ser jeg ikke helt hverken hva du vil fram til, eller at denne statistikken sier noe som helst bortsett fra at forskjellige anmeldere har forskjellige preferanser.

 

F. eks. vet man jo ikke i det hele tatt hva utslaget kommer av. Kanskje den som har skrevet flest anmeldelser hos en side favoriserer en konsoll, kanskje h*n favoriserer en type spill som det finnes mange flere av til en konsoll, det kan være så mye.

Endret 20. november 2007 av cyclo

[Mr.FOXHOUND]

Jeg tviler sterkt på at sidene heller mot den ene eller andre konsollen, spesielt såpass store publikasjoner som dette. Det er tross alt ikke én person som har anmeldt alle disse spillene (går jeg ut ifra), og jeg tviler på det står noe sted i jobbeskrivelsen deres at de må konsekvent gi et spill av konsoll X lavere karakter enn gjennomsnittet (som for øvrig vanligvis ikke er kjent da karakteren gis).

 

For øvrig morsomt å se statistikk fra VG der. Dette viser vel bare at de burde slutte å anmelde spill.

[prebenl]

Jeg tipper du vil finne enda større avvike på enkelte andre typer anmeldelser, f. eks. bøker eller musikk.

Det er jo ikke avvikene som er tingen, det er forskjellen mellom avvikene på de ulike konsollene. Så hele grunnlaget for undersøkelsen ville vært meningsløs i en slik sammenheng, med mindre forlags-fanboyisme er større enn jeg vet om.

 

Jeg tviler sterkt på at sidene heller mot den ene eller andre konsollen, spesielt såpass store publikasjoner som dette.

De store publikasjonene hadde da også for det meste veldig like avvik på konsollene.

Endret 20. november 2007 av Geofrank

[Mr.FOXHOUND]

Da kan man vel snu problemstillingen på hodet igjen, og spørre seg om det er de mindre publikasjonene (eller i det minste de som ikke blir nevnt her) som er biased?

[pertm]

Jeg gjorde litt mer staestiskk utregning på tallene med t-test som sier hvor stor sannsynlighet det er for at tallene er fra samme populasjon altså liten forskjell hva de inneholder. Lave tall betyr at forskjellen mellom de fulle datasettene er 5% eller mer som er en verdi jeg satt

 

VG fikk under 2%

Gamespot fikk 18 %

1UP 43%

IGN 25%

Eurogame 3%

Totalt med alle anmeldelsene tilnærmet 0 %

(Dette blir påviket av de som har stor forskjell)

 

Når det er under 10 % så er det ganske stor forskjell på dataene. Tallet vil være sikrere jo flere målinger en har

Endret 20. november 2007 av pertm

[Akrabra]

http://www.eurogamer.net/article.php?artic...7875&page=3

 

vel her kan jeg si at eurogamer var usedvanlige strenge mot xbox!:o

[KongRudi]

Jeg begynner å bli litt oppgitt over Gamespot, de 3 ukene på både On the Spot og Hotspot, er så å si PS3-fritt.

R&C og Uncharted ble ignorert totalt under tiden de kom ut, og nå er siten blitt ett tre-spill promotion site, som går omigjen, omigjen og omigjen i det uendelige.

Så hvis du digger Rock Band, Crysys eller Mass Effekt trailere, er det en fantastisk plass, hvis ikke kan du bare ignorere hele siten. :-/

[Allt í lagi]

http://www.eurogamer.net/article.php?artic...7875&page=3

 

vel her kan jeg si at eurogamer var usedvanlige strenge mot xbox!:o

Hvis det er scoren du tenker på(har ikke tid til å lese hele), så kan jeg fortelle deg at det er overhodet ikke strengt. Mass Effect har faktisk fått nede i 60% score.

 

Btw, veldig bra hovedinnlegg. Og Shamespot er totalt udugelige. Har sletta dem fra bokmerkelista for lenge siden.

Endret 20. november 2007 av bakaxel

[UrgeLoL]

Tror ikke det er til å unngå at en del sider blir ganske så biased etterhvert. Vi er flokkdyr å følger ofte etter sterke personligheter. Om en sterk personlighet, på en nettspillside, virkelig brenner for xbox 360 så vil dette ofte smitte over på andre som jobber sammen med denne personen. Disse personene er ofte også venner, ikke bare på jobb men også privat, og det er ofte slik at man har den spillekonsollen som vennene dine også har. Så spillsidene er uten tvil meget biased.

 

En av utviklerene av Killzone postet noe som kunne være interessant å lese i sammeheng med dette.

 

lol, damn, that is the SWEETEST perk for sure!

 

so, Seb, what is your opinion on how the reviewing system is these days? i mean, some reviewers are throwing out high 9's & 10's like confetti. i for one, only read reviews as entertainment. i never base my opinion of games until i personally play them myself and i know i'm my best reviewer.

 

Yeah, it is getting a bit silly at the moment. There is no such thing as a 'perfect game'. Whenever I see the 100/100s I want to take the reviewer, sit him down and start questioning him a bit. "That textures sucks, is the game still perfect?" "There is a collision bug here, still perfect?" "What about this interface? Oh you can forgive that because the rest of the game is so awesome?" and so on.

 

I think reviewers have just gotten themselves into a bit of a corner by having to give better and better reviews because Bob at game.com gave it a 90, so I have to give it a 91. Or maybe they reviewed a game, thought it was the best thing ever, gave it a 95 and the next week a game comes in and suddenly that is the best thing ever, and they feel compelled to give it a higher score. I don't know to be honest.

I do know that there is a great big hole between 10 percent and 75 percent that is considered "crap-game zone" and that mentality should change. 50% should be a average, no brain-game that the player can have some fun with. 75% should be a decent game that is worth downloading a Demo for or looking at closer. Anything above that should then be hallowed ground where the great games lie.

 

As to how to solve it... tough one. Maybe an industry wide scoring and reviewing system. Something a little more scientific than just slapping an arbitrary number on something. There is some good, unbiased reviewers out there, but finding them is difficult.

The next point might be more contentious. Should marketing departments from publishers stop sending out press-kits, or have lavish extravagant press-events where the potential reviewers are pampared and given free stuff. This is where it goes into difficult territory as this could lead to calling the reviewers subjectivity into question. Was he bought? Did the game get a 9/10 because h went skydiving and got drunk with some hot women in mini-skirts?

 

Maybe if we sent out less freebies and cut out the perks on this side, we would maybe get a more accountable and serious reviewer base that judges the games for what they are. I don't know, I am just thinking out loud, but fact is, the system is broken. Maybe the solution is as simple as just moving away from 100 percent scores. Maybe the governing bodies should take an interest in this and bring the industry and the media together to figure this out.

 

[Disclaimer: These are the opinions of Seb and not those of Sony Computer Entertainment or Guerrilla Games etc etc. All reviewers are great and should be showered with gifts and naked women. ]

Endret 20. november 2007 av UrgeLoL

[Bear^]

Jeg bare spør, hvorfor er ikke Wii tatt med i den testen? Blir det ikke litt feil å dømme en side basert mot 1 side når du selv kun baserer deg på 2/3 av denne generasjons konsoller?

[S-r-ex]

Litt enig med det Seb sier. Halo 3 er ett eksempel. Hadde spilet vært perfekt, hadde spillmagasinet gitt 6'er og ikke 4. Ta denne: http://www.escapistmagazine.com/articles/v...ctuation-Halo-3

Anmelderen sier at spillet ikke er perfekt og at MS-boys sier at co-op gjør opp som en unnskyldning. Men burde et perfekt spill ha noen unnskyldning i det hele tatt? (jadda, jeg er Sony-boy som drar H3 som eksempel, FLAME ME!)

Endret 20. november 2007 av S-r-ex

[Monkeyboy]

Bra initiativ! Foreløpig tar jeg resultatene med en stor klype salt, siden utvalget er ganske begrenset. Men hvis denne tråden holdes oppdatert kan den bli veldig interessant med tid.

 

Enig med Bjørnen, Wii bør tas med.

 

At VG kommer så skjevt ut kan også ha å gjøre med skalaen de bruker; terningkast, istedet for mer nøyaktige 10 eller 100. Men det forklarer neppe hele avviket.

 

edit: kutta ut et dårlig resonement.

Endret 20. november 2007 av Monkeyboy

[Jakoozie]

Ingen tvil om at mange anmeldere er biased. At et helt blekke (side) er litt vanskeligere å tro, men også mulig.

At Halo 3 fikk så gode scores som det gjorde sier mye om dette. Om disse anmelderne som ga spillet top score er biased mot Microsoft eller Halo serien selv er et annet spørsmål.

[prebenl]

Skal ta med Wii i neste oppdatering. Grunnen til at det ikke er med er enkelt og greit at det tar litt tid. Skal også ta med flere spill hos de andre.

 

Er et poeng det noen sier at VG har terningkast i steder for tierskala. Det gjør karakterene deres litt mindre nøyaktige, men et større grunnlag burde hjelpe. Uansett er jo avviket på ca. akkurat ett terningkast, altså er det merkbart til og med på deres egen terningskala.

[Bear^]

Men å si at en side heller mot 1 konsoll grunnet snittet på karakterene synes jeg blir feil. Her er det snakk om forskjellige mennesker som har gjort de forskjellige omtalene og de har selvfølgelig egene meninger og.

 

Min mening er at for at dette skal bli rett må du velge omtaler skrevet av 1 skribent og heller si at han heller mot 1 konsoll.

 

Det kommer og ann på spillet som er anmeldt for karakteren kan være dårlig fordi spillet faktisk er dårlig. Men Om da PS3 f.eks har hadt 5 dårlige spill og X360 5 gode spill og omtalene reflekterer dette, så blir resultatet vist slik at siden er basert mot X360.

 

Så i bunn og grunn er dette en fanboy heksejakt og pekefinger "AHA" på dem som er med i Gutta boys gjengen.

[Allt í lagi]

Wii er jo praktisk talt forrige "generasjon", derfor synes jeg ikke den bør være med.

Og anmeldelsene til IGN er selvfølgelig de beste, siden de har egne team for hver plattform. Xboysa anmelder 360 spill, PLAYSTATION-folket anmelder PS3 spill osv. Scorene er praktisk talt alltid høye men rettferdige etter IGN's standard.

[prebenl]

Min mening er at for at dette skal bli rett må du velge omtaler skrevet av 1 skribent og heller si at han heller mot 1 konsoll.

I praksis leser man som regel bestemte spillsider, og ikke spillanmeldelser fra bestemte anmeldere. Selvsagt kan det være forskjellige meninger internt, men det er tross alt en redaktør som har ansvar for å kvalitetssikre innholdet på sin side. Jeg prøver bare å luke ut de verste eksemplene, da det er lettere å unngå en bestemt spillside enn en bestemt anmelder.

 

Det kommer og ann på spillet som er anmeldt for karakteren kan være dårlig fordi spillet faktisk er dårlig. Men Om da PS3 f.eks har hadt 5 dårlige spill og X360 5 gode spill og omtalene reflekterer dette, så blir resultatet vist slik at siden er basert mot X360.

Som sagt er det uvesentlig om jeg har 9 dårlige PS3-spill og 9 gode 360-spill i utvalger. Det er avviket jeg ser på, ikke selve snittet.

[Bear^]

Wii er jo praktisk talt forrige "generasjon", derfor synes jeg ikke den bør være med.

Og anmeldelsene til IGN er selvfølgelig de beste, siden de har egne team for hver plattform. Xboysa anmelder 360 spill, PLAYSTATION-folket anmelder PS3 spill osv. Scorene er praktisk talt alltid høye men rettferdige etter IGN's standard.

 

Trolling kan du ta en annen plass. Det der begynner å bli meget kjedelig og trodde at man var ferdig med generasjons inndelingen for denne gangen. Tydeligvis ikke.