Rating av poster?

[Hrodebert]

De som får mange høye stemmer vil da fort kunne skille seg ut og gjøre det lettere for oss å promotere (noe som igjen kan medføre at folk "jobber" mer med kvalitet i sine tråder). Vi har mye å gå på når det gjelder å få frem i lyset de gode diskusjonene, eller gode guidene/informasjonstrådene. Den beste løsningen for å finne de nevnte tråder er ved å la brukerne gi oss beskjed, noe et slikt ratingsystem kan hjelpe med.

Nei, Vidar det er her du bommer. Det er slettes ingen automatikk i at de tråder som innehar mange stemmer er gode på noen som helst måte. Som andre i tråden har påpekt, kan dette fort utvikle seg som generaliseringer og enighet om det alle er enige om og liten plass til interessante debatter med en annen vinkling. Derfor virker ikke denne type rangering. At folk bør legge mer tid og kvalitet over trådene sine er jeg 100% enig med deg i, men dette er ikke måten å belønne brukere.

[Thorsen]

Nå har jeg postet her i flere år og kan vel si at jeg legger veldig forskjellig vekt på svar/kommentarer til mine poster/informasjon/synspunkter etc etter hvilke brukere de kommer fra. Noen brukere er det veldig kjekt å få anerkjennelse fra, noen brukere er det også veldig lærerikt å få både negative og positive kommentarer fra, mens noen legger man nesten ikke vekt på i det hele tatt.

 

Altså har jeg allerede før jeg måtte lese en post lagt meg opp en mening om det som trådstarter/poster sier har troverdighet eller ikke, noen ganger endres denne oppfatningen mens jeg leser, andre ganger ikke, hvordan skal jeg da gi en "stjerne" basert vurdering av informasjonen ?

 

Og dersom mine tråder/poster blir vurdert av andre hvordan kan jeg vite hvem som har vurdert dem og på hvilket grunnlag. Dersom de jeg virkelig hadde ønsket innspill fra (la oss si disse er 5stk) gir tråden en stjerne (mye er dårlig), mens 30 andre tilfeldige gir 5 stjerner fordi de "synes jeg er kul" hvordan kan jeg som trådstarter/poster få noe nytte ut av totalt antall stjerner.

[Dotten]

Nei, Vidar det er her du bommer. Det er slettes ingen automatikk i at de tråder som innehar mange stemmer er gode på noen som helst måte.

 

Om du ser hele innlegget mitt i sammenheng vil du også se at jeg ikke anser det som noen automatikk. Men jeg anser den beste måten og de beste dommerne over hva som er de gode og hva som er de dårlige trådene for å være våre brukere.

 

Det er våre brukere som er best kvalifisert til å avgjøre hva som er kremen av kremen. Det betyr ikke at jeg anser rangering som automatisk beste måten å vise dette på, men det betyr heller ikke at det er noen automatikk i at det å gi mulighet til at brukerne kan vise dette vil medføre at de vil bruke den på en måte som gjør at intensjonen ikke blir oppfylt.

 

Jeg må legge til at jeg ikke synser her, jeg har lagt ned mye tid for å undersøke de forskjellige måtene som er blitt benyttet på forskjellige fora. Erfaringen er variert, alt fra brukerdemografien til hvilken form for ratingssystem man har. Her forsøker vi å gå mest mulig empirisk til verks.

 

Kjernen i spørsmålet er: Bør det tilrettelegges for at brukerne skal få muligheten til å avgjøre hva som er bra eller ikke av tråder? Jeg mener så absolutt ja. Det betyr ikke at eksempelvis stjernesystemet vårt er veien å gå.

 

Men jeg ser ingen grunn til å prøve å forhindre brukerne i å kunne si sin mening om hvilken tråder som er gode og hvilken som er dårlige. Det strider med selve grunnprinsippene med et forum; at man skal få si sin mening. Å si sin mening kan man gjøre med å gi stjerner, eller å skrive en mening. Jeg ser ikke noen grunn til å frykte at folk får sagt sin mening om en tråd, ei heller om vi finner en måte å gi et best mulig statistisk oversikt over dette.

 

Reflekter litt over hva det her er snakk om. Dette handler om vi skal føre statistikk over hva brukere mener om en tråd for bedre å kunne illustrere dette. Dette frarøver ikke individet å selv avgjøre, jeg antar ikke at brukerne våre er tanketomme sauer som lar flertallet diktere ens egen oppfatning. Forum blir brukt flittig til å gi karakter på artikler rundt om i verden, således er det rart de som gir kritikk av media selv er redd for den samme typen. Det minner mer om jorunalister som ønsker å nekte feedback på sine artikler publisert i et forum, brukere burde strengt talt tåle det samme. Ellers blir det hyklerisk. Publiserer man noe (som man gjør ved innlegg eller tråd) så bør man tåle å få dette bedømt. Om noen vil gjøre dette med en stjerne/tommel eller lignende så bør det gode grunner til for å la vær. Selv om jeg er helt enig i Geirs poeng om at begrunnelser er det viktigste. Men vi forbyr ikke folk å publisere ubegrunnede meninger, en rating er ikke annet enn nettopp det. En ubegrunnet mening som blir vist statistisk.

[Thorsen]

Spørsmålet er jo egentlig hvor lett det skal være å gi en lite gjennomtenkt tilbakemelding.

 

Minste krav før du i det hele tatt gir tilbakemelding på noe må jo være at du har satt deg inn i informasjonen som blir formidlet, og iallefall lest hele posten. Personlig synes jeg det å gi stjerner blir for lett.

 

Dersom man faktisk har kommentarer/meninger hvorfor ikke ta disse opp i tråden, dermed kreves det at man gjør et skriftlig resonnement og trådstarter/poster kan da se hvilken begrunnelse som ligger til grunn. Det er heller ikke noe i veien for å sende en personlig melding til trådstarter/poster dersom man har sterke meninger om noe vedkommende har skrevet.

 

Det minner mer om jorunalister som ønsker å nekte feedback på sine artikler publisert i et forum, brukere burde strengt talt tåle det samme. Ellers blir det hyklerisk.

 

Det er en stor forskjell på å faktisk forvente at den som gir tilbakemelding skal ha brukt litt tid på dette, og på å nekte folk å gi tilbakemelding.

 

Jeg forstår at det kan være behov for å markere gode tråder slik at nykommere kan få den informasjonen de er ute etter raskt, men er egentlig stjerner veien å gå ? Vi har jo allerede systemet med "sticky" / annonsering, og ellers funger systemet med en engen oversiktstråd slik som f.eks denne veldig godt etter min mening. Slike samletråder krever i det minste litt begrunnelse før en tråd blir ansett som "god"

[Dotten]

En interaktiv tjeneste som et forum er av essens ikke noe som setter særlige krav til nivået på tilbakemelding, annet enn at det ikke bør være personangrep, trolling o.l. Det skal ikke være usaklig. Man kan ikke akkurat hevde det å gi en eller fem stjerner er usaklig eller annet regelstridig.

 

Å gi fem stjerner er egentlig det samme som å skrive "flott tråd" (eller gi en stjerne og skrive "elendig tråd"). Men det blir litt mer ryddig uten de overnevnte innleggene. Samt at man får dette bedre illustrert statistisk og som (i teorien) kan gjøre at de trådene brukerne anser som best blir mer synlig. Det blir da ikke en proprietær løsning hvor jeg eller andre skal bestemme hva som er "best", det blir brukerne.

 

Og som med det interaktive, det blir opp til hver og en bruker å avgjøre kritieriene man setter for om noe er bra eller dårlig. Det blir ikke noe vi regulerer.

 

På generelt grunnlag fungerer slike "generative" og interaktive løsninger godt og de bekymringer man har blir som regel bagateller. Akkurat som bekymringene vedrørende Wikipedia er bagateller (studier så langt viser at Wikipedia ikke har flere feil enn tradisjonelle leksikon, men de har fordelen av å være kontinuerlig oppdatert i tillegg). Utifra det empiriske er det lite som tyder på at karaktersetting vil få negative konsekvenser som er synset om. Dog er det negative erfaringer å spore ved enkelte former for rating, når det gjelder stjerner er det litt mer uklart.

 

Uansett, frykten for at folk kommer til å misbruke slike ting viser seg så langt å være ubegrunnet. Det er en særdeles liten andel av internettbrukere som tyr til det så effekten blir marginal.

 

Men det blir jo umulig å anslå hva brukerne har lagt til grunn når de har stemt, fordi de er herre over egne preferanser. Men jeg anser det nå uansett bedre enn om noen utvalgte skulle bestemme det som om man er mer kompetent enn forumets flertall av brukere. Samtidig betyr det ikke at flertallet har "rett". Det viser bare hva flertallet syntes.

[HaterDiskus]

Jeg tror ikke du ser poenget, Dotten. Jeg har lett og lett i postene dine, men jeg finner ikke noe som kan settes i sammenheng med det jeg ser som hovedproblemet. Det samme hovedproblemet som Thorsen også setter fokus på etter hva jeg kan se. Det er for enkelt å gi en stjerne. Det at man er anonym gjør at alle, både dårlige og gode brukere, helt bekymringsløst kan gi karakter. Dette gjør at man ikke tenker seg like grundig om før man setter karakter, og man gir kanskje "tilbakemelding" på en tråd man ikke ville kommentert om man ikke kunne gjemme seg bak anonymiteten. Jeg ser for meg at dette systemet lider av "poll-syndromet". Mindre gode/uerfarne brukere som gir karakter bare fordi det er "gøy å trykke". Jeg har fått inntrykk av at dette er et system som de gode, gamle brukerene ikke benytter seg av, men noe som de små bruker for å more seg. Per i dag kan jeg ikke se at de trådene med flest stjerner er de som holder høyest kvalitet.

 

Og jeg ser du snakker om at det ikke er fare for misbruk? Nei, det tror ikke jeg heller. Jeg tror ikke at det kommer til å gå sport i å farme stjerner. Det jeg ser på som et problem er at gruppen som benytter seg av dette systemet ikke har nok pondus her på forumet. "Men alle har jo like rettigheter bla bla bla". Jada, men kvaliteten på dette systemet vil jo rase nedover, sammen med kvaliteten på de nye brukerene. Dotten; du kan godt arrestere meg, men pokker å mye dritt jeg ser blant de helt ferske brukerene. Nå skal ikke jeg si med 100% sikkerhet at dette helvete av stjerner i kjent søpleforum-stil er forbeholdt denne gruppen, men det er det inntrykket jeg sitter igjen med. Jeg syns ikke at vi skal bli et nytt NFF; det kommer det ikke noe godt ut av. Dette er etter min mening Norges beste forum, og det er jævlig synd at dill som dette skal forpurre inntrykket andre har av oss.

Endret 15. januar 2009 av Mimir

[Hrodebert]

Publiserer man noe (som man gjør ved innlegg eller tråd) så bør man tåle å få dette bedømt.

Er i prinsippet helt enig med deg. Problemet er bare at brukere ikke stemmer rasjonelt fordi de liker tråden eller ikke, brukere stemmer etter trynefaktor.

[Thorsen]

En interaktiv tjeneste som et forum er av essens ikke noe som setter særlige krav til nivået på tilbakemelding, annet enn at det ikke bør være personangrep, trolling o.l. Det skal ikke være usaklig. Man kan ikke akkurat hevde det å gi en eller fem stjerner er usaklig eller annet regelstridig.

 

Jeg er enig i det, men du som jeg vet at det finne flere sosiale nettverk/forum rundt omkring på Internett. Disse har hver sine særegenheter og det finnes både de ytterst seriøse forum og de ytterst useriøse. Det er ingenting som automatisk sier at et forum skal eller ikke skal stille krav til kvalitet. Forumet er bare verktøyet for diskusjon og kommunikasjon, på samme måte som en avis. Det finnes både seriøse og useriøse aviser uten at mediet i seg selv stiller noen krav.

 

Kravene settes ene og alene av eierne og i mange tilfeller også brukerne.

 

Jeg personlig lar meg ikke merke av antall stjerner ved siden av en post/tråd, men jeg vil gjerne høre dersom noen finner dette veldig nyttig og bruker det flittig for å vurdere hvilke tråder/diskusjoner man skal lese og kanskje delta i.

 

Jeg antar at diskusjon.no internt har hatt en grundig gjennomgang før de innførte dette på flere av sine underforum, kunne vi brukere kanskje fått vite hva målet var/er. Hvilke problemer eller hendelser har man søkt å unngå med et slikt system. Har det vært vurdert andre alternativer. Hvordan er responsen, virker systemet til sin hensikt ? Hvilke brukergrupper er det som stemmer, er dette målgruppen til diskusjon.no. Er det de samme brukerne som går igjen, hvor mange stemmer, er de som stemmer faktisk et godt populasjonsutvalg av de som leser diskusjon.no regelmessig. Ønsker man at stjernene skal hjelpe nye lesere eller den regelmessige brukergruppen ?

 

Jeg håper iallefall at diskusjon.no har hatt en slik gjennomgang. At man enkelt kan skru på en slik funksjon ved å hykke av på et kontrollpanel gir ikke grunnlag til å hoppe over forarbeidet.

[Dotten]

Jeg tror ikke du ser poenget, Dotten. Jeg har lett og lett i postene dine, men jeg finner ikke noe som kan settes i sammenheng med det jeg ser som hovedproblemet. Det samme hovedproblemet som Thorsen også setter fokus på etter hva jeg kan se. Det er for enkelt å gi en stjerne. Det at man er anonym gjør at alle, både dårlige og gode brukere, helt bekymringsløst kan gi karakter.

 

Akkurat som de ganske bekymringsløst kan skrive hva de mener. Så lenge form og innhold er i tråd med retningslinjene. Det bør foreligge tungtveiende grunner for å nekte våre brukere tilgangen til en funksjon.

 

Dette gjør at man ikke tenker seg like grundig om før man setter karakter, og man gir kanskje "tilbakemelding" på en tråd man ikke ville kommentert om man ikke kunne gjemme seg bak anonymiteten. Jeg ser for meg at dette systemet lider av "poll-syndromet". Mindre gode/uerfarne brukere som gir karakter bare fordi det er "gøy å trykke". Jeg har fått inntrykk av at dette er et system som de gode, gamle brukerene ikke benytter seg av, men noe som de små bruker for å more seg. Per i dag kan jeg ikke se at de trådene med flest stjerner er de som holder høyest kvalitet.

 

Det kan være, men det blir også ganske synsete. Pollsystem har man gode erfaringer med enkelte steder, mindre gode andre. For vår egen del så må vi forholde oss til erfaring og det rent prinsipielle her. Erfaringen vi har så langt med stjernesystemet er at det absolutt ikke trykkes for gøy. Det trykkes på ganske sjeldent egentlig. Vi har intet grunnlag til å uttale oss om hvorvidt dette brukes av de med pondus eller de som ikke har pondus i de kategoriene det er snakk om. Jeg vil synse om at det er nettopp de brukerne som bidrar som benytter seg av det, mens brukere som er mer "lesere" ikke gjør det. Rett og slett fordi bidragsyterne er de som tar seg tid, leserne er mer opptatt av å lese. Men som nevnt, dette er ikke undersøkt og ikke noe hverken du eller jeg kan slå fast empirisk.

 

Som det meste annet med internett tyder det meste på at man vil benytte slike funksjoner på en forsvarlig og gjennomtenkt måte. Det er et gjennomgangstema med det interaktive at misbruk tilhører sjeldenheten (men når det finner sted blir det veldig ofte "blåst opp"), som du selv også påpeker.

 

Er i prinsippet helt enig med deg. Problemet er bare at brukere ikke stemmer rasjonelt fordi de liker tråden eller ikke, brukere stemmer etter trynefaktor.

 

Dette kan godt være, men på den andre siden så er det ren gjetning. Erfaring tilsier, som nevnt tidligere, at brukere stort sett opptrer fornuftig og ikke prøver å sabotere. Erfaring fra andre tyder på at ratingsystem er noe man ført bruker om man kommer over noe man virkelig mener er bra eller virkelig mener er dårlig. Alt i mellom kommer i så måte i glemmeboken. Med de fordeler og ulemper det medfører (men igjen, vi har ikke analysert grundig hvordan det har fungert hos oss der vi har tillat stjernesystemet). Slik det er nå vil du eksempelvis ha ganske markant innflytelse på hvilken karakter en tråd har, fordi få benytter seg av det. Om det er fordi folk ikke gidder, lar vær av prinsipp eller ikke vet om stjernesystemet er uvisst.

 

Jeg antar at diskusjon.no internt har hatt en grundig gjennomgang før de innførte dette på flere av sine underforum, kunne vi brukere kanskje fått vite hva målet var/er. Hvilke problemer eller hendelser har man søkt å unngå med et slikt system. Har det vært vurdert andre alternativer. Hvordan er responsen, virker systemet til sin hensikt ? Hvilke brukergrupper er det som stemmer, er dette målgruppen til diskusjon.no. Er det de samme brukerne som går igjen, hvor mange stemmer, er de som stemmer faktisk et godt populasjonsutvalg av de som leser diskusjon.no regelmessig. Ønsker man at stjernene skal hjelpe nye lesere eller den regelmessige brukergruppen ?

 

Jeg håper iallefall at diskusjon.no har hatt en slik gjennomgang. At man enkelt kan skru på en slik funksjon ved å hykke av på et kontrollpanel gir ikke grunnlag til å hoppe over forarbeidet.

 

Det vil gjennomgås grundig ja. Vi er også i dialog med enkelte andre forum for å høre på erfaring, i tillegg til at det finnes forskjellige former for polls. Det er de man kun kan gi + på (altså ikke mulighet til å gi negativ karakter), det finnes tommel opp/tommel ned, det finnes stjernesystemet osv. Dette er ikke noe som vil bli avgjort med det aller første, med mindre det ytres sterke ønsker om det. Annet forumarbeid prioriteres. Men det kan være aktuelt å prøve det ut i andre forumområder enn det vi gjør i dag for å få et bedre bilde av det hele. Akkurat nå ser det ikke ut som om det er særlig mange som i det hele tatt tar seg bryet med å rate, det er som oftest maks 10-12 av dem å finne.

[tom waits for alice]

Som et apropos: Jeg diskuterte dette med min svigersønn, som nevnte slashdot (tror jeg), hvor man har et system der man kan sette en poengsum for poster som skal vises. De som er under poengsummen synes ikke, bare en link som forteller hvor mange som er skjult slik at du kan gå dit hvis du vil. Og synlige poster med lav poengsum blir kollapset til en link. Dermed kan man fortsatt klikke seg inn på dem om man vil, men man kan lett følge en tråd og se bare de svarene som har fått høy rating og ignorere de andre.

 

Han synes dette er nyttig, spesielt fordi tråder på slashdot ofte får veldig mange svar, og det er umulig å lese gjennom alt. Hvor nyttig det er å ha dersom du må scrolle gjennom alle postene allikevel kan diskuteres.

 

Og dette er altså på postnivå. Hvor nyttig det er å rate hele tråden er jeg usikker på, da nytteverdien av en tråd er avhengig av kvaliteten på svarene som kommer underveis. Det hadde vært bedre om trådens rating var avhengig av ratingen på de enkelte poster, og man som sagt kunne filtere på det. Spesielt i supporttråder, selvsagt, poltiske diskusjoner blir jo litt amputerte på den måten.

 

Geir

Endret 15. januar 2009 av tom waits for alice

[Thorsen]

Slashdot har dog samme problem som mange andre. Det er en ofte mange useriøse poster som har lite med tema å gjøre, og det kan til tider være kraftige sidesprang i diskusjonene. Derfor er kanskje et slikt system mer nødvendig.

 

Dog det her med rating av svar i spesielt supporttråder kan være litt interessant, men i så fall bør det kanskje være opp til trådstarter å "rate" svarene. Men det er jo som kjent ikke alltid lett å vite det eksakte problemet, så den posten som ikke løste problemet for trådstarter kan jo allikevel løse problem for andre som er innom tråden.

[HaterDiskus]

Rating kommer det ikke noe godt ut av sålenge ikke alle brukere er perfekte. Punktum.

[Dotten]

Som et apropos: Jeg diskuterte dette med min svigersønn, som nevnte slashdot (tror jeg), hvor man har et system der man kan sette en poengsum for poster som skal vises. De som er under poengsummen synes ikke, bare en link som forteller hvor mange som er skjult slik at du kan gå dit hvis du vil. Og synlige poster med lav poengsum blir kollapset til en link. Dermed kan man fortsatt klikke seg inn på dem om man vil, men man kan lett følge en tråd og se bare de svarene som har fått høy rating og ignorere de andre.

 

Han synes dette er nyttig, spesielt fordi tråder på slashdot ofte får veldig mange svar, og det er umulig å lese gjennom alt. Hvor nyttig det er å ha dersom du må scrolle gjennom alle postene allikevel kan diskuteres.

 

Og dette er altså på postnivå. Hvor nyttig det er å rate hele tråden er jeg usikker på, da nytteverdien av en tråd er avhengig av kvaliteten på svarene som kommer underveis. Det hadde vært bedre om trådens rating var avhengig av ratingen på de enkelte poster, og man som sagt kunne filtere på det. Spesielt i supporttråder, selvsagt, poltiske diskusjoner blir jo litt amputerte på den måten.

 

Geir

 

Slashdot er noen som har holdt på lenge med forskjellige former for rating. I enkelte tilfeller, eksempelvis når det er ønskelig å lage en slags forside som promoterer tråder, er også ratingssystem brukt til å la brukerne avgjøre hvilken tråder som kommer på "forsiden". Her er det veldig mange forskjellige forsøk ute i det store internett. Det vil selvfølgelig bli langt mer aktuelt for oss om vi går for å bedre promotere det som skjer på forumet, eksempelvis gjennom en automatisert "forumportal" eller lignende. Hvor da forsiden blir styrt av brukernes ønsker. Bare for å illustrere litt hvordan slikt som dette kan brukes.

 

Det finnes endel interessant lesestoff der ute for de som er intessert. Og historien har vist oss at det absolutt har kommet mye godt ut av slike ting også, selv om brukerne ikke er perfekte. Det gjør ting mer brukerstyrt (interaktivt).

 

Tenk eksempelvis om VG hadde utformet forsiden sin alt etter hva leserne stemmer frem som gode artikler (fremfor å la klikk styre dette i pengejaget). Det kunne blitt interessant. Eller tenk hvor vanskelig det ville vært å finne de beste videoene på Youtube om man ikke hadde mulighet til å sortere etter karakter. Her gjelder det å tenke litt i et større perspektiv og gjerne reflektere litt over hvordan dette blir brukt ellers. Det minner litt om en veldig ensidig negativ fremstilling til tider. Det finnes så absolutt positive ting med et (velfungerende) ratingsystem.

[tom waits for alice]

Rating kommer det ikke noe godt ut av sålenge ikke alle brukere er perfekte. Punktum.

Det skjønte jeg ikke helt. Er det ikke nettopp fordi ikke alle brukere er perfekte at vi eventuelt trenger rating? Hvis de var perfekte ville vel alle poster vært det også?

 

Alle brukere behøver ikke være perfekte for at systemet skal virke. Det er nok at vi skjønner at stemmegiverne ikke er nøytrale. Det er matematisk fullt mulig å veie stemmene mot det bias som oppstår. Om man skal bruke statistisk utjevning, max-avvik, "hoppdømminng" (det vil si å ta vekk høyeste og laveste poengsum) eller annet kan diskuteres.

 

Det er klart at vi vil få problemer med rene fanboy-tråder, enten det er Intel mot AMD, Windows mot Linux, Israel mot Palestina eller annet. Spesielt i de kategorier der gjennomsnittsalderen er lav. Men jeg tiltror brukerne jevnt iver nok vett og fornuft til at vi ikke får for mange 50/50 for/mot situasjoner.

 

Nå er jeg ikke så opptatt av rating selv. Jeg klarer meg utmerket godt uten. Som jeg sa i en tidligere post:

 

Personlig er jeg tilhenger av argumenter, begrunnelser og resonnement. Rating-systemer gir ingen av delene. Derfor bruker jeg dem aldri.

 

Geir