Gå til innhold

Teslas selvkjøringssystem granskes av myndighetene


Anbefalte innlegg

oophus skrev (Akkurat nå):




 

 

Sitat

Majoriteten av ansatt personell er ikke personell som deler måten funksjonene utnyttes på, og det en kan forvente blir kopiert hos vanlige folk. Altså VET vi at funksjonene vil bli utnyttet feil på forhånd. 

Selvfølgelig vet en at folk utnytter ting. Men en stopper ikke å selge bil for at folk kjører for fort heller. 

Sitat

Ja, godt mulig vi må inkludere autonomi innunder førerkortet, men slik er altså ting som tar tid. Ergo er det en uting at firma som Tesla kjører et unødvendig kappløp for funksjoner som ikke vil øke sikkerheten. Hvis man vil øke sikkerheten, så må funksjonene bli slippet med bedre undervisning fra Tesla som jo tross alt utvikler systemet. 

Nå som vi vet at ODD enklere skal vise at det er på/ventende/av i 2022, så burde Tesla selvfølgelig være et firma som implementerer dette på forhånd, om de på død og liv skal slippe ut "the button" før disse forandringene - som jo er ment å bli implementert nettopp for å øke sikkerheten gjennom å gjøre det enklere for sjåførene å forstå når funksjonene fungerer og ikke.

Kilde på at det ikke vill øke sikkerheten? Og dette gjelder jo for alle som leverer assistenter i dag. Meg bekjent er det ingen nye biler i dag som kommer med assistent kurs? Hva er det Tesla ikke har implementert som skal vise at systemet er aktivt, og hvem har dette? 

Sitat

GM: Et lys på rattet som viser når ODD for ALKS kan aktiveres, når det blir usikkert, og når det skrues av. 
Ford: Omtrent det samme. 
VW: Ulike lys for filmarkeringen, og HUD som viser disse tingene direkte i sjåførens fokus. Linjemarkeringer lyses opp og blir grønne når man kan aktivere ALKS. Mot ACC så kommer det opp ei strek som forteller sjåføren at det er registrert fartsendringer f.eks. Linjemarkeringene blir oransje når ODD skrues av og man må forvente at rattet må kontrolleres mer enn før manuelt. 
Mercedes: Samme som VW. 
etc. 

Ingenting av disse tingene er 100% optimalt, men det er tydelig at disse firmaene undersøker hva som vil fungere best, og hva som vil bli akseptert når forandringene kommer. 

Og tesla har dette også, på skjerm. Som du nevner over. De har ett ratt som viser at nå er autopilot tilgjengelig. Jeg ser absolutt ingen forskjell. Igjen, hva gjør tesla feil og hva gjør de andre rett? 

Sitat

Du bidrar direkte med et problem man burde få kvelt bort. Så lenge du sier at "bilene kun skal fungere" når det er åpenbart at de ikke kun gjør dette i en overgangsperiode, så bidrar du til "autonowashin

Når har jeg sagt at bilene kun skal fungere på den måten? Jeg har sagt at bilene skal gi info til brukeren. Det er ikke brukeren som skal ha bestått ett kurs. slutt å beskyld meg for det der greiene dine! 

Sitat

Det er betydelig verre den andre veien. Om Tesla'en ikke klarer en sving, så skrur funksjonen seg bare av. Det samme gjør den jo rett før kollisjoner, og for FSD Beta så skrur den seg bare av om den blir forvirret også. Hvorfor skrur funksjonen seg bare av? Det er jo det spørsmålet sjåførene burde vite svaret på. Kan de svare på dette spørsmålet, så vet de bedre hvor de kan forvente at funksjonene ikke fungerer optimalt. 

Hvis Tesla definerer funksjonenes ODD per funksjon, så vil sjåførene være mye bedre rustet til å forstå hvor systemet fungerer godt, og hvor det fungerer dårlig. 

FOR NOE TULL! Tesla gir beskjed når den ikke kan ta en sving pga begrensninger som vi har her hjemme, den skrur seg ikke av den er faktisk aktiv og gir både tekstet advarsel og lyd at den trenger hjelp. Du lyver jo, og du beskylder meg for ting. Om tesla skrur av autopilot kommer det en ekstremt varsel signal, den skrur seg ikke bare av. Det er helt transparent og ingen tvil. Vis gjerne til ett eksempel der det er utydelig. Og vis gjerne til ett eksempel der de andre er bedre. 

Sitat

Når det gjelder autonowashing, så må folk stoppe å omtale FSD som full selvkjøring i mediene siden det åpenbart kan feiltolkes, de må stoppe å vise "hands-on" funksjoner i bruk der man slipper rattet, og man må forklare hvorfor det er viktig å holde tak i rattet. F.eks så kan denne "beskjeden" bli fortalt gjennom vibrasjoner i rattet, når ODD går fra "på" til "nøytralt". Holder man ikke i rattet så fjerner man den muligheten. Når Tesla så ikke har f.eks HUD som kan vise slike beskjeder tydelig der man uansett kikker, så er det jo viktig at man opprettholder andre mulige måter å kommunisere mot sjåføren på, om funksjonene blir usikre, må skru seg av eller lignende. 

Så ta tak i mediene da, fokuset ditt er jo helt feil.

  • Liker 1
  • Innsiktsfullt 1
Lenke til kommentar
Videoannonse
Annonse
Salvesen. skrev (1 minutt siden):

Selvfølgelig vet en at folk utnytter ting. Men en stopper ikke å selge bil for at folk kjører for fort heller. 

Jo kjappere bilene har blitt, og jo høyere snittfarten er blitt ute på veiene, jo større og strengere krav har det blitt for bilene samtidig angående kollisjonssikkerhet. Når vi nå vet at disse regelendringene er trege, så burde firma som implementerer ADAS være på ballen og innføre slikt på ordentlig måte. Det er en uting at man skal jukse seg forbi f.eks måten AV bransjen er blitt enige om å utvikle disse tingene på ved å definere FSD Beta som nivå 2 uten planer om å gå over i nivå 3 eller 4 til DMV, mens man ut til deg og meg snakker om full selvkjøring, og at bilen skal kunne kjøre deg fra kyst til kyst uten at øynene er på veien. EM selv og hans disipler kjører og utnytter funksjonene uten å holde hendene på rattet, og det er selvfølgelig da forventet at mediene som ikke er eksperter i dette, kun snakker generelt fra eget ståsted angående forståelsen av AV utvikling. De vet jo ikke et døyt om slikt. Det er utdannet journalister på generell basis. Og ergo vil de fortsette å prate om FSD slik EM prater om FSD, slik Beta-sjåfører prater og viser FSD osv, og ikke slik Tesla prater om FSD til DMV - som er to vidt forskjellige ting. 

 

Salvesen. skrev (6 minutter siden):

Kilde på at det ikke vill øke sikkerheten? Og dette gjelder jo for alle som leverer assistenter i dag. Meg bekjent er det ingen nye biler i dag som kommer med assistent kurs? Hva er det Tesla ikke har implementert som skal vise at systemet er aktivt, og hvem har dette? 

Er du uenig i at det ville økt sikkerheten? Det er jo ikke slik at slike forandringer draftes opp fordi det IKKE vil øke sikkerheten? 
Når setebeltet ble innført som krav, så eksisterte det folk som spurte om kilde på om det økte sikkerheten. Du er altså en av dem Salvesen. 

Man får ikke god statistikk på dette før om en god stund, men det er lov å bruke hodet. 

Assistent kurs? Det er det du som tok opp, og ikke jeg.  Om vi måtte ha to ulike førerkort for automatgir og manuelt gir, så er det nok lurt å inkludere teori om autonomi og fører-assister mot teoribiten til førerkortet også. Dette er altså kun en personlig kommentar og mening. 

Den siste setningen har jeg svart på allerede. Du spurte om firma som allerede har implementert "redundancy" i å informere om ODD forandringer, og jeg svarte GM, Ford, VW og Mercedes med eksempler. Man har haptisk feedback gjennom rattet, og man har visuell feedback gjennom lys og for enkelte HUD. 

 

Salvesen. skrev (13 minutter siden):

Og tesla har dette også, på skjerm. Som du nevner over. De har ett ratt som viser at nå er autopilot tilgjengelig. Jeg ser absolutt ingen forskjell. Igjen, hva gjør tesla feil og hva gjør de andre rett? 

Er det optimalt å ha denne informasjonen bort fra der man kikker når man skal følge med på bilens ODD? Innenfor draften til forandringene, så skal det være "redundancy" i måten slikt informeres om. Det er f.eks ikke nok med kun et ratt i sidesynet i midtkonsollen. Man må inkludere haptisk feedback i setet og rattet i tillegg. 

Du må også skille mellom aktivering av funksjoner, og deaktivering ufrivillig fra bilens side. Et blått ratt som viser at funksjonen kan skrues på foregår når personen aktivt kikker etter om det er mulig. Det foregår ikke når bilens funksjoner feiler. Da må en kunne aktivt fortelle personen at ODD for funksjonen har gått fra "på" til "ventende". Er man i midten av en sving og ALKS skrur seg av, så hjelper det lite at et lite ratt i hjørnet på midtkonsollen ikke står i blått lengre. Det må mer varsling til, og varslingen må også illustrere hvilken funksjon som ikke har alle krav oppfylt for å kunne være aktivt på en sikker måte. 

 

Salvesen. skrev (25 minutter siden):

FOR NOE TULL! Tesla gir beskjed når den ikke kan ta en sving pga begrensninger som vi har her hjemme, den skrur seg ikke av den er faktisk aktiv og gir både tekstet advarsel og lyd at den trenger hjelp. Du lyver jo, og du beskylder meg for ting. Om tesla skrur av autopilot kommer det en ekstremt varsel signal, den skrur seg ikke bare av. Det er helt transparent og ingen tvil. Vis gjerne til ett eksempel der det er utydelig. Og vis gjerne til ett eksempel der de andre er bedre. 

Jeg snakker om når alt feiler samtidig. Da skrur den seg bare av. Når den har tid til varsling så gjør den jo det. Men du må da forstå forskjellene på ditt eksempel der den har ODD begrensninger hentet fra kart-data og typen svinger, mot når ODD skrues av på kort tid? Da rekker den ikke alltids å varsle, og det er greit siden det ikke finnes krav for at den må varsle ved slike situasjoner. Det som dog skal implementeres er bedre visualisering når bilen faktisk går over "jeg er sikker" til når den "er usikker". 

Ta eksempelet med DMS hvor den tippet 50% at det var mørkt når det er bekkmørkt. Idag så skjer det ingenting ved slike tilfeller, mens i fremtiden så skal sjåføren forstå bedre hvorfor ODD justeres. I dette tilfellet så er det jo DMS som ikke er tilfredsstillende til å opprettholde ODD mot fører-assistene til å være aktivt. I dette tilfellet så vil det ikke være nok med kun et blått ratt som beskriver "tilfredstillende" mot "ikke tilfredsstillende". Man må inkludere varsling som bedre beskriver hva som er galt. 

Salvesen. skrev (51 minutter siden):

Så ta tak i mediene da, fokuset ditt er jo helt feil.

Utgangspunktet til feilen er ikke mediene? 

 


 

  • Liker 1
  • Innsiktsfullt 2
Lenke til kommentar
oophus skrev (18 minutter siden):


 


 

 

Sitat

Jo kjappere bilene har blitt, og jo høyere snittfarten er blitt ute på veiene, jo større og strengere krav har det blitt for bilene samtidig angående kollisjonssikkerhet. Når vi nå vet at disse regelendringene er trege, så burde firma som implementerer ADAS være på ballen og innføre slikt på ordentlig måte. Det er en uting at man skal jukse seg forbi f.eks måten AV bransjen er blitt enige om å utvikle disse tingene på ved å definere FSD Beta som nivå 2 uten planer om å gå over i nivå 3 eller 4 til DMV, mens man ut til deg og meg snakker om full selvkjøring, og at bilen skal kunne kjøre deg fra kyst til kyst uten at øynene er på veien. EM selv og hans disipler kjører og utnytter funksjonene uten å holde hendene på rattet, og det er selvfølgelig da forventet at mediene som ikke er eksperter i dette, kun snakker generelt fra eget ståsted angående forståelsen av AV utvikling. De vet jo ikke et døyt om slikt. Det er utdannet journalister på generell basis. Og ergo vil de fortsette å prate om FSD slik EM prater om FSD, slik Beta-sjåfører prater og viser FSD osv, og ikke slik Tesla prater om FSD til DMV - som er to vidt forskjellige ting. 

Jeg forstår fortsatt ikke hva du vill frem til her. Men som sagt, har du problem med media så bør du henvende deg til dem. 

Sitat

Er du uenig i at det ville økt sikkerheten? Det er jo ikke slik at slike forandringer draftes opp fordi det IKKE vil øke sikkerheten? 
Når setebeltet ble innført som krav, så eksisterte det folk som spurte om kilde på om det økte sikkerheten. Du er altså en av dem Salvesen. 

Man får ikke god statistikk på dette før om en god stund, men det er lov å bruke hodet. 

Assistent kurs? Det er det du som tok opp, og ikke jeg.  Om vi måtte ha to ulike førerkort for automatgir og manuelt gir, så er det nok lurt å inkludere teori om autonomi og fører-assister mot teoribiten til førerkortet også. Dette er altså kun en personlig kommentar og mening. 

Den siste setningen har jeg svart på allerede. Du spurte om firma som allerede har implementert "redundancy" i å informere om ODD forandringer, og jeg svarte GM, Ford, VW og Mercedes med eksempler. Man har haptisk feedback gjennom rattet, og man har visuell feedback gjennom lys og for enkelte HUD. 

Hvorfor kan du ikke for en gangs skyld svare på ett spørsmål? uten å bare sparre med nytt  spørsmål..

Ja du svarte men tesla har det samme. De har lyd og bilde. Det er redundant. Jeg etterspørte problemet med Tesla sin løsning. Det har du ikke svart på. 

Sitat

Er det optimalt å ha denne informasjonen bort fra der man kikker når man skal følge med på bilens ODD? Innenfor draften til forandringene, så skal det være "redundancy" i måten slikt informeres om. Det er f.eks ikke nok med kun et ratt i sidesynet i midtkonsollen. Man må inkludere haptisk feedback i setet og rattet i tillegg. 

Du må også skille mellom aktivering av funksjoner, og deaktivering ufrivillig fra bilens side. Et blått ratt som viser at funksjonen kan skrues på foregår når personen aktivt kikker etter om det er mulig. Det foregår ikke når bilens funksjoner feiler. Da må en kunne aktivt fortelle personen at ODD for funksjonen har gått fra "på" til "ventende". Er man i midten av en sving og ALKS skrur seg av, så hjelper det lite at et lite ratt i hjørnet på midtkonsollen ikke står i blått lengre. Det må mer varsling til, og varslingen må også illustrere hvilken funksjon som ikke har alle krav oppfylt for å kunne være aktivt på en sikker måte. 

Om det er optimalt eller ikke er vell ett annet spørsmål, det er om det bryter "reglene" som du snakker om. Så, gjør de det? 

Vennligst vis til at det ikke er nok med audio og visuell feedback. Feedback i styre er jo lett å implementere, den har servo. Så det er heller ingen show stopper. 

Det er du som ikke forstår, om tesla sitt eget system velger å slå seg av når det er aktivt er det både lyd og visuell fremvisning for dette. Du er altså ikke helt forstått med hvordan systemet fungerer, men likevel skal du påstå at det er feil. Anbefaler deg å lese manualen. 

Sitat

Jeg snakker om når alt feiler samtidig. Da skrur den seg bare av. Når den har tid til varsling så gjør den jo det. Men du må da forstå forskjellene på ditt eksempel der den har ODD begrensninger hentet fra kart-data og typen svinger, mot når ODD skrues av på kort tid? Da rekker den ikke alltids å varsle, og det er greit siden det ikke finnes krav for at den må varsle ved slike situasjoner. Det som dog skal implementeres er bedre visualisering når bilen faktisk går over "jeg er sikker" til når den "er usikker". 

Ta eksempelet med DMS hvor den tippet 50% at det var mørkt når det er bekkmørkt. Idag så skjer det ingenting ved slike tilfeller, mens i fremtiden så skal sjåføren forstå bedre hvorfor ODD justeres. I dette tilfellet så er det jo DMS som ikke er tilfredsstillende til å opprettholde ODD mot fører-assistene til å være aktivt. I dette tilfellet så vil det ikke være nok med kun et blått ratt som beskriver "tilfredstillende" mot "ikke tilfredsstillende". Man må inkludere varsling som bedre beskriver hva som er galt. 

Nei som sagt, tesla skrur det ikke av uten å varsle. Igjen, vis meg gjerne kilde på at dette er tilfellet. 

 

  • Liker 2
  • Innsiktsfullt 1
Lenke til kommentar
Salvesen. skrev (1 minutt siden):

Jeg forstår fortsatt ikke hva du vill frem til her. Men som sagt, har du problem med media så bør du henvende deg til dem. 

Burde være åpenbart at "the button" ikke burde lanseres slik ting fungerer nå, når man har regelendringer på trappene. Da burde Tesla innføre disse som minimum i forkant. Regelendringene er selvfølgelig der for å øke sikkerheten. 

Så lenge de omtaler SAE J3016 nivåene, så burde de også utnytte reglene der for å innføre AV på. FSD har ei design-intensjon ut mot oss vanlige folk til å til slutt løse autonomi ved nivå 4. Ergo så burde bruken av nivå 2 assister inkludere kravene som følger nivå 4 utvikling ute på offentlige veier. 

 

Salvesen. skrev (4 minutter siden):

Hvorfor kan du ikke for en gangs skyld svare på ett spørsmål? uten å bare sparre med nytt  spørsmål..

Så kjapt du stopper å komme med tåpelig krav til kilder på informasjon du vet vi ikke har nok statistikk på ennå - ergo kilden er jo ikke mulig å hente frem. Men vi kan fint diskutere logikken som brukes rundt hvorfor regelendringene diskuteres og havner opp i drafts for regelendringer. 

Salvesen. skrev (5 minutter siden):

Ja du svarte men tesla har det samme. De har lyd og bilde. Det er redundant. Jeg etterspørte problemet med Tesla sin løsning. Det har du ikke svart på. 

1. De har bilde utenfor fokusområdet man som sjåfør skal ha når man utnytter slike funksjoner. Det er som sagt mennesket som står der med ansvaret og som skal følge med på bilens ODD, som altså betyr alle bevegelige objekter. Du skal rett og slett ikke kun aktivere  f.eks fil-bytte uten å følge med på veien og gjøre normal prosedyre med å sjekke blindsone og slike ting selv. 
2. Lyden differensierer ikke mellom de ulike funksjonene og deres ODD. 

Salvesen. skrev (16 minutter siden):

Om det er optimalt eller ikke er vell ett annet spørsmål, det er om det bryter "reglene" som du snakker om. Så, gjør de det? 

image.png.9b29dc0f834759da3817cdef3844bf8f.png

Jeg tok opp denne tidligere også, og ifølge denne så balanserer jo Tesla på hva som er lov og ikke lov. Det er jo hele poenget med kappløpet deres for å kunne lansere "button" før reglene i større grad linker seg fast i ting som dette, som altså er fra SAE J3016, hvor de ikke ville fått lov til å lansere "button" uten bedre DMS, bedre testsjåfører og betydelig mer rapportering. 

Om FSD's "design intent" er å løse autonomi ved nivå 4, så skal FSD utvikles med reglene som linkes til nivå 4. 

EM tar altså risiko for å løpe i forkant av reglene, og håper at han skal rekke å få pumpingen av FSD ferdig og si at det er "feature complete" før det blir umulig å gjøre det - for da må FSD faktisk utvikles slik normale AV utviklere utvikler nivå 4 funksjoner og kjøretøy. Det betyr at Tesla må rapportere om utviklingen sin, og at den blir offentlig kjent. Det ser ikke veldig pent ut på papiret for Tesla om de skulle ha startet å rapportere inn "handovers" f.eks på dette nivået mot hva vi vet andre får til. Beta-sjåfører må også i betydelig bedre grad trenes opp til å forstå hva de tester. Hva funksjonene er gode på og ikke, samt hva som kan skje gjennom ulike varianter av NN trening mot bilflåten. Som sagt så er det 100% forventet at maskinlæring på dette stadiet blir såpass stort at man umulig klarer å teste alle mulige "corner cases" dem i mellom. Altså vil f.eks versjon 9.2 fungere bedre enn versjon 10 på enkelte områder, selv om versjon 10 kan totalt sett være en bedre "pakke" med over snittet mer oppgraderinger enn nedgraderinger. 

Dog så lenge man har nedgraderinger av funksjonalitet, så er det ekstremt viktig at sjåførene er klar over muligheten at ruter de har kjørt 1000 ganger tidligere uten problemer nå plutselig kan oppleves annerledes. 

 

Salvesen. skrev (27 minutter siden):

Vennligst vis til at det ikke er nok med audio og visuell feedback. Feedback i styre er jo lett å implementere, den har servo. Så det er heller ingen show stopper. 

Det er ingen her som har sagt at audio og visuell feedback ikke er nok? Spørsmålet er jo om Tesla sin versjon av det ville vært nok, og om regelendringene i tillegg innfører krav mot haptisk feedback i setet/rattet. 

Hvis man innfører krav om haptisk feedback i rattet, så er jo dagens situasjon åpenbar et problem med folk som slipper rattet når de aktiverer AP/FSD. Så om haptisk feedback i rattet implementeres, så må det også berøre DMS krav og justeringen av ODD når sjåføren slipper rattet. 

 

Salvesen. skrev (38 minutter siden):

Det er du som ikke forstår, om tesla sitt eget system velger å slå seg av når det er aktivt er det både lyd og visuell fremvisning for dette. Du er altså ikke helt forstått med hvordan systemet fungerer, men likevel skal du påstå at det er feil. Anbefaler deg å lese manualen. 

Jeg forstår at systemet varsler med lyd og blinker når den har tid til å forstå at egen ODD ikke er eller blir tilfredsstillende. Det hjelper lite når bilens ODD kan kjøres aktivt med 99% sikkerhet i egen løsning samtidig som den kan finne på å gjøre det samme ved 50% sikkerhet i egne løsninger mot det den ser. Et sted mellom "sikker" og "usikker" før "handover" må illustreres bedre til sjåførene om formålet er at sjåføren skal monitorene systemet. 

 

Salvesen. skrev (44 minutter siden):

Nei som sagt, tesla skrur det ikke av uten å varsle. Igjen, vis meg gjerne kilde på at dette er tilfellet. 

 



Tja, se f.eks den der. Tenker du at VIDAR gir sannsynlighet for at bilen kan kjøre videre der nærmere 99% eller nærmere 50%? Husk at her blir det ikke varslet om noen ting før manuell handover måtte igangsettes og bremsene aktiveres. Når bremsene aktiveres så kommer først lyden, og rattet skiftes fra blått og blinker litt før den forsvinner. 

I dette scenarioet så ville nytt regelverk måtte varsle sjåføren om å være obs tidligere, siden den naturlig nok burde bli mindre "treffsikker" i sannsynligheten for at den har rett i det den ser på. F.eks at den er 99% sikker på at veien går videre der, til 80%, 70%, 60% osv jo nærmere den kommer der kravet er 50% før handover prosedyren igangsettes, mens her så tar sjåføren over før den når punktet hvor den hadde skrudd seg av helt og smelt seg selv inn i steinene - ettersom handover prosedyren åpenbart ville igangsettes for sent her. 

Tallene er brukt som eksempler. Jeg aner ikke hvor lavt ned Tesla tillater at systemet går til før handover igangsettes, men den er åpenbar justert lavt ned. 

  • Liker 1
  • Innsiktsfullt 2
Lenke til kommentar
oophus skrev (2 minutter siden):

 

 

Sitat

Burde være åpenbart at "the button" ikke burde lanseres slik ting fungerer nå, når man har regelendringer på trappene. Da burde Tesla innføre disse som minimum i forkant. Regelendringene er selvfølgelig der for å øke sikkerheten. 

Så lenge de omtaler SAE J3016 nivåene, så burde de også utnytte reglene der for å innføre AV på. FSD har ei design-intensjon ut mot oss vanlige folk til å til slutt løse autonomi ved nivå 4. Ergo så burde bruken av nivå 2 assister inkludere kravene som følger nivå 4 utvikling ute på offentlige veier.

Det er ikke normalt å implementere endringer på ting som ikke er implementert. 

Sitat

Så kjapt du stopper å komme med tåpelig krav til kilder på informasjon du vet vi ikke har nok statistikk på ennå - ergo kilden er jo ikke mulig å hente frem. Men vi kan fint diskutere logikken som brukes rundt hvorfor regelendringene diskuteres og havner opp i drafts for regelendringer.

Men da må du jo ikke påstå ting du innrømmer å ikke ha kilder på da :)

Sitat

1. De har bilde utenfor fokusområdet man som sjåfør skal ha når man utnytter slike funksjoner. Det er som sagt mennesket som står der med ansvaret og som skal følge med på bilens ODD, som altså betyr alle bevegelige objekter. Du skal rett og slett ikke kun aktivere  f.eks fil-bytte uten å følge med på veien og gjøre normal prosedyre med å sjekke blindsone og slike ting selv. 
2. Lyden differensierer ikke mellom de ulike funksjonene og deres ODD. 

Tøys, ett av fokus områdene til en sjåfør er fart. Dette finner en på skjermen. Men du må gjerne vise til at det blir ett krav om at dette skal være i eye of sight(som da må være HUD). Lyden differensierer om det er på eller av, jo. 

Sitat

Jeg tok opp denne tidligere også, og ifølge denne så balanserer jo Tesla på hva som er lov og ikke lov. Det er jo hele poenget med kappløpet deres for å kunne lansere "button" før reglene i større grad linker seg fast i ting som dette, som altså er fra SAE J3016, hvor de ikke ville fått lov til å lansere "button" uten bedre DMS, bedre testsjåfører og betydelig mer rapportering. 

Om FSD's "design intent" er å løse autonomi ved nivå 4, så skal FSD utvikles med reglene som linkes til nivå 4. 

EM tar altså risiko for å løpe i forkant av reglene, og håper at han skal rekke å få pumpingen av FSD ferdig og si at det er "feature complete" før det blir umulig å gjøre det - for da må FSD faktisk utvikles slik normale AV utviklere utvikler nivå 4 funksjoner og kjøretøy. Det betyr at Tesla må rapportere om utviklingen sin, og at den blir offentlig kjent. Det ser ikke veldig pent ut på papiret for Tesla om de skulle ha startet å rapportere inn "handovers" f.eks på dette nivået mot hva vi vet andre får til. Beta-sjåfører må også i betydelig bedre grad trenes opp til å forstå hva de tester. Hva funksjonene er gode på og ikke, samt hva som kan skje gjennom ulike varianter av NN trening mot bilflåten. Som sagt så er det 100% forventet at maskinlæring på dette stadiet blir såpass stort at man umulig klarer å teste alle mulige "corner cases" dem i mellom. Altså vil f.eks versjon 9.2 fungere bedre enn versjon 10 på enkelte områder, selv om versjon 10 kan totalt sett være en bedre "pakke" med over snittet mer oppgraderinger enn nedgraderinger. 

Dog så lenge man har nedgraderinger av funksjonalitet, så er det ekstremt viktig at sjåførene er klar over muligheten at ruter de har kjørt 1000 ganger tidligere uten problemer nå plutselig kan oppleves annerledes. 

Du har iallefall gode teorier, ingen tvil om det. Og du har muligens rett. Men det er fortsatt innenfor å kaste ut knappen nå, ift gjeldende regler. 

Sitat

et er ingen her som har sagt at audio og visuell feedback ikke er nok? Spørsmålet er jo om Tesla sin versjon av det ville vært nok, og om regelendringene i tillegg innfører krav mot haptisk feedback i setet/rattet. 

Hvis man innfører krav om haptisk feedback i rattet, så er jo dagens situasjon åpenbar et problem med folk som slipper rattet når de aktiverer AP/FSD. Så om haptisk feedback i rattet implementeres, så må det også berøre DMS krav og justeringen av ODD når sjåføren slipper rattet. 

Jo du, som noen linjer over sier at problemet er plasseringen av den viselle feedbacken. Ja, det er jo ikke problematisk å justere denne testen ned i intervall. Det må jo de andre leverandørene også gjøre, for en kan slippe rattet i X antall tid der også. 

Sitat

Jeg forstår at systemet varsler med lyd og blinker når den har tid til å forstå at egen ODD ikke er eller blir tilfredsstillende. Det hjelper lite når bilens ODD kan kjøres aktivt med 99% sikkerhet i egen løsning samtidig som den kan finne på å gjøre det samme ved 50% sikkerhet i egne løsninger mot det den ser. Et sted mellom "sikker" og "usikker" før "handover" må illustreres bedre til sjåførene om formålet er at sjåføren skal monitorene systemet. 

Bilen gir beskjed når den slår av, det er det ingen tvil om. Igjen, les manualen. 

Sitat

Tja, se f.eks den der. Tenker du at VIDAR gir sannsynlighet for at bilen kan kjøre videre der nærmere 99% eller nærmere 50%? Husk at her blir det ikke varslet om noen ting før manuell handover måtte igangsettes og bremsene aktiveres. Når bremsene aktiveres så kommer først lyden, og rattet skiftes fra blått og blinker litt før den forsvinner. 

I dette scenarioet så ville nytt regelverk måtte varsle sjåføren om å være obs tidligere, siden den naturlig nok burde bli mindre "treffsikker" i sannsynligheten for at den har rett i det den ser på. F.eks at den er 99% sikker på at veien går videre der, til 80%, 70%, 60% osv jo nærmere den kommer der kravet er 50% før handover prosedyren igangsettes, mens her så tar sjåføren over før den når punktet hvor den hadde skrudd seg av helt og smelt seg selv inn i steinene - ettersom handover prosedyren åpenbart ville igangsettes for sent her. 

Tallene er brukt som eksempler. Jeg aner ikke hvor lavt ned Tesla tillater at systemet går til før handover igangsettes, men den er åpenbar justert lavt ned. 

her er det sjåføren som slår av systemet. Det blir varslet med korrekt lyd. 

Selvfølgelig kan en ikke gi beskjed om en fare når en ikke detekterer faren. Det bør til og med du forstå. Litt som når VW dro meg over i feil kjørefelt uten en eneste lyd. Den er rett og slett ikke klar over feilen. 

  • Liker 1
  • Innsiktsfullt 1
Lenke til kommentar
Salvesen. skrev (3 timer siden):

Det er ikke normalt å implementere endringer på ting som ikke er implementert. 

Det er faktisk omvendt. De andre som tilbyr assister leker allerede med ulike løsninger som de mener vil kvalifisere til regelendringene. Det har vi jo allerede etablert. 

Salvesen. skrev (3 timer siden):

Men da må du jo ikke påstå ting du innrømmer å ikke ha kilder på da :)

Glemmer du temaet? Jeg har fra start av diskutert mulige regelendringer med logikken i at de skal inn for å øke sikkerheten. Hvordan skal jeg kunne gi deg kilde på statistikk som ikke eksisterer ennå? Slutt å mas om kilder på ting du vet ikke er mulig å oppdrive. 

 

Salvesen. skrev (3 timer siden):

Tøys, ett av fokus områdene til en sjåfør er fart. Dette finner en på skjermen. Men du må gjerne vise til at det blir ett krav om at dette skal være i eye of sight(som da må være HUD). Lyden differensierer om det er på eller av, jo. 

Si meg, leser du i det hele tatt det jeg skriver? SAE J3016 skal ikke sette harde krav for måten å løse problemet på, de setter bare føringer og at det må være redundancy. Om Tesla sin versjon med et lite blått ratt vil være nok er jo debatten vi tar her og nå. Som du så i videoen over, så hjelper det lite med en liten logo der man ikke kikker etter at det er aktivert. Det at det er blått fungerer best når man aktivt kikker etter logoen for å se om man kan aktivere AP/FSD. Det fungerer ikke optimalt når bilen selv må informere sjåføren om endringer i bilens ODD for dens funksjoner. 

Lyden differensierer ikke om det er ACC ODD eller ALKS ODD f.eks som justeres nei. 

Salvesen. skrev (3 timer siden):

Du har iallefall gode teorier, ingen tvil om det. Og du har muligens rett. Men det er fortsatt innenfor å kaste ut knappen nå, ift gjeldende regler. 

Så da har vi jo kommet til roten av problemet. Du tenker det er greit å gi faen siden man kan løpe i forkant av regelverket, selv om vi vet at det vil skape problemer og dødsfall. Vell, deg om det. 

 

Salvesen. skrev (3 timer siden):

Det må jo de andre leverandørene også gjøre, for en kan slippe rattet i X antall tid der også. 

En kan slippe rattet hos alle. Men hos de andre forutenom Tesla så blir man ikke straffet om man justerer manuelle inputs til rattet. AP/FSD lignende funksjoner blir ikke avkoblet slik at det må aktiveres igjen. Dette er nok en endring som vil tvinge Tesla til å følge de andre med regelendringene. 

Jeg har jo forklart hvorfor denne lille forandringen er viktig tidligere, men jeg kan godt gjenta det. 

Tesla sin metode = Når ODD for AP/FSD er tilfredsstillende (blått ratt), så kan man aktivere funksjonen med hendelen. Om du må manuelt justere input til rattet, så gjør det ODD for funksjonene til "avslått". Det straffer valget om å gjøre manuelle justeringer siden du så må aktivere AP/FSD i etterkant. 

Generell metode = Når ODD for ALKS er tilfredsstillende (f.eks lys i rattet), så kan man aktivere funksjonen med ei knapp. Om du så må manuelt justere input til rattet, så går ODD for funksjonen fra "på" til "ventende". Den går altså automatisk "på" igjen når ODD er tilfredsstillende etter justeringen. Som oftest handler det kun om å midtstille bilen i fila si igjen om man f.eks måtte kjøre forbi en syklist. 

Resultat hos Tesla sin metode er at man undersøker om AP/FSD løser problemet man ser til siste lita før man tar over, og man blir irritert når ODD gjennom kartdata i EU f.eks ikke tillater AP pga for knappe svinger, siden man hele tiden må aktivere AP manuelt. 
Hos de andre, så kan man fint holde i rattet og justere rattet kontiinuerlig. ODD for funksjonen går ikke "av" men til kun "ventende" når man justerer systemet. På den måten "lærer" man sjåføren at det å holde i rattet og faktisk kjøre aktivt ikke er "straffende" med ALKS påslått, slik man blir hos Tesla. 

 

Salvesen. skrev (3 timer siden):

her er det sjåføren som slår av systemet. Det blir varslet med korrekt lyd.  

Hvorfor gjenta det jeg skrev bare? Samt hva er vitsen med lyden når personen uansett tar over? Forstår du virkelig ikke tema ennå? 

 

Salvesen. skrev (3 timer siden):

Selvfølgelig kan en ikke gi beskjed om en fare når en ikke detekterer faren. Det bør til og med du forstå. Litt som når VW dro meg over i feil kjørefelt uten en eneste lyd. Den er rett og slett ikke klar over feilen. 

Men du vet da hvordan systemet i slike funksjoner fungerer? Det er ikke slik at bilen er ved 99% sikkerhet kontinuerlig til den plutselig er på 0% og skrur seg av? Om det er tilfellet her, så kan ikke "button" lanseres om slike ting ikke er løst allerede. Det er snakk om kampesteiner som står og sperrer en blindvei? 

Det samme problemet eksisterer for VW men de utvikler ikke funksjoner hvor de later som om disse skal være "FSD". Her snakker vi om "hands on" assister hvor folk i større grad fordres til å kjøre aktivt. Slipper du rattet i en VW med nivå 2 assister, så tipper jeg man eier en Tesla og er ignorant i forhold til hva assister betyr, og slipper rattet av dårlig vane produsert av "autonowashing" fra EM og Tesla i forsetet. Eventuelt så har man kjøpt sin nye elbil og antar at disse assistene er noe annet enn hva de er, nettopp pga "autonowashing" som du jo bidrar med. 

 

Endret av oophus
  • Innsiktsfullt 3
Lenke til kommentar
8 hours ago, oophus said:

Det burde ikke være noe tvil om at det er misforståelser angående hva FSD kan og ikke kan der ute - når de dukker opp her inne også blant folk som følger med betydelig mer enn snittet der ute. Når folk som Tesla Bjørn slipper rattet når man aktiverer "hands on" funksjoner, så blir tendensen slik at alt for mange vil gjøre det samme. 

Det hender jo at også folk i biler uten FSD slipper rattet i korte øyeblikk, feks for å skru opp vannflasken.Før i tiden når folk dreiv på med røyking så var det jo ikke uvanlig at folk slapp rattet for rulle seg en sigarett mens de kjørte. Så styrte de kanskje med kneet om det trengtes. Det gikk sikkert oftest bra, selv om det neppe er i henhold til §3 i vtl. 

Driver Tesla Bjørn på med å slippe rattet til vanlig når han kjører Tesla eller var det noe som skjedde et kort øyeblikk som du tilfeldigvis la merke til i en video? Tesla peser jo sjåføren til å holde i rattet, så tviler egentlig på at dette er noe TB pleier å gjøre. 

  • Liker 4
Lenke til kommentar
8 hours ago, oophus said:

Dog det er et problem at alt slikt må vises på midtskjermen. Risting på rattet kan man jo ikke 100% stole på siden såpass mange driver å slipper rattet når de har funksjonene påslått - godt hjulpet av "autonowashing" i mediene og influencere.

man kan aldri sikre seg fullstendig. Noen vil gjøre gale ting uansett. Kjøre i fylla feks. Strengt forbudt likevel skjer det. Teknikken finnes til å stoppe det, men produsentene er ikke pålagt alkosperre i bilene. 

  • Liker 3
Lenke til kommentar
bojangles skrev (2 timer siden):

Det hender jo at også folk i biler uten FSD slipper rattet i korte øyeblikk, feks for å skru opp vannflasken.Før i tiden når folk dreiv på med røyking så var det jo ikke uvanlig at folk slapp rattet for rulle seg en sigarett mens de kjørte. Så styrte de kanskje med kneet om det trengtes. Det gikk sikkert oftest bra, selv om det neppe er i henhold til §3 i vtl. 

Nit picking, eller forstår du ikke temaet som diskuteres? Alt sammen handler om risiko, og ja - røyking med kne-ratting økne nok risiko for uhell vs vanlig ferdsel. Problemet med det er at det ville vært vanskelig å gjøre noe med. Det er det ikke med dagens problem. Det handler om skolering, og enkle løsninger for å monitorer og informere "monitorereren". 

bojangles skrev (2 timer siden):

Driver Tesla Bjørn på med å slippe rattet til vanlig når han kjører Tesla eller var det noe som skjedde et kort øyeblikk som du tilfeldigvis la merke til i en video? Tesla peser jo sjåføren til å holde i rattet, så tviler egentlig på at dette er noe TB pleier å gjøre. 

Han gjør det ofte når han slipper videoene som ofte starter med 5 min med vanlig kjøring. Når han aktiverer ulike ALKS i de ulike bilene, så "beviser" han at det er aktivert ved å holde hendene av rattet. 

Sikkert ikke ment dårlig, men det kan gi uheldige faktorer ut mot vanlige folk som undersøker bilen de vil kjøpe, som normalt sett ikke bryr seg om Twitter og nettforum, men som finner en video med han. 

  • Liker 3
Lenke til kommentar
bojangles skrev (2 timer siden):

man kan aldri sikre seg fullstendig. Noen vil gjøre gale ting uansett. Kjøre i fylla feks. Strengt forbudt likevel skjer det. Teknikken finnes til å stoppe det, men produsentene er ikke pålagt alkosperre i bilene. 

Men alt dette handler om sannsynligheter. Når det er enkelt å redusere mulig uhell og skade gjennom design og funksjoner, så burde vi jo gjøre og støtte det? Er du for og/eller imot setebelte feks? 

  • Liker 2
Lenke til kommentar
1 hour ago, oophus said:

Men alt dette handler om sannsynligheter. Når det er enkelt å redusere mulig uhell og skade gjennom design og funksjoner, så burde vi jo gjøre og støtte det? Er du for og/eller imot setebelte feks? 

Og tross i at svaret er innlysende så er faktum det at ca halvparten av de trafikkdøde i landet ikke brukte bilbeltet under kjøreturen som kostet dem livet. At man forsøker å løse noe med lover eller påbud betyr jo ikke at man faktisk løser noe. Kanskje har man bare gitt ennå en forskrift el lov. 

Jeg tror ikke bilprodusenter blir pålagt noe voldsomt mye strengere kontrollregime enn det som alt benyttes. Sensorer og feks eye tracking vill sikkert holde. Men kanskje tar jeg feil, og det er greit det også for dette er jo ikke noe jeg har som fagfelt. 

  • Liker 3
Lenke til kommentar
bojangles skrev (3 minutter siden):

Og tross i at svaret er innlysende så er faktum det at ca halvparten av de trafikkdøde i landet ikke brukte bilbeltet under kjøreturen som kostet dem livet. At man forsøker å løse noe med lover eller påbud betyr jo ikke at man faktisk løser noe. Kanskje har man bare gitt ennå en forskrift el lov. 

Enkelte nye biler selges med startlås mot setebelte. Hva er sannsynligheten at statestikken I hovedsak inkluderer biler uten slik teknologi som idag er enkelt å implementere i dagens biler? 

Samt hadde jeg satt pris på om du svarte enkelt på spørsmålet. 

bojangles skrev (6 minutter siden):

Jeg tror ikke bilprodusenter blir pålagt noe voldsomt mye strengere kontrollregime enn det som alt benyttes

Nye regler innføres omtrent årlig. 

bojangles skrev (6 minutter siden):

Sensorer og feks eye tracking vill sikkert holde.

En må inkludere litt rundt måten de brukes, og endel av det vil være å informere oss i større grad rundt valg bilen gjør eller ønsker å gjøre. Det er viktig om vi slak monitorere bilen, og det hjelper oss med å lettere lære og se hvor funksjonene fungerer godt mot dårlig. 

  • Liker 2
Lenke til kommentar
22 hours ago, oophus said:

Enkelte nye biler selges med startlås mot setebelte. Hva er sannsynligheten at statestikken I hovedsak inkluderer biler uten slik teknologi som idag er enkelt å implementere i dagens biler? 

Samt hadde jeg satt pris på om du svarte enkelt på spørsmålet. 

Men flere i denne tråden og liknende tråder har jo ofte argumentert med at at selv de som omgår bilenes sikkerhetsfunksjoner må sikres. Hva hjelper det å ha startsperre koblet opp mot setebeltet om førere setter fast setebeltet FØR de setter seg i setet. Slik at setebeltet er mellom sjåføren og setet. Eller bare kjøper seg brukt setebelte og lar festeordningen stå konstant i slik at systemet lures? 

Vi klarer faktisk ikke demme opp for alle folks iboende trang til å unngå følge reglene. Noen raringer vil alltid manipulere systemer slik at det passer deres virkelighet bedre. Selv om den oppfatning er feil eller ren galskap. 

Jeg kan ikke svare enkelt på spørsmålet for det er ikke noe enkelt svar slik jeg ser det. Hva akkurat jeg gjør eller mener om saken personlig blir litt på siden. For jeg er bare en eneste mann. 

Endret av bojangles
  • Liker 4
Lenke til kommentar
bojangles skrev (5 minutter siden):

Men flere i denne tråden og liknende tråder har jo ofte argumentert med at at selv de som omgår bilenes sikkerhetsfunksjoner må sikres.

. Hvor? De som aktivt feks putter ei appelsin inn i rattet og samtidig trur at manualen kun er for ekstra sikkerhet mens bilen faktisk kan kjøre trygt av seg selv er fremdeles blitt offer for "autonowashing". Kan du snakke om temaet istedenfor å føre utallige sidespor rundt temaet? 

bojangles skrev (10 minutter siden):

Jeg kan ikke svare enkelt på spørsmålet for det er ikke noe enkelt svar slik jeg ser det.

Kan du ikke si om du er for eller imot setebelte?? 

  • Liker 2
Lenke til kommentar
bojangles skrev (6 minutter siden):

Siden det virker å ha så stor betydning, jeg er naturligvis for setebelter. 

Så bra. Hvorfor er det isåfall ei "disconnect" rundt hva man burde gjøre og gjorde med setebelter og det en burde gjøre nå når man introduserer ADAS og over tid AV? 

Hvis du syns det er åpenbart at vi burde beholde kravene rundt setebeltet, hvorfor har du et annet utgangspunkt til hvordan man burde lovfeste ADAS og etterhvert AV? Normalt sett så lar man bransjen føre sin egen linje for sikkerhet, og man håper at bransjen i seg selv øker sikkerhet hele tiden fordi det selger biler i seg selv. Om de ikke gjør det, så må en inn og sette krav for teknologi man vet vi har og kan utnytte for å øke sikkerheten. En av disse tingene er ADAS, og ADAS vil mest sannsynligvis være et krav neste år for å enten få 5 stjerner i tester, altså at man utnytter f.eks ENCAP til å få det kjappere inn hos alle, eventuelt at man lovfester det slik man lovfestet krav om setebeltet. 

Når det gjelder ADAS og AV utvikling samt innføring, så har vi nå allerede fått fasiten på at lovverk må innføres for å få bukt med dårlig implementering av teknologien. Tesla er under etterforskning, og det av gode grunner. Risikoen nå er at ADAS og AV utvikling får strengere krav linket til seg mot R&D enn nødvendig, noe som gjelder alle som normalt sett opp til nå har holdt seg i skinnet og regulert seg selv. Men når det er tydelig at enkelte ikke regulerer seg selv, så må regelasjoner altså inn utenifra. 



 

  • Liker 2
Lenke til kommentar
  • 2 uker senere...

Det har blitt endel dommmedagsprofeti rundt Tesla's FSD Beta, og spesielt nå med public beta. Nå viser det seg at Tesla har tatt grundige grep for å sikre seg så langt det er mulig mot idioter. De som ønsker å teste fsd beta må si ja til at at Tesla's forsikringsdata samles i et gitt antall dager. Da måler Tesla åssen folk kjører, fart, oppmemrksomhet, avstand til biler foran og også evt. påminnelser om å ta rattet eller vandrende blikk eller skjermblikk. De må også godta at de selv står fullt ut ansvarlig, og får nok en gang en påminnelse om at de til enhver tid må være klar til å gripe inn dersom beta sw gjør feil valg. 

Nå kan vel selv de mest nervøse og dystre folk ta seg en bolle og puste rolig en stund?

  • Liker 1
  • Innsiktsfullt 1
Lenke til kommentar
bojangles skrev (38 minutter siden):

Det har blitt endel dommmedagsprofeti rundt Tesla's FSD Beta, og spesielt nå med public beta. Nå viser det seg at Tesla har tatt grundige grep for å sikre seg så langt det er mulig mot idioter. De som ønsker å teste fsd beta må si ja til at at Tesla's forsikringsdata samles i et gitt antall dager. Da måler Tesla åssen folk kjører, fart, oppmemrksomhet, avstand til biler foran og også evt. påminnelser om å ta rattet eller vandrende blikk eller skjermblikk. De må også godta at de selv står fullt ut ansvarlig, og får nok en gang en påminnelse om at de til enhver tid må være klar til å gripe inn dersom beta sw gjør feil valg. 

Nå kan vel selv de mest nervøse og dystre folk ta seg en bolle og puste rolig en stund?

Alle andre:

  • Proffe sjåfører(du vet med opplæring og lønn) tester selvkjøringsfunksjoner slik at kundene får et produkt som ikke er livsfarlig.

 

Tesla:

  • Kunde betaler $10 000 for det ikke-eksisterende produktet Level 5 selvkjøring
  • Gå gjennom den nedverdigende opplevelsen å bli overvåket og vurdert på ubestemt tid for å få tilgang til en betaversjon av en Level 2 førerassistent som man allerede for 3 år siden har betalt for.
  • Være gratis testsjåfør for verdens rikeste mann.
  • Nervene i helspenn fordi autonomiens svar på sjimpansen Julius når som helst kan vrenge inn i fotgjengere og fortauskanter og som ubetalt testsjåfør tar du all risikoen selv for å prøve å forhindre det.

Her det nok å ta tak i for å holde en hærskare av sosiologer, sosialantropologer og psykologer engasjert i åresvis. Og det er bare toppen av isfjellet. 

Endret av uname -i
  • Liker 3
  • Innsiktsfullt 1
Lenke til kommentar
bojangles skrev (7 timer siden):

Det har blitt endel dommmedagsprofeti rundt Tesla's FSD Beta, og spesielt nå med public beta. Nå viser det seg at Tesla har tatt grundige grep for å sikre seg så langt det er mulig mot idioter. De som ønsker å teste fsd beta må si ja til at at Tesla's forsikringsdata samles i et gitt antall dager. Da måler Tesla åssen folk kjører, fart, oppmemrksomhet, avstand til biler foran og også evt. påminnelser om å ta rattet eller vandrende blikk eller skjermblikk. De må også godta at de selv står fullt ut ansvarlig, og får nok en gang en påminnelse om at de til enhver tid må være klar til å gripe inn dersom beta sw gjør feil valg. 

Nå kan vel selv de mest nervøse og dystre folk ta seg en bolle og puste rolig en stund?

Det å gi score basert på akselleromereren i bilen gir ikke nødvendigvis sikrere sjåfører? Må du unnvike et mulig uhell og må bråbremse så får du ikke tilgang til Beta og dyrere forsikring, der systemet gir deg dårligere score enn personen som snittet barnet eller hva det er man bråbremser for. 

Når den glidende snittet kun varer i ei uke, så er dette også tøys. De med dårlig score klarer fint å være "bestemor" I ei uke. 

  • Liker 2
Lenke til kommentar

Opprett en konto eller logg inn for å kommentere

Du må være et medlem for å kunne skrive en kommentar

Opprett konto

Det er enkelt å melde seg inn for å starte en ny konto!

Start en konto

Logg inn

Har du allerede en konto? Logg inn her.

Logg inn nå
  • Hvem er aktive   0 medlemmer

    • Ingen innloggede medlemmer aktive
×
×
  • Opprett ny...