Slik virker mobilkameraet

[Odd R. Valmot]

Slik virker mobilkameraet

[keramikklampe]

Flott artikkel!

Kunne noen forklart litt mer nøye på ett par punkter?

1: hvorfor er det 2 grønne sensorer for hver blå og rød sensor? Det nevnes av øyet er mer følsomt for grønt. Hvordan oversettes dette til at det er viktig med dobbelt så mange grønne sensorer?

2: hvorfor kun RGB sensorer? Synes å huske at Huawei introduserte å også ha gul sensor, og pixel hadde også svart/hvit sensor. Hvorfor/hvorfor ikke?

3: nye kamera mobiler har også Time Of Flight sensor. Hvordan virker dette? Og hvordan operer den i samsvar med fokusering linsen?

4: hvordan kan ett ekstra (anti refleks) belegg på linsene sørge for at mer lys slipper gjennom? Lyset må jo gjennom linsen uansett, burde ikke ett ekstra belegg gi mer "optisk motstand"?

6: hvorfor klarer ikke kamera å ta bilde av mørke (som skygger som alene har nok lys, men blir mørkt sammenlignet mot feks himmelen) og lyse scener på likt? Det er jo nok lys for at kameraeet skal detektere dette. Og hvorfor håndterer full system kamera slike scener bedre enn mobil kamera?

7: har mobil kamera ennå iris for å regulere blender åpning (og bokeh effekt)? Eller er det kun justert via software nå?

8: en siste ting som også er fasinerende er Optical Image Stabilization, hvor smått, raskt og nøyaktig det er på disse små enhetene.

[Fri diskusjon og kunnskap]

En fin artikkel, om noe så komplisert.

 Så kommer altså et norsk selskap med noe som kommer til å revolusjonere teknologien, i både mobiler, scannere og klokker. (!)

 T-lens. Mindre linse, bedre bilder og betydelig lavere strømforbruk:

https://www.polight.com/technology-and-products/tlens-compared-to-vcm/default.aspx

 

 

Endret 17. november 2019 av Fri diskusjon og kunnskap

[Simen1]

Fin artikkel, mer slike takk

Noen kommentarer til artikkelen:

Sitat

De knøttsmå lyssensorene har også noe vi ikke vil ha. De genererer kontinuerlig egenstøy. Når det er lite lys utenfra, blir stadig mer av det samlede signalet fra pikselet bestående av støykomponenten.

1. Støyen er et tillegg til det samlede signalet og ikke en del av det. Ellers så er sensorene så gode i dag at det er veldig lite egenstøy. Den største støykomponenten er som regel det innkomne lyset selv. Små piksler i kombinasjon med høy ISO gir ofte bare noen titalls eller hundretalls elektroner per piksel og da spiller den statistiske tilfeldigheten av fotonene som strømmer inn en stor rolle. Før man bare noen få fotoner inn per piksel så kan ikke intensiteten bestemmes særlig nøyaktig.

2. APS-H-formatet ser ut til å ha forsvunnet fra skissen med sensorstørrelser.

3. "Det er jo en tynn stripe mellom hver sensor hvor lyset ikke gjør nytte for seg, men det løser man med mikrolinser." Den tynne stripa er ofte ganske tykk. Bildesensorer i telefoner har ofte i størrelseorden 30-50% ikke sensitivt sensorareal. Mikrolinsene reduserer virkningen av disse til noen få prosent lystap.

4. Pikselbinning er en fin teknikk.

[OPV]

Flott artikkel.

Bilder med høy oppløsning kalles nå helst «høyoppløste». «Høyoppløselig» (hva betyr det egentlig?) bør pensjoneres.

[-trygve]

keramikklampe skrev (8 timer siden):

4: hvordan kan ett ekstra (anti refleks) belegg på linsene sørge for at mer lys slipper gjennom? Lyset må jo gjennom linsen uansett, burde ikke ett ekstra belegg gi mer "optisk motstand"?

Dette skyldes det fascinerende fysiske fenomenet interferens. Den enkleste måten å betrakte dette på virker temmelig snodig, men det fungerer faktisk. Lys er bølger, og dersom bølger møtes på en slik måte at topp treffer topp adderes de - konstruktiv interferens - mens hvis topp treffer bunn nuller de hverandre ut - destruktiv interferens (forutsatt at amplituden er lik, ellers blir det bare reduksjon). Enhver gang lys går fra et medium til et annet, for eksempel fra luft til antirefleksbelegget eller fra antirefleksbelegget til glasset, reflekteres litt av lyset. Med antirefleksbelegg er det altså to flater med en liten avstand mellom der lyset reflekteres. Hvis belegget er akkurat passe tykt vil toppene fra lyset som reflekteres fra den første flaten falle sammen med bunnene som reflekteres fra den andre flaten (og motsatt), og dermed oppnår vi destruktiv interferens. Intensiteten i det reflekterte lyset reduseres altså, men energien i lyset kan ikke forsvinne så det må bety at mer av lyset har passert inn i linsen.

Dette høres nesten for godt ut til å være sant, men det fungerer faktisk. Det gir imidlertid ikke perfekt utslukking av det reflekterte lyset av to grunner. For det første kan tykkelsen av antirefleksbelegget bare optimaliseres for én bestemt bølgelengde, men hvitt lys består som kjent av mange bølgelengder. Optimering for en bølgelengde omtrent midt i det synlige spekteret fungerer ganske bra, men det blir uansett bare et kompromiss. For det andre må amplituden på det reflekterte lyset fra de to flatene være lik for å få fullstendig utslukking. Forholdet mellom de to amplitudene kan styres ved å gjøre et godt valg av brytningsindeksen til materialet i filmen, men dessverre finnes det (i hvert fall såvidt jeg vet) ikke noen egnede materialer som har akkurat den brytningsindeksen man helst skulle ha brukt så man må klare seg med en i nærheten.

[keramikklampe]

-trygve skrev (31 minutter siden):

Intensiteten i det reflekterte lyset reduseres altså, men energien i lyset kan ikke forsvinne så det må bety at mer av lyset har passert inn i linsen.

Dette var litt av en overraskende vitenskap. Meget interessant. Selv om det høres litt trolldomverdig merkelig ut. 

Tusen takk for forklaringen!

Husker også hvordan jeg ikke kunne forstå hvordan briller med gult glass, som fjernet en mengde av det blåst lyset, fikk alt til å virke lysere ut. Fikk da forklart at det var fordi luftfuktighet (vann) i luften gav hovedsaklig blått lys som var diffusert, og når en filtrerer bort dette blir resterende lys skapere.

[Simen1]

Objektivprodusentene gikk for 50~60 år siden over fra glass uten belegg til glass med ett belegg (coated), etter interferensmetoden som Trygve beskriver. Så for ~40 år siden gikk de over til multicoated, som kan bety 2 eller flere lag optimalisert for ulike bølgelengder. Så vidt jeg har forstått har utviklingen gått videre til belegg med gradvis økende brytningsindeks etter en bestemt stigningsrate. Disse skal være så effektive at selv objektiver med 20-25 glass og da 40-50 overganger mellom luft og glass gir svært lite strølys inni objektivet (som ødelegger kontrasten).

[snafu0601]

1: Det er to grønne filtere for hvert blått og rødt filter i en 4-pixels gruppering. Altså filtere ikke sensorer.

Bra artikkel!

[-trygve]

Simen1 skrev (9 timer siden):

Objektivprodusentene gikk for 50~60 år siden over fra glass uten belegg til glass med ett belegg (coated), etter interferensmetoden som Trygve beskriver. Så for ~40 år siden gikk de over til multicoated, som kan bety 2 eller flere lag optimalisert for ulike bølgelengder. Så vidt jeg har forstått har utviklingen gått videre til belegg med gradvis økende brytningsindeks etter en bestemt stigningsrate. Disse skal være så effektive at selv objektiver med 20-25 glass og da 40-50 overganger mellom luft og glass gir svært lite strølys inni objektivet (som ødelegger kontrasten).

Ja, jeg burde ha nevnt multicoating. Prinsippet er det samme, men det gir mer fleksibilitet i designet. Jeg kan riktignok ikke tenke meg hvordan de skulle klare å bruke multicoating til å optimalisere for flere ulike bølgelengder samtidig. Alt lyset må jo uansett gjennom det samme belegget. Derimot gir multicoating med ulike brytningsindekser god mulighet til å optimalisere relative amplituder, og gir dermed en god effekt.

Når det gjelder andre bølgelengder enn de belegget er optimalisert for: så lenge bølgelengdeforskjellen ikke er for stor har belegget fremdeles en positiv effekt, bare ikke like stor. Hvis bølgelengdeforskjellen blir tilstrekkelig stor har belegget en negativ effekt siden det da gir konstruktiv interferens i det reflekterte lyset - altså blir mer lys enn vanlig reflektert. I praksis må man et stykke inn i det ultrafiolette området før dette inntreffer så det er ikke noe praktisk problem. Men om du ser på en linse med antirefleksbelegg vil du se et lilla fargeskjær. Det er fordi belegget fungerer dårligst for de korteste bølgelengdene. Dermed vil innholdet av blått og lilla i det reflekterte lyset være større enn normalt.

[Simen1]

Litt flere kommentarer til artikkelen:

Sitat

Spesielt de nye mobilprosessorene som kan kjøre kunstig intelligens på brikken utnyttes til å fjerne støy og forbedre bildene.

Strengt tatt kan man ikke si at AI selektivt fjerner kun støy og ikke signal. Det kan like gjerne være signal som fjernes, noe som ender med en kombinasjon av realisme og kunstnerisk gjettverk/tegning. For all del, mange kunder ønsker en sånn kombinasjon, men det trengs nyansering på hva som egentlig foregår.

Angående optikk så er det bra dere ikke bruker ordet zoom, for zoom betyr strekt tatt optisk variabel brennvidde og det er det uhyre få telefoner som har (jeg tror Samsyng hadde et par modeller for ca 10 år siden). Det telefonprodusentene misvisende kaller zoom er egentlig en sammenstilling av kameraer uten zoom. For brukeren er det liten praktisk forskjell, så derfor har det nok ikke vært flisespikket så mye på. Det sagt så har de såkalte telekameraene så lite tele at det er diskutabelt om det i det hele tatt kan kalles tele. Telekameraene har også såpass små sensorer og liten blenderåpning at det egentlig ikke er noe særlig å hente på å bruke de, sammenlignet med å ta et utsnitt fra det normale telefonkameraet.

On trenden framover er jeg helt enig. Det blir flere kameraer i telefonene og det gir nytteverdi.

- Ulike brennvidder og ulike fokusdybder (eget makrokamera)

- Ulike bayer/farge/IR/mono/polarisering-kombinasjoner

- Ulike perspektiv (3D-bilder/video/scanning, lengdemåling, romforsståelse for rendring og 3D-print)

 

Endret 18. november 2019 av Simen1

[Fri diskusjon og kunnskap]

 

En linse, alt i fokus. :

https://www.polight.com/technology-and-products/tlens-compared-to-vcm/default.aspx

Vil T-lens slå ut alt av tidligere linsetyper i mobiler/kameraer, klokker, scannere  framover?

Uten elektromagnetiske forstyrrelser, uten forskjellige linselag og brytninger.

[MortenL]

TOF fungerer i bunn og grunn slik at to pixler kan aktiviseres i hvert sitt intervall av lukketiden. Dette må det belyses med raske pulser som er synkronisert med denne lukketiden. Dersom objektet som returnerer lyset er nært, er det pixelen som er aktivisert først som får mest lys. Og tilsvarene får den andre pixelen mer lys for lys som blir reflektert senere. Og så kan man beregne avstand med å veie disse pixlene opp mot hverandre.

[keramikklampe]

MortenL skrev (13 timer siden):

TOF fungerer i bunn og grunn slik at to pixler kan aktiviseres i hvert sitt intervall av lukketiden. Dette må det belyses med raske pulser som er synkronisert med denne lukketiden. Dersom objektet som returnerer lyset er nært, er det pixelen som er aktivisert først som får mest lys. Og tilsvarene får den andre pixelen mer lys for lys som blir reflektert senere. Og så kan man beregne avstand med å veie disse pixlene opp mot hverandre.

Hva kan man forvente av ett bilde som er supplert med TOF?

Er det å kunne velge forskjellig fokuspunkt i ettertid?

[-trygve]

Fri diskusjon og kunnskap skrev (På 17.11.2019 den 13.28):

Så kommer altså et norsk selskap med noe som kommer til å revolusjonere teknologien, i både mobiler, scannere og klokker. (!)

 T-lens. Mindre linse, bedre bilder og betydelig lavere strømforbruk:

https://www.polight.com/technology-and-products/tlens-compared-to-vcm/default.aspx

Det virker nesten for godt til å være sant. Måten de har laget linsen på er interessant nok, men jeg det virker som om mye av det det de skryter av må ligge i programvaren bak. Evnen til å ha alt i fokus samtidig eller å velge fokus i ettertid regner jeg med at egentlig dreier seg om fokusstabling - altså at de tar flere bilder med ulik fokusavstand og så setter sammen til ett bilde. Det som imponerte meg minst var bokeh-eksempelet deres. Det så ikke bra ut.

[Simen1]

keramikklampe skrev (12 timer siden):

Hva kan man forvente av ett bilde som er supplert med TOF?

Er det å kunne velge forskjellig fokuspunkt i ettertid?

Nei, men:

- Dybdeinfo (per i dag mye mer grovpikselert enn selve bildet)

- Dybdeinfoen har mange praktiske anvendelser. F.eks kan du ta bilde av en sofa og få telefonen til å anslå høyde, bredde og lengde. Kjekt om man f.eks har et bilde hjemmefra på telefonen når man står i møbelbutikken og lurer på om man har plass til en fin ny sofa eller ikke.

- Raskere autofokus enn via vanlig kontrastbasert AF, fordi kameraet får bedre grunnlag til å vurdere hvilken vei det skal fokusere

- Tar man to bilder etter hverandre eller video kan man vite noe om romlige hastigheter. Romlige data kan også identifisere steder og objekter lettere og forbedre AR-funksjoner betraktelig.

Endret 19. november 2019 av Simen1