Kan man forutse ytelsesøkning i smarttelefoner basert på regresjon av historiske data?

[Gjest Slettet+5132]

Dette innlegget er egentlig en spin-off fra diskusjonen om S9-testen.
 
Formålet med dette innlegget er å se hvorfor vi kan forutse ytelsesendringer for dagens SoCer basert på historikken tidligere. Hele formålet med dette kom for å diskutere om S9 var en skikkelig nyvinning eller ei. Om S9 er en skikkelig oppdatering eller ei skal ikke diskuteres i denne tråden, kun om regresjonsmetoder er anvendbare for å forutse benchmarkytelse.
 
Vi tar for oss et par mobiltelefoner og et par benchmarktester. For hver mobiltelefonen (eg. iPhone 8, Samsung Galaxy S8), har vi en poengsum for hver benchmark (eg. Geekbench Single Core, Geekbench Multicore, 3dmark).  Benchmarkene er valgt etter ett kritierie: Om jeg finner historiske data.

 

Jeg har gjort mitt beste på å kontrollere at dataene er riktige, men hvis det har sneket seg inn en feil, må en gjerne si ifra (på en høflig måte, å anklage meg for å gjøre datafeil med vilje får folk holde seg for gode til )

En realistisk modell er at du hvert år har en prosentvis økning i benchmarkpoengsum, det vil si at hvis S_n nå er poengsum ved år n, antar vi at
 

 
Dette blir da en differenslikning som det er lett å løse:
 

 
Hvis vi tar logaritmen på begge sider finner vi
 

 
altså kan vi kjøre lineær regressjon på datasettet (Årsnummer, log(S_n)) som igjen gir oss en tilnærming til S_0 og \gamma.
 
Jeg har gjort dette for de fire datasettene

• geekbench single
• geekbench multi
• 3dmark ice unlimited
• [3dmark Sling Shot(OBS. Ingen data for iphone 4, iphone 4s, Samsung s3)

Jeg estimerer da vekstfaktoren gamma fra foregående års modell (altså frem til iphone 7 / s8) og ser hvor godt denne modellen forutså neste modell (iphone 8  / s9)
 
Resultatene er som følger:
 

 

 

 

 
For alle benchmarkene og modellene gir det en grei prediksjon på poengsummene. iPhone 8 scorer faktisk under forventning, mens S9 scorer over forventning på singlecore og slingshot, mens under på multicore. 
 
Så er spørsmålet, kan vi se "to modeller" frem i tid? Her utelater jeg Slingshot siden vi har for få datapunkt allerede (iphone 4s, iphone 5 og s3 fant jeg ikke).

• geekbench single
• geekbench multi
• 3dmark ice unlimited

Her begynner resultatene å bli interessante.
 

 



 
For det første klarer modellen å forutse S9 sin singlecorepoengsum helt perfekt! For det andre, gir den ingen dårlig prediksjon på dagens poengscore. For all del ikke perfekt, men absolutt ikke dårlig. 
 

Ja, jeg kunne laget ett skript som gjorde alt dette, men jeg ville holde det enkelt.
 
For ordens skyld, her er data som ligger til grunn, med kilder
 
 
3dMark Slingshot:
 

#S4: 1292 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S4+4G_+(MSM8974AA+v2)/review
#S5: 1401 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S5+LTE-A/review
#S6: 1637 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S6+Edge/review
#S7: 2476 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S7+(Exynos+8+Octa)/review
#S8: 4566 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S8_+(MSM8998)/review
#S9: 5793 http://bgr.com/2018/03/08/galaxy-s9-vs-iphone-x-speed-benchmark-tests-comparison/
 

# iphone 5s 1182 https://www.futuremark.com/hardware/mobile/Apple+iPhone+5s/review
# iphone 6 1446 https://www.futuremark.com/hardware/mobile/Apple+iPhone+6/review
# iphone 6s 2367 https://www.futuremark.com/hardware/mobile/Apple+iPhone+6s/review
# iphone 7 2600 https://www.futuremark.com/hardware/mobile/Apple+iPhone+7/review
# iphone 8 3734 https://www.futuremark.com/hardware/mobile/Apple+iPhone+8/review
 
 
3dmark Ice unlimited
 

#S3  1276 http://browser.geekbench.com/geekbench3/8570680
#S4: 1772 https://browser.geekbench.com/android_devices/108
#S5: 2414 https://browser.geekbench.com/android_devices/163
#S6: 4049 https://browser.geekbench.com/android_devices/209
#S7: 5348 https://browser.geekbench.com/android_devices/220
#S8: 6428 https://browser.geekbench.com/android_devices/376
# S9: 8945 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2

 

# iphone 4s 491 https://browser.geekbench.com/ios_devices/6
# iphone 5 1207 https://browser.geekbench.com/ios_devices/20
# iphone 5s 2144 https://browser.geekbench.com/ios_devices/28
# iphone 6 2307 https://browser.geekbench.com/ios_devices/33
# iphone 6s 3813 https://browser.geekbench.com/ios_devices/38
# iphone 7 5694 https://browser.geekbench.com/ios_devices/44
# iphone 8 10129 https://browser.geekbench.com/ios_devices/50
 

 

Geekbench Multicore
 
#S3  1276 http://browser.geekbench.com/geekbench3/8570680
#S4: 1772 https://browser.geekbench.com/android_devices/108
#S5: 2414 https://browser.geekbench.com/android_devices/163
#S6: 4049 https://browser.geekbench.com/android_devices/209
#S7: 5348 https://browser.geekbench.com/android_devices/220
#S8: 6428 https://browser.geekbench.com/android_devices/376
# S9: 8945 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2
 

# iphone 4s 491 https://browser.geekbench.com/ios_devices/6
# iphone 5 1207 https://browser.geekbench.com/ios_devices/20
# iphone 5s 2144 https://browser.geekbench.com/ios_devices/28
# iphone 6 2307 https://browser.geekbench.com/ios_devices/33
# iphone 6s 3813 https://browser.geekbench.com/ios_devices/38
# iphone 7 5694 https://browser.geekbench.com/ios_devices/44
# iphone 8 10129 https://browser.geekbench.com/ios_devices/50
 
 

Geekbench singlecore
 
#S3  417 http://browser.geekbench.com/geekbench3/8570680
#S4: 716 https://browser.geekbench.com/android_devices/108
#S5: 931 https://browser.geekbench.com/android_devices/163
#S6: 1295 https://browser.geekbench.com/android_devices/209
#S7: 1811 https://browser.geekbench.com/android_devices/220
#S8: 1953 https://browser.geekbench.com/android_devices/376
# S9: 3739 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2
 

# iphone 4s 284 https://browser.geekbench.com/ios_devices/6
# iphone 5 754 https://browser.geekbench.com/ios_devices/20
# iphone 5s 1267 https://browser.geekbench.com/ios_devices/28
# iphone 6 1360 https://browser.geekbench.com/ios_devices/33
# iphone 6s 2214 https://browser.geekbench.com/ios_devices/38
# iphone 7 3388 https://browser.geekbench.com/ios_devices/44
# iphone 8 4217 https://browser.geekbench.com/ios_devices/50

[bjønneovn]

Vil på en høflig måte gjøre deg oppmerksom på X-faktoren her.

 

Energiforsyningen ligger litt til venstre for senter og virker dermed destabiliserende på kjerne 3.

Dette har muligens innvirkning på din første utregning ?  )