Jump to content
PingEnt

Kan man forutse ytelsesøkning i smarttelefoner basert på regresjon av historiske data?

Recommended Posts

Dette innlegget er egentlig en spin-off fra diskusjonen om S9-testen.
 
Formålet med dette innlegget er å se hvorfor vi kan forutse ytelsesendringer for dagens SoCer basert på historikken tidligere. Hele formålet med dette kom for å diskutere om S9 var en skikkelig nyvinning eller ei. Om S9 er en skikkelig oppdatering eller ei skal ikke diskuteres i denne tråden, kun om regresjonsmetoder er anvendbare for å forutse benchmarkytelse.
 
Vi tar for oss et par mobiltelefoner og et par benchmarktester. For hver mobiltelefonen (eg. iPhone 8, Samsung Galaxy S8), har vi en poengsum for hver benchmark (eg. Geekbench Single Core, Geekbench Multicore, 3dmark).  Benchmarkene er valgt etter ett kritierie: Om jeg finner historiske data.

 

Jeg har gjort mitt beste på å kontrollere at dataene er riktige, men hvis det har sneket seg inn en feil, må en gjerne si ifra (på en høflig måte, å anklage meg for å gjøre datafeil med vilje får folk holde seg for gode til :) )

En realistisk modell er at du hvert år har en prosentvis økning i benchmarkpoengsum, det vil si at hvis S_n nå er poengsum ved år n, antar vi at
 
chart?cht=tx&chl= S_n = \gamma S_{n-1}
 
Dette blir da en differenslikning som det er lett å løse:
 
chart?cht=tx&chl= S_n = \gamma^n S_0
 
Hvis vi tar logaritmen på begge sider finner vi
 
chart?cht=tx&chl= \log (S_n) = \log(S_0) + n\log(\gamma)
 
altså kan vi kjøre lineær regressjon på datasettet (Årsnummer, log(S_n)) som igjen gir oss en tilnærming til S_0 og \gamma.
 
Jeg har gjort dette for de fire datasettene

Jeg estimerer da vekstfaktoren gamma fra foregående års modell (altså frem til iphone 7 / s8) og ser hvor godt denne modellen forutså neste modell (iphone 8  / s9)
 
Resultatene er som følger:
 
post-78935-0-10716700-1520798542_thumb.png
 
post-78935-0-03629500-1520798550_thumb.png
 
post-78935-0-24627000-1520798560_thumb.png
 
post-78935-0-01944900-1520799907_thumb.png
 
For alle benchmarkene og modellene gir det en grei prediksjon på poengsummene. iPhone 8 scorer faktisk under forventning, mens S9 scorer over forventning på singlecore og slingshot, mens under på multicore. 
 
Så er spørsmålet, kan vi se "to modeller" frem i tid? Her utelater jeg Slingshot siden vi har for få datapunkt allerede (iphone 4s, iphone 5 og s3 fant jeg ikke).

Her begynner resultatene å bli interessante.
 
post-78935-0-64505300-1520800532_thumb.png
 
post-78935-0-81743400-1520800537_thumb.png

post-78935-0-36554500-1520800527_thumb.png
 
For det første klarer modellen å forutse S9 sin singlecorepoengsum helt perfekt! For det andre, gir den ingen dårlig prediksjon på dagens poengscore. For all del ikke perfekt, men absolutt ikke dårlig. 
 

Ja, jeg kunne laget ett skript som gjorde alt dette, men jeg ville holde det enkelt.
 
For ordens skyld, her er data som ligger til grunn, med kilder
 
 
3dMark Slingshot:
 

#S4: 1292 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S4+4G_+(MSM8974AA+v2)/review
#S5: 1401 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S5+LTE-A/review
#S6: 1637 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S6+Edge/review
#S7: 2476 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S7+(Exynos+8+Octa)/review
#S8: 4566 https://www.futuremark.com/hardware/mobile/Samsung+Galaxy+S8_+(MSM8998)/review
#S9: 5793 http://bgr.com/2018/03/08/galaxy-s9-vs-iphone-x-speed-benchmark-tests-comparison/
 

# iphone 5s 1182 https://www.futuremark.com/hardware/mobile/Apple+iPhone+5s/review
# iphone 6 1446 https://www.futuremark.com/hardware/mobile/Apple+iPhone+6/review
# iphone 6s 2367 https://www.futuremark.com/hardware/mobile/Apple+iPhone+6s/review
# iphone 7 2600 https://www.futuremark.com/hardware/mobile/Apple+iPhone+7/review
# iphone 8 3734 https://www.futuremark.com/hardware/mobile/Apple+iPhone+8/review
 
 
3dmark Ice unlimited
 

#S3  1276 http://browser.geekbench.com/geekbench3/8570680
#S4: 1772 https://browser.geekbench.com/android_devices/108
#S5: 2414 https://browser.geekbench.com/android_devices/163
#S6: 4049 https://browser.geekbench.com/android_devices/209
#S7: 5348 https://browser.geekbench.com/android_devices/220
#S8: 6428 https://browser.geekbench.com/android_devices/376
# S9: 8945 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2

 

# iphone 4s 491 https://browser.geekbench.com/ios_devices/6
# iphone 5 1207 https://browser.geekbench.com/ios_devices/20
# iphone 5s 2144 https://browser.geekbench.com/ios_devices/28
# iphone 6 2307 https://browser.geekbench.com/ios_devices/33
# iphone 6s 3813 https://browser.geekbench.com/ios_devices/38
# iphone 7 5694 https://browser.geekbench.com/ios_devices/44
# iphone 8 10129 https://browser.geekbench.com/ios_devices/50
 

 

Geekbench Multicore
 

#S3  1276 http://browser.geekbench.com/geekbench3/8570680
#S4: 1772 https://browser.geekbench.com/android_devices/108
#S5: 2414 https://browser.geekbench.com/android_devices/163
#S6: 4049 https://browser.geekbench.com/android_devices/209
#S7: 5348 https://browser.geekbench.com/android_devices/220
#S8: 6428 https://browser.geekbench.com/android_devices/376
# S9: 8945 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2
 

# iphone 4s 491 https://browser.geekbench.com/ios_devices/6
# iphone 5 1207 https://browser.geekbench.com/ios_devices/20
# iphone 5s 2144 https://browser.geekbench.com/ios_devices/28
# iphone 6 2307 https://browser.geekbench.com/ios_devices/33
# iphone 6s 3813 https://browser.geekbench.com/ios_devices/38
# iphone 7 5694 https://browser.geekbench.com/ios_devices/44
# iphone 8 10129 https://browser.geekbench.com/ios_devices/50
 
 

Geekbench singlecore
 

#S3  417 http://browser.geekbench.com/geekbench3/8570680
#S4: 716 https://browser.geekbench.com/android_devices/108
#S5: 931 https://browser.geekbench.com/android_devices/163
#S6: 1295 https://browser.geekbench.com/android_devices/209
#S7: 1811 https://browser.geekbench.com/android_devices/220
#S8: 1953 https://browser.geekbench.com/android_devices/376
# S9: 3739 https://www.tek.no/artikler/test-samsung-galaxy-s9/431900/2
 

# iphone 4s 284 https://browser.geekbench.com/ios_devices/6
# iphone 5 754 https://browser.geekbench.com/ios_devices/20
# iphone 5s 1267 https://browser.geekbench.com/ios_devices/28
# iphone 6 1360 https://browser.geekbench.com/ios_devices/33
# iphone 6s 2214 https://browser.geekbench.com/ios_devices/38
# iphone 7 3388 https://browser.geekbench.com/ios_devices/44
# iphone 8 4217 https://browser.geekbench.com/ios_devices/50

  • Like 2

Share this post


Link to post

Vil på en høflig måte gjøre deg oppmerksom på X-faktoren her.

 

Energiforsyningen ligger litt til venstre for senter og virker dermed destabiliserende på kjerne 3.

Dette har muligens innvirkning på din første utregning ?  ;))

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...