Folding rigg - komponenter og hjelp til bygging

[lashrasch]

Jeg sitter i disse dager med en PC som jobber med Folding@home og div. BOINC-prosjekter. 
PC-en er helt topp. surrer og går med i9 7900x og 2 1080 Ti. 

Men så sitter jeg i samme slengen og lurer på hvordan i all verden jeg kan eskalere dette videre? Hovedkortet har ikke plass til flere skjermkort. Og jeg hadde gjerne satt igang med å lage en egen case med flere skjermkort som kun skal jobbe med computing.

Ok, så da må jeg i prinsippet lage meg en rigg, men hva bør jeg kjøpe av utstyr? Hvor begynner jeg? Finnes det hovedkort som støtter en drøss med skjermkort, eller finnes det produkter spesifikt til crowd computing? 

Bør jeg kjøpe brukte 1080/2070/2080 og liknende, eller finnes det andre skjermkort man bør gå for til denne typen bruk?

Er det noen andre her som har bygget en rigg selv og har tips?

[Splitter]

Jeg bruker dette hovedkortet, og har ingen problemer med å kjøre 6 stk. 1070. 

Link

Endret 29. mars 2020 av Splitter

[lashrasch]

22 minutes ago, Splitter said:

Jeg bruker dette hovedkortet, og har ingen problemer med å kjøre 6 stk. 1070. 

Link

Har du litt mer info om hva slags kort du kjører på den da? PSU? Hvordan kobler du PCIe x16 på de der?
Hvordan kjøler du dette?

[War]

Kommer litt an på gpuene du skal kjøre , men pci-1x fungerer neppe bra til folding. 

Her er tommelfingerregel 16x 2.0 eller 8x 3.0 

Cpuen du bruker har 44 lanes, hvor 2 går til drev/disk/ 

[lashrasch]

57 minutes ago, War said:

Kommer litt an på gpuene du skal kjøre , men pci-1x fungerer neppe bra til folding. 

Her er tommelfingerregel 16x 2.0 eller 8x 3.0 

Cpuen du bruker har 44 lanes, hvor 2 går til drev/disk/ 

Ja, greia er at jeg ikke vet helt hvor jeg skal begynne i det hele tatt. Hvilke GPUer BØR jeg kjøre? 10 stk 2080Ti osv?
Finnes det noen folding 101 sider som viser hvordan man bygger en rigg som kun skal brukes til slikt?

[War]

Ja dette er problemstillingen for mange, det å kjøre mange gpuer i en maskin går kanskje, kanskje med VMWare inn i flere maskiner. Da kommer lanes inn i billdet og pci-express på hovedkortene. Dessverre kan man ikke mining-rigge folding aka risere og en haug av kort pr pc. Jeg kjører 2 kort pr pc, 3 går også, men temp øker så de kommer til å throtle eller støye. 

Hver ekstra maskin koster penger i komponenter og 2070super er vel det beste kortet å folde på med sine 1,7mill ppd vs prisen. 

Hele rommet jeg folder i kunne vært pakket ned hvis jeg kjøpte meg 8 2080ti og satt hjemme, så jeg ville ha anbefalt å kjøpe en pc med ddr4/ z170 og opp, en i5 iallefall 2x 16 3.0 og spart opp til en 2080ti på demo eller finn og heller utvidet dette med ett til siden. 

2 slike kort yter 7.000.000 i pcen jeg skriver på nå, i foldebula har jeg 5 masksiner med 1070(10 gpuer) for ca samme ppd..  Det er mye ekstra penger i komponenter og tid 

Endret 29. mars 2020 av War

[Splitter]

lashrasch skrev (2 timer siden):

Har du litt mer info om hva slags kort du kjører på den da? PSU? Hvordan kobler du PCIe x16 på de der?
Hvordan kjøler du dette?

Jeg kjører faktisk bare med PCIe x1. Ser det blir sagt ovenfor at dette ikke fungerer så bra til folding, så da har jeg egentlig de samme spørsmålene som deg.  

[lashrasch]

1 hour ago, War said:

Hver ekstra maskin koster penger i komponenter og 2070super er vel det beste kortet å folde på med sine 1,7mill ppd vs prisen. 

Hele rommet jeg folder i kunne vært pakket ned hvis jeg kjøpte meg 8 2080ti og satt hjemme, så jeg ville ha anbefalt å kjøpe en pc med ddr4/ z170 og opp, en i5 iallefall 2x 16 3.0 og spart opp til en 2080ti på demo eller finn og heller utvidet dette med ett til siden. 

Aha, så når jeg ser et bilde som dette så står kortene kun to og to sammen per case? Interessant. Jeg fikk inntrykk av at de stod på rekke og rad og var koblet til ganske få hovedkort.

[War]

Det er tomeskene ja, de står 2 og 2 for best utnyttelse. Man bør ha en slot plass i mellom, men det er mulig å kjøre 4 kort på en pc i pcix 3.0 8x også, men da er alle kortene 91c og throtler.

[MariusJS]

9 hours ago, War said:

Det er tomeskene ja, de står 2 og 2 for best utnyttelse. Man bør ha en slot plass i mellom, men det er mulig å kjøre 4 kort på en pc i pcix 3.0 8x også, men da er alle kortene 91c og throtler.

Har du vurdert å prøve PCIe 8x eller 16x risere?

[War]

Jar det ja, men da må jeg bruke andre hk og cpu med mer lines, så kan jeg ikke ha de i rackskap og plutselig er jeg tilbake til trådhyller og strips ? bygger en test nå med 16x risere

[lashrasch]

9 hours ago, War said:

Det er tomeskene ja, de står 2 og 2 for best utnyttelse. Man bør ha en slot plass i mellom, men det er mulig å kjøre 4 kort på en pc i pcix 3.0 8x også, men da er alle kortene 91c og throtler.

 

Dette er rimelig oppklarende for hvordan jeg kan løse floken med å sette opp en egen gruppe GPUer. Ser en del mining-rigger som er konstruert ganske annerledes. Men det er mye trådhyller og strips ja!

Jeg kunne ikke se noe luftesystem på bildene i artikkelen om riggen deres, men har dere vurdert vannkjøling på kortene?
Er det for ustabilt og kostbart?

[MariusJS]

1 hour ago, War said:

Jar det ja, men da må jeg bruke andre hk og cpu med mer lines, så kan jeg ikke ha de i rackskap og plutselig er jeg tilbake til trådhyller og strips ? bygger en test nå med 16x risere

Mener det finnes noen "special made" mining cases som er open source ish, de burde vel i teorien funke fint med x16 risere, hadde forøvrig vært veldig interessant å se forskjellen på x4, x8 og x16 i PPD

[AveMORphine]

Jeg vurderer å skaffe meg biforcation brakett som i praksis er en pcie x16 riser med 2xpcie16(ix8 modus) spor i enden. Men de jeg har sett så langt har pcie sporene helt inntil hverandre sli at eneste muligheten for å kjøre det er å bruke fullcover blokk på kort som kan kjøre i 1 slot når det er vannkjølt (mitt MSI aero OC 1080ti kan det). Men ja vannkjøling 24/7 er ikke straight forward. Du må pushe mye luft rundt kortene for å sørge for at der ikke er lommer med varme som det kan danne seg kondens i. Jeg har kjørt mining med vannkjøling, og oppdaget heldighvis de kondensflekkene før det ble problematisk. Og det er MYE ekstra arbeid.

Personlig håper jeg det kommer slike biforcation løsninger med spacing mellom kortene slik at en kan kjøre luftkjøling. Men muligheten er der for min del om jeg faller for fristelsen en dag.

Før den tid må jeg nok si at fristelsen er langt større til å kjøpe meg en TR 1920 elns og putte den i ett rimelig TR4 HK og undervolte og klokke den for så å prøve med ørten riser cards (med eller uten biforcation). Men vi får se hva økonomien tillater fremover.

[Villfaren]

Dere som folder, hvorfor? 

Føler dere at dere bidrar med noe? 

[AveMORphine]

6 minutes ago, Villfaren said:

Dere som folder, hvorfor? 

Føler dere at dere bidrar med noe? 

Om spørsmålene dine var stilt med ett åpent sinn, så er svaret mitt til begge ja.

Om du troller: så er svaret som følgende:

Du som stiller spørsmål rundt hva alle andre gjør, og forsøker å gjøre narr av andre.

Hva er ditt bidrag?

Hvilken nytte gjør du i samfunnet?

[lashrasch]

1 hour ago, Villfaren said:

Dere som folder, hvorfor? 

Føler dere at dere bidrar med noe? 

Driver med folding i tillegg til en del andre prosjekter som er behandling av enorme mengder data fra forskningsprosjekt. 
Mitt bidrag er jo nettopp.. et bidrag, så ja, da føler jeg også at jeg bidrar.

Den samlede kraften i alle datamaskiner er jo så latterlig stor at alle burde ha donert. Så jeg forsøker ihvertfall med det jeg har.

[MariusJS]

2 hours ago, Villfaren said:

Dere som folder, hvorfor? 

Føler dere at dere bidrar med noe? 

Hvorfor ikke folde, spesielt nå om vinteren, da holder man plutselig lunk i ett rom som ellers hadde vært bikkjekaldt

[Raspeball]

Spør like gjerne her i stedet for i "hoved-folde-tråden":

Dersom man skal utvide med en GPU slik at man totalt har to, i en maskin som ikke har plass til nye kort av en viss størrelse, og som heller ikke primært er bygd for folding, er det et poeng å ha to like kort? For ordens skyld er det snakk om GTX 1060, og siden man kan få tak i brukt samme modell til 700 kr-ish, så lurer jeg på om det er verdt investeringen.

[MariusJS]

1 hour ago, Raspeball said:

Spør like gjerne her i stedet for i "hoved-folde-tråden":

Dersom man skal utvide med en GPU slik at man totalt har to, i en maskin som ikke har plass til nye kort av en viss størrelse, og som heller ikke primært er bygd for folding, er det et poeng å ha to like kort? For ordens skyld er det snakk om GTX 1060, og siden man kan få tak i brukt samme modell til 700 kr-ish, så lurer jeg på om det er verdt investeringen.

litt usikker på hva du faktisk spør om, selvsagt vil du få bedre PPD med to kort, men hvilket kort du har i tillegg til det første spiller egentlig ingen rolle (altså, du kan bruke hva som helst, det eneste som vil variere er jo PPD)