infectedtech: The AAPEN Project - kommentartraad

[konduktans]

Vet du lengden på PCIe-forlengerene dine? Er de kjøpt på DX?

[[Infected]]

Nei, jeg kjopte mine fra Shenzhen/Guangdong via ebay, lengden er ca 20 cm.

Endret 4. mai 2012 av [Infected]

[Perril]

Cat approves. lol

[[Infected]]

Kvalitetskontroll; step 1 finn dyreste ting paa bordet, step 2 legg seg ned, step 3 ??, step 4 profiit!

[[Infected]]

Wow.. bandwidth limit exceeded... fixed.

[Ascubal]

Har du den vifta for å trekke inn kaldluft? Har omtrent kliss lik vifte selv, men den er ikke i bruk akkurat nå

[[Infected]]

Begynte med aa trekke inn, men siste tiden har jeg provd med aa trekke ut i stedet, for aa vaere helt aerlig er jeg ikke sikker paa hva som er best jeg

[konduktans]

Rot, rot, rot

[[Infected]]

Rot, rot, rot

 

Et haerlig kaos Neida, var helt jaevlig aa ikke ha tilgang til "baksiden" av rack'et, og siden kablene var i strekk ogsaa var det ikke bare til aa flytte litt paa de heller.. maatte enten gaa helt rundt eller krype under

 

Men prover noe nytt denne gangen, alle forrige generasjoner har jeg vaert pinlig opptatt av kabelorganisering og at alt skal vaere paa centimeteren og alt det der, men i den nye oppsettet naa har jeg gitt mer slack paa akkurat det..

 

Var egentlig dritt lei av at hver gang det var noen endringer i kablingen saa var det stress uten like, saa vi faar se om OCD'en eller fleksibiliteten staar seirende til slutt

Endret 6. juni 2012 av [Infected]

[GreenRay]

Ser bra ut dette Pen kabelorganisering!

[[Infected]]

Ser bra ut dette Pen kabelorganisering!

 

Takker

[sivertaa]

Hva har du tenkt til og gjøre med dette når du er ferdig? Har du tenkt til og gjøre det open source, GNU lisens?

 

Når det gjeller hardware har du forklart veldig mye men jeg skulle ønske du kunne skrive mer om programvaren du bruker. Jeg har fått med meg at nodene kjører slackware, men har du gjort noen modifiseringer i selve OSet eller kjører de stock slackware men med et eget program?

[[Infected]]

Hei, og takk for gode sporsmaal

Hva har du tenkt til og gjøre med dette når du er ferdig?

Har du tenkt til og gjøre det open source, GNU lisens?

 

Programvaren og alt som horer med er open source ja, GPL v3 lisens, men naavaerende kode er saapass stygg og hackete paa mange steder, samt at den inneholder myestatics og diverse verdier som maa settes i selve koden, men kildekoden vil vaere helt aapen og tilgjendelig for de som skulle vaere ute etter den. (men forelopig bare paa request/alpha klausul). Den naavaerende versjonen er bare en smule involvert/manuell paa visse punkter, men det vil vaere fokuks paa aa fikse kommende semester.

 

Når det gjeller hardware har du forklart veldig mye men jeg skulle ønske du kunne skrive mer om programvaren du bruker.

 

Neste semester blir det nok mye mer om selve programvaren, hvordan den er skrudd sammen, hvordan den er designet til aa virke og slikt. Trodde egentlig ikke det var spesiell interesse for programvaren og tekniske losninger, saa har pushet det litt paa sidelinjen for aa gi plass til andre ting i stedet. Men om interessen faktisk er der kan jeg gjerne skrive litt mer om hvordan det hele er skrudd sammen i programvaren og hvordan ting ser ut bak kulissene.

 

Jeg har fått med meg at nodene kjører slackware, men har du gjort noen modifiseringer i selve OSet eller kjører de stock slackware men med et eget program?

 

Det er Slackware med eget program, egentlig er det to versjoner av slackware som brukes, head noden kjorer en mer eller mindre vanilla slackware 13.37 implementasjon, mens nodene kjorer en strippet og optimalisert versjon av 13.1, som med tid og stunder vil bli oppgradert.

 

Jeg har holdt meg saa naer til "Slackware" som mulig, baade utviklingsmessig og programvaremessig, og det er essensielt at man kan bruke standard rutiner for aa oppdatere/vedlikeholde Slackware etc.

Programmet skal vaere saa non-intrusive som mulig, saa skal vaere enkelt aa baade installere og fjerne, og ideelt skal ikke slackware i seg selv vaere noe krav paa bunn, koden skal ideellt vaere saa agnostic som mulig.

 

Head/hoved-noden trenger egentlig ikke kjore Slackware, og det skulle ikke vaere noen videre problemer aa installere paa andre versjoner av Linux, kort sagt er kravet egentlig bare Perl og diverse CPAN moduler. Men har ikke tenkt noe videre paa installasjonsrutiner eller slikt, enda ivertfall.

 

Rammeverket vil initialisere og konstruere seg selv, og hva man saa kjorer paa toppen av dette kan egentlig vaere hva som helst, fra Windows til Linux og BSD.

 

Grunnen til at jeg har valgt Slackware i bunn er rett og slett siden jeg synest det er enkleste og beste aa utvikle paa/med

 

Skal ta meg selve i nakken og skrive mer om selve programvaren i tiden som kommer og hvordan det hele er satt sammen, og skal se om jeg faar somlet mer kode gjennom "kvalitetssjekken" saa den kan naa ett nivaa som kan taale litt mer videre print den ogaa

[kpolberg]

Jeg må si jeg er meeeeget skeptisk til PCIe ribbon forlengere.

[[Infected]]

Jeg må si jeg er meeeeget skeptisk til PCIe ribbon forlengere.

 

Skal inromme at de pcie forlengelsene har vaert ett bekymringspunkt, men det har faktisk fungert overraskende bra.. saa langt ivertfall, det har jo vaert feil paa ett par, men det har vaert noenlunde konsekvent, ser ikke ut til at interferens eller noe slikt har hatt noen nevneverdig innvirkning heller, men dette er jo noe som kan vise seg med tiden..

 

klart, mtp. maaten jeg har sourcet det hele og budsjettbegrensninger og alt slikt, har jeg jo vaert nodt til aa forhaandsregler og har alltid bestillt til overs, naturlig nok mtp. distansen og alt det der, og selvfolgelig naar man handler til spott

 

Saa langt har jeg bare funnet to konsekvent defekte extensions og en som virker ustabil, IB HCA'ene har jo hatt en viss feil-rate de ogsaa, og saa to daarlige IB kabler

 

Nyeste batch'en av IB kontrollere har jeg valgt noen andre HCA'er MHGA28-1TC, mener jeg det var

i stedet for MHEA28-XTC som jeg brukte tidligere, og bruker disse i Pri og SAN, har ogsaa valgt aa kjope ett par helt nye IB kabler i samme slengen

 

Har ogsaa investert i litt 10Gbe ethernet bare for aa kunne sammenligne litt ogsaa

 

Om jeg skulle bestillt PCIe forlengere i dag tror jeg nok at jeg ville bestillt noen litt dyrere, for sikkerhets skyld, spesielt siden jeg bestillte de saa langveisfra til aa begynne med.. men det ville jo mangedoblet prisen av akkurat den utgiftsposten da..

[kpolberg]

Hvillken OFED stack bruker du? Mellanox sin egen? Siste firmware på HCAene?

[[Infected]]

Bruker ikke OFED, enda, men innebygde SM'en i switch'en, med mellanox mthca fra linux kernel, og NFS over ipoib.. men skifter nok til OFED og RDMA med tid og stunder. Trodde Mellanox sin stack bare var OFED med litt attaat jeg

[sivertaa]

Dette er kanskje et dumt spørsmål men hvorfor trenger du en så kraftig switch, når alle nodene er koblet sammen med infiniband?

[[Infected]]

kjopte den opprinnelig som core for ett lan party, den bruker vel nesten like mye strom som hele clusteret til sammen, og viftene er saa hoylytte at man maa snakke opp naar den er paa

[sivertaa]

Haha, er ikke det litt over kill for et Lan party? Men jeg forstår fortsatt ikke hvorfor du trenger og koblene nodene sammen med både infiniband og ethernet.