Gå til innhold

infectedtech: The AAPEN Project


Anbefalte innlegg

Hurra for Oppdatering Nummer 100!

Ett hundre oppdateringer, snart fire aar siden prosjektet startet, paa mange maater har tiden gaatt veldig fort.. likevel er det enda ett stykke igjen til maal..

Hadde egentlig haapet aa faa til noe litt mer morsomt til den 100de oppdateringen, en liten demo av programvaren for eksempel.. men siden implementeringen av AAPEN 2.0 har hatt litt lenger tid enn planlagt, faar det bli en annen anledning :)

Denne posten tar for seg litt av utviklingssyklysen bak prosjektet, og hvordan ting ser ut paa papiret, sett litt i forhold til hvordan ting til slutt ender opp :)

Litt bakgrunn (TL;DR)

 

 

Opprinnelig var AAPEN 2.0 designet rundt RDMA og GlusterFS, men pga. visse 'show-stopper bugs' ble klyngen konvertert til SCSI over RDMA i stedet, kort sagt, infiniband multipath i stedet for replication.

Man laerer mye rart om prosjektplanlegging paa univeristetet, noen ting fungerer, andre ting saa som saa; Likevel er en ting jeg har tatt med videre er utviklingsmetodologier (som RAD, Agile etc.) samt modul-planlegging som man faar med feks. Gantt og slikt. Selv om jeg ikke fullstendig 'adheres' til en utviklingsmodell, er storparten av metodikken hentet fra Agile og RAD :)

Ett par diagrammer er tatt med for aa vise designen av AAPEN 2.0, samt hvordan designen utviklet seg gjennom de forskjellige fasene. Selv ett digitalt bilde ofte er en kjekk sak, gjor jeg likevel mesteparten av design og utvikling av modellen paa godt gammeldags papir :)

Det er ogsaa verdt aa merke seg de forskjellige lagene av klyngen, og hvordan disse er skissert, de to lagene som presenteres her er nettverk, og "fabric" laget. (usikker paa hva en god oversettelse av "fabric" skulle vaeere.. :hmm:)

/TL;DR

Opprinnelige layout'en ble designet noen lunde omtrentlig slik (:
15760455068_abdb3a2950_b.jpg


Digitalisert omtrent slik (infiniband), pre-implementasjon, samt first-gen:

15947217422_b5cdaed9db_b.jpg


Nettverk

15945924601_c239ddc305_b.jpg


 

 

 

Og til slutt endelig fabric design for AAPEN generasjon 2.0

15349440733_4505982021_b.jpg

Siste diagrammet er egentlig hva som er interessant her, dette representerer AAPEN slik den staar naa.. Det er ogsaa verdt aa merke seg at dette bildet bare viser noder som deltar i selve 'fabric' laget av klyngen, ett fullstendig nettverksmap av 2.0 mangler enda.. :) AAPEN er paa mange maater mindre enn man skulle forvente ;)
(therein lies the magic, but thats for the scientists to decide, and madmen to enjoy)

[tldr]

 

 

4 aar, 100 poster, 26k views, totalt sett en av de laveste post/hit count av noen worklogg paa hw.no noen sinne, og det i seg selv fortjener jo en liten skaal ;) Likevel, AAPEN har aldri vaert ment aa vaere ett proskjekt for den store massen, maalet har alltid vaert aa naa frem til noen faa som forstaar budskapet. Og der tror jeg at jeg har lykkes, har ivertfall vaert saa heldig aa bli kjent med en hel haug av interessante mennesker og hackere fra over hele landet, som har vaert utrolig morsomt :)

Akademisk sett ble prosjektet ferdigstillt for ca. 1 aar siden, selv om prosjektet fortsatt har gode akademiske linjer fortsatt ;) Noe som ogsaa gjenspeiles i designen.. Begynte ogsaa aa jobbe for en stund siden, innenfor ett relatert omraade til prosjektet, og har derfor vaert saa heldig at jeg har kunnet fokusere midler til utvilingen gjennom den siste fasen av utviklingen. Og naa naermer endelig AAPEN 2.0 seg ferdigstilling :)

Selv om det kanskje ikke alltid har vaert innlysende fra hvordan postene har blitt presentert, likevel har prosjektet i hovedsak blitt delt inn i en software og en hardware bit av klyngen, og naturlig nok er det selve hardware biten som denne workloggen har hatt fokuset paa.

I saa maate og paa samme sett som at AAPEN 2.0 hardware plattformen sakte flytter seg fra test til deployment, vil ogsaa fokuset i prosjektet flyttes mer og mer over til rammeverket.

Dette betyr selvfolgelig ikke at det er slutt paa hardware for AAPEN sin del, ett par spennende noder er planlagt for 2.5 generasjonen av rammeverket, og en potensielt storre ekspansjon for 3.0.. Uansett er dette ting som ligger ett stykke frem i tid... :)
[/tldr]

 



 
En stor takk til alle som har fulgt med paa prosjektet saa langt!
 
[...]
 

To be continued.. . .. .

Endret av [Infected]
  • Liker 5
Lenke til kommentar
  • 4 måneder senere...
Videoannonse
Annonse

Off Topic !(^3^)!

Japan, selveste ingeniorkunstens hovedstad .. [Сталкер]
16814731558_5556c1a3aa_b.jpg

 

 

 

Akihabara, selve 'otaku' kulturens hovedstad..
16814730288_bf56ef67e9_b.jpg
 
Hovedgaten, Akihabara
16976496566_2ea69f71b0_b.jpg

men ble litt tid til andre ting; feks. traer, templer, og andre sky traer
16382365103_76f671b1a9_b.jpg

Tokyo <random>
16814727128_bc28dd9f05_b.jpg

Sky tree, (ett av to)
16382361173_62e36643d1_b.jpg

Kyoto subway, Welcome to the N.H.K. ! eller N.H.K. ni Yōkoso! :)
16814722498_1bc11b9b54_b.jpg

En random samurai,en tilfeldig gate i Gion, Kyoto (geisha distriktet)
16382356993_7e94e41121_b.jpg

Modell av Kyoto jernbanestasjon, i Lego av alle ting :) Men seff, kanskje ikke like ufattelig som en pc bygget i lego :laugh: Men kan jo ikke vare ingenoer uten aa felle en liten taare, internt ivertfall over slike detaljer..
16976486636_1e30723499_b.jpg

Denne LEGO tingen er massiv. Og visst nok i skala. Bygget som en markering for 40 aars jubilemuet for introduksjonen av Lego brikkene i Japan, eller var det 60 aars jubilemuet? i forget
16816257369_a992fc30c9_b.jpg

Toyota Museum of Technology, ett annet teknologisk inspirert sted
17001033762_c931a00cb5_b.jpg

Hullkort basert symaskin, fra den tiden Toyoda [sic] laget ``symaskiner`` (1900's) Vakkert eksempel paa tidlig automasjon, hullkortene gav mulighet til aa lage tekstiler med forskjellige monster. Ufattelig at disse sakene ble drevet av skovlhjul og damp
16795065447_3be7481821_b.jpg

17001030692_8ee61787a3_b.jpg

Litt mer moderne teknologi, maale og loggeinstrumenter
17001557501_242c1bfc7f_b.jpg
 
Og naar man forst er inne paa det med teknologi, er det jo faa ting som er saa sexy som roboter :) Kanskje dette er den mer 'kjedelige' typen, men for en som alltid lurer paa hvordan ting er skrudd sammen kan jo ogsaa selv denne typen vaere interessant :roll:
16814962600_22117f900d_b.jpg
 
Blinkenligts  :love: 
16976506086_c9142de44e_b.jpg

Opprinnelsesstedet til Toyota, Nagya en times tid med Shinkansen fra Kyoto.
17002441515_3ba2020a6c_b.jpg

Temple of the Fox, ett annet litt merkelig sted, litt utenfor Kyoto..
16814958660_9ffa8e6720_b.jpg

 

 

 

Hva var det den reven sa igjen? Forstaar ikke dritten jeg. :hmm:
16380039064_462341ba15_b.jpg

Shinjuku, visst nok var gantene her inspirasjon til Bladerunner... futuristisk, apokalyptisk, surreal
17001549001_6d9e449c9b_b.jpg

Endret av [Infected]
  • Liker 5
Lenke til kommentar
  • 2 måneder senere...
  • 3 måneder senere...

En Aldri Saa Liten Update

Lenge siden sist update visst. Ofte i stillheten de storste endringene skjer :) Har jobbet hardt mot generasjon 2.2, som til naa har vist seg aa vaere en av de mest utfordrende generasjonene saa langt. Mange relativt enkle deler i seg selv som skal sammen, men har fort til ganske store endringer i den underliggende infrastrukturen.
 
Andre ting som ikke gjor seg spesielt paa bilder, men har vaert utrolig spennende har vaert redesign og oppgradering (firmware) av hele switchlaget for server-kjernen, som kort sagt har blitt en gamechanger i hvordan nettverket er lagt opp.. Kort sagt, 3 kjerneswitcher paa servercore naa fullt oppgradert, med 40 Gigabit stacking mellom hverandre, skader den underliggende infrastrukturen saa absolutt ikke. Har ogsaa lagt opp endel LACP og spanning tree redundant paths, failover og slike ting. Veldig morsomt, spennende og ikke minst utfordrende, om man skulle synest slikt om slike ting da ;)
 
Produksjonsklyngen, som bestaar av InBloom og DrainYou har ogsaa fatt en fin og dugelig oppgradering, med de ekisterende 4x 16 kjerners Engineering Samples'ene som har kjort der har blitt oppgradert til 16 kjerners Opteron 6272 cpu'er, for totalt 64 kjerner og 256GB ram fordelt over to noder, for en veldig koselig og grei oppgradering :cool: Does the job anyway.
 
Men nok prat, ett par (paa forsteintrykk, usammenhengende) bilder av 2.2 oppgraderingene..

 

 


Litt elektronikk paa gang.. raspberry pi2 (ikke avbildet), har ogsaa vaert en sentral komponent
PAL_6674.jpg

Ny node in the works.. en litt morsom build :D
PAL_6797.jpg

 

Lithium v2, fordi alle vet.. `I'm so happy cause today I've found my friends, they're in my head`... yeah
PAL_6802.jpg

3dje SAN noden... skallet til den ivertfall, litt plass for utvidelser er jo greit aa ha
PAL_6817.jpg

Kommer paa plass, 8 kjerne AMD med 32GB ECC ram, og litt annet knask. Ikke saa mye spennende akkurat naa, men det kan jo fort endre seg med tiden, fundamentet er ivertfall satt :) Noden heter forovrig `Aboutagirl`.
PAL_6821.jpg

Avkjoling.. Noden vil bli brukt til design (og til slutt bli en del) av det nye SAN'et som skal komme i full prod ca. midten av 2016 engang, er naa planen, saann omtrentlig ivertfall :) To mer eller mindre identiske noder, Dumb og Breed, driver SAN'et som det staar i dag.
PAL_6839.jpg

Ny primaernode!! Supermicro weee! Ser rimelig uskyldig ut der den ligger :wee:
PAL_6851.jpg

Den naavaerende primaernoden, 6 kjerne AMD med 32GB ECC ram, en av de opprinnelige nodene i klyngen naar den forst ble bygget.. har jobbet og putret trofast helt siden starten :)
PAL_6853.jpg

Backup noden, stakkar, quad core Intel (q6600) med 8GB ram, begynner aa slite med backup jobbene.. begynner rett og slett aa bli litt for mye arbeid for en stakkars pensjonist, med alle disse dere dataene som skal flyttes baade hit og dit.
PAL_6858.jpg

Ny og gammel backup node.. Gamle primaernoden blir ny backup node, forhaapentligvis skulle 6 solide AMD kjerner og ikke minst 32GB med ECC ram sparke litt bedre fra :) Uansett, DFI'et har vaert med meg i mange aar naa.. 2008/9 eller noe deromkring det er fra, steike meg saa tiden gaar..
PAL_6860.jpg

Nye backupnoden (ogsaa kjent som Nevermind) kommer sammen.. Litt lagring er ogsaa gjemt vekk inni alt det der.. Totalt 15x 3TB (45TB raa) disker fordelt over assorterte raid arrays, kontrollert av to aldrende Areca kontrollere. Maskinens hovedoppgave er langtidslagring av backup fra klyngen, samt streaming av backupjobber til tape med jevne intervaller. Samt fungere som bulk og general purpose storage SAN for forskjellige maskiner og VM'er,  til de oppgavene der NAS'et kort sagt ikke duger, eller er raskt nok.
PAL_6873.jpg

Nye primaernoden (Polly; wants a cracker), ser ganske puslete ut, men er en 16 kjernes Opteron 6272 gjemt under den relativt uskyldige kjoleribben der.. Maskinen har ogsaa endel disk, som ikke er koblet opp for anledningen, utover primaernode blir maskinen ogsaa brukt som utviklingsnode og hoster bla. kildekoden til de forskjellige prosjektene, samt en liten haug med test VM'er i forskjellige farger og fasonger.
PAL_6878.jpg

Litt leking paa benken :) 4x 12 kjerners Opteron 6172'er med 128GB ram.. 
PAL_6983.jpg

Litt skikkelig kjoling maa til, tester ut litt nye serier fra Noctua, og selvfolgelig gode gamle Papst der det virkelig gjelder :)
PAL_7006.jpg

Testmontering, dette kortet er absurd stort, tar hele kabinettet.. siden denne noden opprinnelig ikke var planlagt, og inbloom og drainyou tar seg av produksjonen i klyngen absolutt helt utmerket, har jeg hatt mulighet aa ha det litt ekstra goy og kunne ta meg litt ekstra tid med bygging og oppsett av denne maskinen :wee: Kommer ogsaa til aa bygge en ny release av AAPEN paa toppen av det hele.. (mumble mumble NUMA, mumble mumble)
PAL_7023.jpg

 

 


Ser ilsk ut, det gjor det :omg:
PAL_7042.jpg
 
Og ikke minst, den fullstendige glemte kommentartraaden

Endret av [Infected]
  • Liker 3
Lenke til kommentar
  • 3 måneder senere...

Reparere, automatisere, appifisere

Paa tide med litt hjemmeautomasjon :) Systemet som skal til pers brukes til aa kontrollere ventilasjonen til serverene, siden dette jo er den infamose "Internets of all the things@@!", foltes det som det er paa tide og vie litt tid til intelligensen bak det hele..

En liten instrumentboks jeg har hatt liggende en stund, i paavente av en god unnskyldning til aa bruke den.. Og siden den opprinnelig var del i ett automatiseringssystem virket det som ett passende valg for anledningen :)

 

 


PAL_7146.jpg

1992 var ett godt aar for elektronikk ;) Nortroll er kanskje ett relativt ukjent merke utenfor kraftbransjen.. litt god og gammel `cableporn`
PAL_7147.jpg

En smule mer kraft bak det nye, en liten og sot Arduino klone fra Freetronics, en `EtherTen` for aa vaere spesifikk. En stund siden sist jeg har hatt mulighet, tid og en god unnskylding til aa leke med Arduino programmering.. mmm, alt alt for lenge :)
PAL_7124.jpg

Aldri la en god unnskyldning passere, saa passende aa legge til ett gammelt 2x20 karakterers baklyst LCD skjerm virket logisk. Skjermen er ikke heeelt ideell siden den er av den parallelle typen, og trenger litt flere I/O pins enn strengt talt optimalt, men har blitt liggende siden ett tidligere prosjekt og ventet paa noe aa brukes til.
PAL_7155.jpg

12V DC maa til. 'EtherTen' kan faa strom via USB, PoE eller en god gammeldags adapter, avhengig av hva som er tilgjengelig. Vil ogsaa trenge 12V til litt annen elektronikk..
PAL_7167.jpg

Nesten perfekt storrelse, ftw :)
PAL_7175.jpg

Testmontering.. maalet er aa prove aa gjenbruke saa mye som mulig av det opprinnelige
PAL_7190.jpg

Prove aa finne en optimal montering, vil bli ganske mange kabler etter hvert, saa en god layout er bra og ha.
PAL_7202.jpg

 

 


Enda en adapter, denne er 5V og skal drive TTL logikken. Grei passform paa den ogsaa :D
PAL_7214.jpg

Fortsettelse folger..

Kommentartraaden

Endret av [Infected]
  • Liker 5
Lenke til kommentar

Fremskritt, i form eller fasong

 

En aldri saa liten oppdatering av ett slag, med noen bilder av fremskrittene mot "generasjon 2.0" som det saa kjent heter. Mange aspekter av byggingen kommer sammen ganske saa fint, men fortsatt saa alt for mye arbeid som gjenstaar. Maalet i seg selv virker mer som en abstrakt ide eller konsept ett sted langt der oppe i bonnestengelen i drommeland ett sted.  Men nok om det, ett par bilder! :wee:

 

Lithium har faatt noen bilder allerede, begynner sakte men sikkert aa komme sammen :)

PAL_7112-1.jpg

 

 

 

 

Kjolelosningen er ganske enkelt, 4x 12 kjerners AMD 6172HE'er genererer ikke fryktelig mye varme, men i parallel blir det noen watt. 60mm Papst for CPU'ene, og 3x Noctua 80mm'er for uttrekk.

PAL_7116-1.jpg

 

Lite skudd fremifra, 128GB ram, men bare halvparten av minneslottene staar brukt, og det med 8GB brikker, med ett litt mer skikkelig budsjett spiser dette hovedkortet gladelig en terabyte med ram.. Men tror jeg venter med den oppgraderingen.. om og naar det eventuelt skulle skje, saa blir ikke i dag ivertfall :)

PAL_7118-1.jpg

 

Frontmodulene, ene modulen holder lagring mens den andre holder stromforsyningen. En 120GB SSD er mer enn nok plass til operativsystem og en god mengde SWAP, resten kommer fra SAN'et :)

PAL_7121-1.jpg

 

Ny brannvegg paa benken! Skal sies at det er ikke helt `bare bare` aa pushe en partalls gigabit stabilt gjennom brannveggen. Prover aa holde "stick-routing" og intern bouncing til ett minimum, men likevel trengs ett par nettverskort for aa binde det hele sammen. Ett Intel quad-port er LACP'et internt, med ett Intel dual-port fiber nettverkskort for redundans mot servercore, mens ett sett med Intel server-grade nettverkskort tar seg av WAN. Samt nettverk for CARP og misc. Saa langt ivertfall, noen fine oppgraderinger er allerede bestillt, saa blir spennende aa se hvor det hele tar veien til slutt :)

PAL_7128-1.jpg

 

Fullstendig overeksponert bilde av server-rack'ene, server-side nettverket har blitt nesten fullstendig redesignet. Venstre side er for det meste prosessering, mens hoyre side er lagring.. Scale out, then scale up.. de evinnelige klyngers mantra..  :p Om mani padme, mmm..

PAL_7129-1.jpg

 

Kabel-organisering er viktige saker :D Nesten umulig aa faa til ett bra bilde, kanskje en vidvinkellinse burde skrives paa onskelisten..

PAL_7141-1.jpg

 

Rive det gamle nettverket fra hverandre :( Gode gamle Juniper blir faset ut for aa gjore plass til noe som pusher ett par flere gigabits.. En ting er sikkert, jeg kommer til aa savne Juniper, ... men Juniper som haandterer flertalls gigabit koster mer enn mitt lille budsjett tillater.. :'( Men har naa tatt meg raad til litt DPI og UTM lisenser for nye brannveggen, om ikke annet, som ett aldri saa lite plaster paa saaret :)

PAL_7389.jpg

 

Server-core nettverket maa ogsaa til pers. Ett fullstendig redesign av layout'en har vaert gjort. Alle serverene er naa redundante mellom stack'en, for aa tillate komponentfeil. Maalet har vaert aa kunne miste halvparten av enten server-core eller nettverks-core, uten at det skal ta ned nettet fullstendig. LACP og spanning tree har vaert gode venner i den jobben, men blir spennende aa se hvordan ting spiller ut i praksis. Efaringsmessig er det gjerne ett aldri saa lite stykke mellom teori og praksis paa akkurat slike ting dog... :p

PAL_7404.jpg

 

Samme med nettverks-core, nesten fullstendig revet fra hverandre og redesignet, med redundans og bedre ytelse som maal. Juniper lager dritbra utstyr paa de ovre lagene, ikke noe vei utenom det. Men, naar brannveggene til sammen har mindre kapasitet enn det nye WAN'et, maa man til med litt heller drastiske tiltak :wee:

PAL_7389.jpg

 

 

 

 

kommentartraaden :)

Endret av [Infected]
  • Liker 3
Lenke til kommentar
  • 1 måned senere...
  • 2 uker senere...

Got default route??

 

Routerconfig og en skikkelig vellagret og neat whiskey til arbeidet, hvordan ellers skulle man gjort ting? :D Kanskje en god vodka hadde passet bedre her.. you live you learn :hmm:

PAL_7517.jpg

 

 

 

 

Rack'ed. Mmm :love: Fortsatt ett par nett som er haandtert av Juniper... men.. SRX.. :hrm:

PAL_7531.jpg

 

Kobber? wtf? I denne plastikkens tidsalder av alle ting?

PAL_7542.jpg

 

Ca 70 meter med kobber..

PAL_7544.jpg

 

Mmm, kontekst. Ett lite knippe med dongles.. KVM over IP er en fin fin ting :D

PAL_7547.jpg

 

Rusk og rask fra gamle nettverket

PAL_7561.jpg

 

Utrulling av mer fiber til det nye spredenettet

PAL_7536.jpg

 

Ting begynner aa ta form.. Linkene er aggregert over servercore for redundans og ytelse. 2Gbit til hver switch med aggregering via multichassis LACP, for totalt 6Gbit..

PAL_7534.jpg

 

Side.. rack.. Seriellkonsoll paa toppen, saa en helt nymontert Raritan IP-KVM :) Aggregeringslag for servercore (med 2x 20gbit stack kabler), nettverkscore, Junipere og aggregeringslag for den ene wan linken paa ene hyllen, nye Mikrotik routeren, og helt til slutt brannveggen.

PAL_7560.jpg

 

Endel arbeid gjenstaar.. men aller forst en god dose med T&U (test og utvikling) er paa tapetet :)

PAL_7578.jpg

 

 

 

 

Kommentarer

Endret av [Infected]
  • Liker 2
Lenke til kommentar
  • 2 måneder senere...

Museksritt til 10Gbit

 

Intel XR997 10G Base-T nettverkskort.

PAL_7580.jpg

 

 

 

 

Lydnivaaet paa disse kortene er helt idiotisk, 9000rpm, ren galskap, saa litt motstand maa til. Fant ut at ca 50-60ohm var smorsona mellom god kjoling og akseptabelt lydnivaa.. Endel av viftene ble ogsaa regelrett skfitet ut til fordel for noen Papst.PAL_7586.jpg

 

Mye bedre :)

PAL_7643.jpg

 

En essensiell ingrediens i oppgraderingen.. Lilla nettverksutstyr ftw! :dribble:

PAL_7588.jpg

 

Mmm, fabrikknytt :)

PAL_7652.jpg

 

2x 10G Base-T porter er ikke aa forakte.

PAL_7592.jpg

 

Ett ekspansjonskort installert, to igjen

PAL_7615.jpg

 

Har litt mer kjott paa beinet de nye ekspansjonskortene, sammenlignet med de gamle :p

PAL_7607.jpg

 

DrainYou faar installert sitt 10Gbit nettverkskort

PAL_7657.jpg

 

Brannveggen blir ogsaa regelrett snudd rundt, samt oppgradert for aa kunne ta unna litt mer ekspansjonskort..

PAL_7661.jpg

 

Litt mat for brannveggen. 2x Intel xr997 10G Base-T, ett Intel X540 dual-port SFP+ og ett Intel E1000 1Gbit

PAL_7667.jpg

 

Ganske grei utnyttelse, blir noen gigabiter dette forhaapentligvis :)

PAL_7671.jpg

 

Benchtesting.. pfSense maa optimaliseres og tweakes en god del for aa kunne pushe akseptabelt. Med 40Gbit puttet inn i en kasse blir ogsaa ting fryktelig varmt, saa ekstra kjoling maa til.. Nettverksoppsettet blir omtrent som folger:

  • 2x 10Gbit BASE-T: LACP til Servercore
  • 1x 10Gbit SFP+: Link til WAN router
  • 1x 10Gbit SFP+: CARP (failover sync) og dedikerte nett
  • 1x 1Gbit BASE-T: Core Linknett
  • 1x 1Gbit BASE-T: Management
PAL_7693.jpg

 

Rack'ed :)

PAL_7702.jpg

 

 

 

 

kommentartraaden

Endret av [Infected]
  • Liker 4
Lenke til kommentar
  • 4 måneder senere...

Update #109

 

 

 

 

Aldri saa liten stund siden sist oppdatering har det visst blitt. Mye rart har skjedd, kanskje mest spennende sakene er paa programvarefronten, men slike ting gjor seg jo ikke alltid like bra paa bilder. Men.. har naa heldigvis faatt tatt litt tid til aa leke litt med maskinvaren ogsaa :)

 

I slike morke tider, trenger man jo alltids noe i horisonten og jobbe mot. En liten nugget paa slutten av regnbuen, noe aa holde motivasjon og fokuset gaaende :) Og det er jo ogsaa hovedsakelig dette de neste oppdateringene vil handle om. Avtalen var, ganske enkelt, fikk jeg skrevet ferdig og rullet ut versjon 2.0 av programvaren, skulle det bli investert i en aldri saa liten bit med ny infiniband morro.

 

Siden hardware, nettverk, og slikt til v2.0 fortsatt best er beskrevet som ett eneste stort kaos.. noe som reflekteres godt i bildene :)

Men, men, saa smaatt begynner ting og falle sammen igjen, returnere til en form for normal tilstand. Ett punkt hvor man kan se litt av lyset i enden av tunnellen, et lite glimt, av hvordan ting kan komme til og se ut til slutt.

 

Deler av nettverksrack'et maa bygges om. og naar det forst blir gjort blir det ogsaa en mulighet til aa omprovisjonere paa UPS'ene, siden ny brannvegg og routingstruktur har fort til en fullstendig skjevfordeling av lasten :)

 

Installasjon av ny infiniband betyr ogsaa at alle serverne maa slaas av, og en hel haug med ny kabling, samt endel re-kabling, maa skje, noe som betyr en periode med enda nedetid og kaos :)

 

Men.. tilbake til tema.. en ny oppdatering, denne gangen med fokus paa litt nytt infiniband.

 

Ny forsendelse :)

PAL_7721.jpg

 

Hmm.. godt pakket.

PAL_7723.jpg

 

Ahh, en Voltaire 4036 infiniband fabric director, med 36x 40Gbit QDR infiniband porter :)

PAL_7724.jpg

 

En aldri saa liten kasse med infiniband kabler var visst ogsaa kommet med i forsendelsen :)

PAL_7730.jpg

 

Enda en kasse, visst visst.. julenissen maa ha kommet tidlig i aar :xmas:

PAL_7732.jpg

 

Mmm, et lite knippe med Mellanox dual port 40gbit QDR infiniband kontrollere, alltid greit og haa

PAL_7734.jpg

 

Tre generasjoner med infiniband side ved side.. SDR (10Gbit) til venstre, DDR (20gbit) i midten, og QDR (40Gbit) til hoyre.

PAL_7736.jpg

 

Nytt gear er alltid kos :)

PAL_7757.jpg

 

40mm vifter?

PAL_7762.jpg

 

Har visst klart og ende opp med noe utstyr som mildt sagt braaker.. For meg tror jeg kanskje denne tar kaken, saa langt.. Disse viftene.

 

Men, ikke ta det fra meg. Ta det fra spec'en.. 64.5dBa og 16.000rpm. omg. shit. lol.. jeg skal love deg at det horer man :omg:

ibsw_fan_delta-1.jpg

 

Nye viftene er ingen hviskere disse heller, med ~40dBa og 10.600rpm, men alt er jo som kjent relativt. Heldigvis vil switch'en kjore viftene paa lavere hastighet under normal tilstand, men selv normalt for disse Delta'ene..

Nidec'ene er forhaapentligvis litt mer stillegaende, selv om disse ogsaa gir godt med lyd naar de kjorer full pupp

ibsw_fan_nidec-1.jpg

 

Og selvfolgelig, hva gjor man naar man har brukt opp alle sparepengene paa nytt gear? Man skrur det fra hverandre, og modder det, selvfolgelig :D

 

Ett lite bilde fra testbenken. For man setter i gang maatte ett par sentrale sporsmaal besvares...

Hvor braakete er disse Nidec'ene under normal drift, og ikke minst, vil switchen akseptere erstatningen?

PAL_7764.jpg

 

Hmm.

ibsw_fan_01-1.png

 

Finne feil finne feil :)

ibsw_fan_02-1.png

 

Wee! Success! :D

ibsw_fan_00.png

 

Time to get to work!

PAL_7769.jpg

 

Undersiden

PAL_7772.jpg

 

Paa tide og strippe litt

PAL_7777.jpg

 

Viftekontrolleren, liten sak

PAL_7781.jpg

 

Andre siden av vifte kontrolleren

PAL_7782.jpg

 

Tre Delta'er i bakgrunnen og de 6 Nidec'ene som de erstattes med :)

PAL_7783.jpg

 

Viftemodulen, demontert

PAL_7786.jpg

 

Montere nye viftene, perfekt passform :)

PAL_7795.jpg

 

Frem med loddebolten, portasol er en fin-fin ting naar man vil ha noe spleiset fort

PAL_7797.jpg

 

Resultatet. Forhaapentligvis skulle ting vaere paa plass. Naa er det bare og haapet at den magiske graa royken holder seg inni komponentene og ikke lekker ut...

PAL_7803.jpg

 

Viftemodul, "v2.0" - `silenced edition`, preppet og klar :)

PAL_7809.jpg

 

Begynner aa ligne paa noe :)

PAL_7812.jpg

 

 

 

 

Klar til test :)

PAL_7815.jpg

 

Stay tuned..

 

[kommentartraaden]

Endret av [Infected]
  • Liker 3
Lenke til kommentar
  • 2 uker senere...

Oppdatering #110

 

 

 

 

Enda en pakke, hva i alle dager kan dette vaere da?

PAL_7822.jpg

 

Mmm, godt pakket denne ogsaa. Pakker er alltid morsomt :)

PAL_7823.jpg

 

Ahh, en Mikrotik CCR1016, en fin fin router det.     

PAL_7824.jpg

 

Forste boot. For de som har ett godt oye kan man skimte at enheten er noe 'skeiv', men fikk den for en rett og slett uimotstaaelig pris paa ebay.. og selv om den har en bulk skal maskinvaren vaere upaavirket. Faar man heller overleve med litt visuelle skavanker :wee:

PAL_7840.jpg

 

10Gbit SFP+'ene jeg bruker, fra Intel, ganske standard

PAL_7844.jpg

 

Snorlaus. Hadde heldigvis noe av det jeg trengte innenlands. Forovrig er jeg ikke affiliert paa noen maate.

PAL_7851.jpg

 

Mikrotik Routerboard 2011, desverre var det bare en paa lager... og jeg trenger to (back-order... grrr :sleep2:)

PAL_7853.jpg

 

Router, og mm.. router :) Kanskje horest noe kontra-intuitivt og kjope ett "routerboard" for aa bruke som en switch.. Men, en avansert switch har sine fordeler det ogsaa, og selv om routing-kapasiteten til RB2011 ikke akkurat er noe og skryte av, saa er det planlagt at CCR'ene skal ta seg av den jobben i stedet :) Og sant skal sies, som switch yter RB2011 wirespeed.

PAL_7867.jpg

 

Nettverket, slik ting ser ut for ombyggingen        

PAL_7888.jpg

 

Mockup av hvordan ting saann noenlunde er planlagt og bli :) Kortversjonen er noenlunde slik:

Cisco switch'en skal fases ut som core, en ny Mikrotik CCR1016 kommer i tillegg til den forrige, og skal kjore aktiv/aktiv VRRP failover mellom hverandre. Normalt er planen at hver CCR1016 skal      route hver sin internett-forbindelse, som blir levert av to RB2011'er som fungerer som inntak for hver sin fiber.

 

Kanskje litt overkill, med 2x 16 kjerner og 2x 2GB ram bare paa routing-siden, men har da ikke tenkt og stoppe der :) Som pfSense i dag kjorer fysisk primary med virituell failover, er planen og gjore det samme med CCR'ene ;)

 

 

 

 

PAL_7894.jpg

 

[stay tuned]

 

[kommentartraaden]

Endret av [Infected]
  • Liker 1
Lenke til kommentar
  • 2 år senere...

Generasjon 4.0

 

En ny oppdatering herfra! Etter mange aars stillhelt. Mye rart har skjedd siden sist, baade paa hjemmefronten, og ellers. Jobb og privatliv har holdt meg opptatt, har bla. giftet meg, men datasenteret lever utrolig nok fortsatt i beste velgaaende. Jobber ogsaa med aa bygge ett helt nytt datasenter for min arbeidsgiver disse dager, saa erfaringene fra hjemmefronten har absolutt gitt avkastninger..

 

Disse bildene er fra "generasjon 4.0" som mer eller mindre er ferdigstillt naa, og tenkte kanskje det var paa tide etter saa lenge og poste en liten oppdatering, en aldri saa liten 'state of the lab', om du vil.

 

dc_02.jpeg

Datasenteret har begynt aa ta form, en vegg av plexiglass optimaliserer kjolepotensialet og holder stoynivaaet paa et behagelig 'humm' i konsollrommet. Litt stemningslys hjelper ogsaa godt paa, og en 'tech blue' hue inlemmer datarommet. Ett nytt IBM rackskap er ogsaa paa plass, selv om det bare blir brukt til oppbevaring for oyeblikket.

 

cool_01.jpeg

Kjolingen har blitt oppgradert ganske mye siden sist.. En ny air-condition for aa hjelpe litt paa de varmeste sommerdagene naar inntaksluften er litt for varm kommer ogsaa godt med. Ellers er datarommet stort sett 100% luftkjolt. Grovt regnet er PUE ca. i underkant av 1.1, dvs, jeg bruker ca 150-200W paa aa fjerne 2500W med varme. En vifte bringer ogsaa varmluft inn konsollrommet paa vinterstid.

 

dc_03.jpeg

Nettverket har blitt oppgradert ganske mye siden sist.. Cisco core har blitt faset ut og Extreme Network stack'en har blitt utvidet. En ny liten Cisco kjorer IGMP proxy for IPTV, ellers er nettverket naa nesten rent Extreme, Mikrotik og pfSense.

 

Har sluttet aa jobbe med Juniper naa, og gaatt helt over til CheckPoint (har endt opp med CCSA, CCSE, CCSM og VSX + MDM Expert siden sist..) Saa var liten vits aa vedlikeholde Juniper SRX stack'en.

 

En ny Mikrotik CRS317 gir 10 gigabit til klyngen, og linker den til core. En ny liten raatass av en Mikrotik RB4011 kjorer naa som CAPSMAN WiFi kontroller mot 4 Mikrotik CAPac aksesspunkter rundt i huset.

 

To BKK fiberlinjer og en 4G LTE backuplosning er ogsaa paa plass.

 

dc_04.jpeg

Litt artsy perspektiv paa nettverket. Samt alteret hvor jeg tilber Slack. Vi trenger alle litt slack her i livet.

 

rack_01.jpeg

Paa serversiden har ikke stort skjedd siden sist. Infiniband stack'en begynner aa bli voksen, QDR 40Gbit gjor jobben sin helt fantastisk, og klyngen er naa mer eller mindre ren RDMA backend. Ellers begynner det vel snart aa bli paa tide aa vurdere litt oppgraderinger her ogsaa..

 

ws_04.jpeg

Arbeiddstasjonen hvor jeg hacker inn i matrix.. Gronne skjermer med rullende gibberish-tekst betyr at jeg er en 110% uber-1337 haXXor.

 

dc_01.jpeg

 

Thanks for looking!

  • Liker 1
Lenke til kommentar
  • 1 måned senere...

Jeg har funnet ut hvordan Matrix effekt fungerer. Må ha en tegn hver rad langs bredde og høyden, sånn at en bokstav forandrer plassere som skal ha denne tegn, eventuelt  flere ganger hver bokstav sånn at det tar mekanisk stepper motor for å snu glasset sånn at denne tegnen blir enten aktivert eller deaktivert for å gi plass til en annen tegn som kommer før eller senere. Oppdatering 127 ganger for å gi plass til alle tegn på flaten. Hvis alle tegn oppdatering samtidig må det ha 127 signaler hver stepper motor for hver tegn. Tenk som lysbilde.

Endret av Kondensator2021
Lenke til kommentar
  • 8 måneder senere...

If it ain't broke... something something

Sad robot; glitch in the matrix :closedeyes:
00.jpg

Ingen vei utenom, bare aa ta frem skrujernet
01.jpg

Error code '9E 09' betyr visst noe i gaten av "Tape elevator vertical motion failed", og det kan jo desverre se ut som om det stemmer..                        
02.jpg

Heisen, eller selve "roboten" i 'roboten'
03.jpg

Hmm.. hvor skal man begynne?
04.jpg

Heisen demontert.. god start.. trikset er bare aa fikse den og ikke odelegge den
05.jpg

Selve heiselementet      
06.jpg

Tannhjulene er hva som driver magien her, rengjoring og smoring ser ikke ut til aa fikse det... ingen innlysende tegn til noen blokkering heller
07.jpg

Fant deg, din bitte-lille jaevel! Den lille bristen var visst alt som skulle til..
08.jpg

Tilbake i roboten.   
09.jpg

Woo, elevator vertical motion in action!
10.jpg

Strekkodeskanneren fungerer
11.jpg

Beep boop -robot- ?
12.jpg

Back in business
13.jpg

Endret av [Infected]
Lenke til kommentar
  • 4 måneder senere...

Gammelt utstyr alltid noe som feiler, godt med litt reservedeler i bakhaand. Skifte radialvifte..
00.jpg

Nytt stasj
01.jpg

Stasj..
02.jpg

Enda mer stasj
03.jpg

Begynner aa ligne paa noe, aldri nok stasj :)
04.jpg

Ny stromforsyning til kjolelosningen
05.jpg

Ut med det gamle...
06.jpg

Bedre 😀
07.jpg

Ikke saa alt for dumt
08.jpg

Woo! Nytt rack..
09.jpg

Passelig 😄
10.jpg

Rydding i rotet..
11.jpg

Overskuddslageret... enn saa lenge.. i fremtiden blir det nok strom og backup skap.
12.jpg

Perspektiv 🙃
13.jpg

Lenke til kommentar

Litt SAS oppgraderinger..
00.jpg

Expander..
01.jpg

Expandere..
02.jpg

NAS'et.. ikke verdens raskeste, men godt nok til NAS
03.jpg

Gammelt, men det spinner naa enda..
04.jpg

Litt mer plass i SAN'et ogsaa..
05.jpg

Litt oppgraderinger paa Wifi maa ogsaa til
06.jpg

Mikrotik RB4011, en aldri saa liten ulv i faareklaer, blir CapsMAN kontroller :)
07.jpg

Test og oppsettt.. og blinkenlights :)
08.jpg

Woo! Zero Trust.. 'Got the T-Shirt' 😆
09.jpg

Lastbalansering er ogsaa kjekk kunnskap
10.jpg

Labbing horer alltid med 🤠
11.jpg

Er bare en ting som er bedre enn en BigIP i LAB, og det er ett cluster :)
12.jpg

Eneste som er bedre enn en F5 i LAB, er ett cluster 😎
13.jpg

Kjolelosningen begynner aa komme seg osaa
14.jpg

Lenke til kommentar

Bli med i samtalen

Du kan publisere innhold nå og registrere deg senere. Hvis du har en konto, logg inn nå for å poste med kontoen din.

Gjest
Skriv svar til emnet...

×   Du har limt inn tekst med formatering.   Lim inn uten formatering i stedet

  Du kan kun bruke opp til 75 smilefjes.

×   Lenken din har blitt bygget inn på siden automatisk.   Vis som en ordinær lenke i stedet

×   Tidligere tekst har blitt gjenopprettet.   Tøm tekstverktøy

×   Du kan ikke lime inn bilder direkte. Last opp eller legg inn bilder fra URL.

Laster...
  • Hvem er aktive   0 medlemmer

    • Ingen innloggede medlemmer aktive
×
×
  • Opprett ny...