kpolberg

Du får ikke link i IB modus fordi du ikke har en subnet manager kjørende antar jeg.

Prøve å loope ett kort slik har jeg aldri prøvd på. Prøv å sett begge portene i eth modus(for å slippe subnet manager) utifra screenshoten din så ser det ut som port 1 er i infiniband modus og port 2 er i ethernet modus(ref current setting).

Tror vi må rykke tilbake til start. 1. Hva ønsker du og oppnå? 2. Hvilken relevant hardware har du tilgjengelig? (List antall)

Er det nå jeg skal dra inn lancache / steamcache

Mener du å si at du bare har kjøpt ett kort? Hvordan hadde du tenkt å koble det inn i noe som helst? Eller missforstår jeg helt nå? Forøvrig får man ikke automatisk IPoIB, det må konfigureres.

Responsivt? Hvordan da mener du? Trenger ikke mer utstyr enn det du allerede har. 2x Infiniband kort og 1x kabel for å koble maskinene sammen.

Mnjæ, fikk nå 22 Gbps gjennom IPoIB, så faktisk raskere enn hva jeg hadde klart hvis jeg hadde satt kortet i Ethernet modus (gamle ConnectX3 kort). Men forøvrig enig, har man ikke bruk for RDMA, så blir Infiniband fort mye jobb for lite utbytte.

Du kan kjøre IP over Infiniband, men ethernet over Infiniband var jeg ikke klar over at du kunne? Har du noen referanser? Edit: Poenget er at Infiniband og Ethernet er link-laget sin protokoll, så jeg ser ikke helt hvordan du skulle legge ethernet i ett overlay oppå Infiniband? Edit2: Lærte noe nytt gitt, det er noe som heter Ethernet over Infiniband ref: https://en.m.wikipedia.org/wiki/InfiniBand

Den switchen støtter ikke ethernet så langt jeg kan se i det hele tatt.

Skrive en guide slik at du kan klage på den senere? Tror jeg står over, det er masse god dokumentasjon på mellanox sine sider.

Nå har jo thunderbolt og usb 4.1 ett helt annet bruksområde. F.eks tviler jeg på at du kan strekke en thunderbolt kabel over 50m og fremdeles være innenfor spec. Ikke får man kjørt IP trafikk over USB direkte heller, og ihvertfall ikke opp til 56 gbps båndbredde. pfSense er ment til å brukes som en brannmur, det har man ikke bruk for i ett infiniband fabric, da man som oftest ikke overfører IP trafikk (selv om man kan bruke IPoIB). Om dokumentasjonen er dårlig kan diskuteres, jeg har ihvertfall ingen problemer med å konfigurere en subnet-manager, for å få en fungerende infiniband fabric. Riktignok har jeg kun gjort dette på linux, men kan ikke se for meg at det skulle være noe vanskeligere på windows. Teknologien og begrepene er de samme, uansett om det er snakk om windows eller linux.

Google har svar på alt... «windows infiniband subnet-manager» Jeg har forøvrig nevnt at du trenger en subnet-manager tidligere. Ref: https://docs.mellanox.com/m/view-rendered-page.action?abstractPageId=12005180

Har du satt opp en subnet-manager? Du vil ikke få link-up status før du har gjort det på infiniband.

Det finnes egne infiniband switcher. Men hvis du plugger ett infiniband kort med 10G ethernet støtte inn i en vanlig 10G switch så vil du kunne kjøre vanlig switchet ethernet. Men da vil du kun få ethernet og ikke infiniband. Kortet støtter både infiniband og ethernet men er avhengig av at den andre siden snakker samme språk.

Poenget mitt var helst at LMH1 ikke kan forvente å se full båndbredde på sine bruksområder. Det skal mye til for å flytte så mye data. Jeg er usikker på om han har kunnskapen nødvendig for å diagnostisere om det er feil på produktet eller hans test metode.