Mellanox MHRH2A-XSR QSFP

[kpolberg]

On 8/2/2020 at 1:38 PM, LMH1 said:

Funger kun ethernet over switch? så infiniband funger kun med 2 slike nettverkkort?

Det finnes egne infiniband switcher. Men hvis du plugger ett infiniband kort med 10G ethernet støtte inn i en vanlig 10G switch så vil du kunne kjøre vanlig switchet ethernet. Men da vil du kun få ethernet og ikke infiniband. Kortet støtter både infiniband og ethernet men er avhengig av at den andre siden snakker samme språk.

[LMH1]

Fleskefjeset skrev (På 3.8.2020 den 16.28):

Nei, det har du ikke. Du har ikke lest (eller tatt til deg) noe som helst, det viser du med spørsmålene du stiller.

Har nå testet det fungerte fin med windows 10(fedora 32) men man får kun 10 gigabit. Problemet med infiband er vel det er server 2016

https://www.mellanox.com/products/adapter-software/ethernet/windows/winof-2

Ser ut som man må velge nyeste windows server 2019 ellers lar den ikke installeres.

Er litt rart siden man må velge i systemenhet for å velge mellon IB og ethernet.

Annen ting jeg syns er litt rart får SFP+ å fungere på begge PCI-E spor men QSFP+ får jeg kun å fungere med det nedreste sporet på Asus X370 pro. Er litt rart syns jeg. Finnes det mulighet å feilsøke faktisk PCI-E hastighet?

Endret 20. august 2020 av LMH1

[siDDis]

Fungerer PCI x16 slot 2 i det hele tatt når du har aktivert 1x 16 på den første? Den må vell deles i 2x pcie8x? Uansett så er siste slot pcie4x som er godt nok

[LMH1]

siDDis skrev (1 time siden):

Fungerer PCI x16 slot 2 i det hele tatt når du har aktivert 1x 16 på den første? Den må vell deles i 2x pcie8x? Uansett så er siste slot pcie4x som er godt nok

Ja funger fint med usb 3.1 kort og SFP+ eller 2.5 gigabit nettverkkort.

Vet du om infiband kabeler er spessielle? så ikke alle som virker med det?

[siDDis]

Kommer helt an på spesifikasjonen til kabelen, noen kabler er ikke generiske.

[LMH1]

siDDis skrev (16 minutter siden):

Kommer helt an på spesifikasjonen til kabelen, noen kabler er ikke generiske.

Dårlig svar:

HPE QSFP/SFP+ Adapter Kit 40GbE QSFP+ auf 10GbE SFP+ 655874-B21 655902-001 +++

Mellanox H26847C Infiniband& FDR QSFP+ to QSFP+ cable 1m

( 153693900961 )

Mellanox 2 meter QSFP+ to QSFP+ Passive Direct Attach DAC Cable MC2206130-002

( 153779898781 )

 

For søker jeg på disse får jeg opp:

https://store.mellanox.com/products/nvidia-mellanox-mc2206130-002-passive-copper-cable-vpi-up-to-40gb-s-qsfp-2m.html

Men overrasker med prisen er veldig stor forskjell på så godt mulig kabelene er falske eller er feil modellnr.

Kun på den blå er riktig modellnummer men betyr ikke den er ekte. Vet noen om slike kabler kommer fra kina?

Endret 20. august 2020 av LMH1

[BioNor]

...

Endret 20. august 2020 av BioNor
nvm

[siDDis]

Mellanox MC2206130-002 skal greie 40Gbps, men jeg tror disse er litt gamle og jeg er litt ukjent med de.
Jeg pleier å heller kjøpe 56Gbps kablene, for de fungerer med ethernet uten problemer.

https://www.ebay.com/itm/Mellanox-MC2207130-001-1M-QSFP-Passive-Copper-Cable-VPI-FDR-Infiniband-40GbE/324233009221?epid=7012050164&hash=item4b7dcb1845:g:OSgAAOSwNZFfEKC-

[LMH1]

HP Mellanox 56Gb/s MC2207130-0A1 Fdr Infiniband Qsfp Passive 1.5M Cable Copper

Noe slik? siden den personen sender ikke til verden. For skulle ikke tro kabelen har noe å si, ethernet funger det er infiband som ikke gir noe tilkobling.

[kpolberg]

Har du satt opp en subnet-manager? Du vil ikke få link-up status før du har gjort det på infiniband.

[LMH1]

gi meg et eksempel, er det mulig at det går automatisk? for syns det er rart det ikke funger når ethernet funger plug and play.

[kpolberg]

Google har svar på alt... «windows infiniband subnet-manager»

Jeg har forøvrig nevnt at du trenger en subnet-manager tidligere.

Quote

In order to operate one host machine or more in the InfiniBand cluster, at least one Subnet Manger is required in the fabric.

Ref: https://docs.mellanox.com/m/view-rendered-page.action?abstractPageId=12005180

[LMH1]

Så får du vurdere om den dokumentasjonen er god nok for nybegynnere, forsøkt å sette som IB men mister kun internett og fremdeles samme problem.

[barfoo]

17 minutes ago, LMH1 said:

Så får du vurdere om den dokumentasjonen er god nok for nybegynnere, forsøkt å sette som IB men mister kun internett og fremdeles samme problem.

For det første er det ingen som forventer at nybegynnere skal bruke infiniband. Det er et produkt for profesjonelle. Du vil aldri finne det "in the wild".

For det andre er ikke infiniband ethernet. Derfor oppfører det seg heller ikke som ethernet, og du må ha en sm kjørende.

For det tredje. Har du sjekket logger for hvorfor tjenesten ikke starter, eventuelt prøvd å starte sm manuelt, eventuelt forsøkt å sjekke at tjenesten er korrekt konfigurert? Om ikke: gjør verden en tjeneste. Hold deg til gigabit ethernet. Eller bruk tid på å lese deg opp på nettverk, slik at du har fundamental forståelse for temaet.

Som jeg har påpekt før kjøper du tilfeldige komponenter, plugger de sammen på mer eller mindre tilfeldig vis og forventer at ting skal fungere. Fortsetter du slik vil du fortsette å bli forundret over at det ikke fungerer. At diagnosen din på problemet er at du mister internett forteller sitt.

[LMH1]

barfoo skrev (På 21.8.2020 den 14.27):

Som jeg har påpekt før kjøper du tilfeldige komponenter, plugger de sammen på mer eller mindre tilfeldig vis og forventer at ting skal fungere. Fortsetter du slik vil du fortsette å bli forundret over at det ikke fungerer. At diagnosen din på problemet er at du mister internett forteller sitt.

Men hva er vitsen med QSFP+ hvis de ikke er raskere en SFP+? meningen er vel siden det er større transceiver skal gi bedre båndbredde? Ser heller ikke vitsen med infiband for man har jo thunderbolt og usb 4.1 som antakelig bilig billigere standard, men man lærer ikke noe hvis man ikke prøver noe nytt.

[Gjest Sletttet+98134]

Problemet her er jo at du ikke er villig til å lære noe nytt. At du nevner USB og thunderbolt i samme setning som Infiniband (ikke infiband) forteller at du ikke har lagt en eneste kalori i å forsøke å forstå noe som helst av temaet. Gang etter gang blir du forklart ting, og du viser like ofte total likegyldighet til rådene du får og tar ikke til deg noe som helst.

Endret 23. august 2020 av Sletttet+98134

[wil]

Dette er litt offtopic, men det er faktisk en liten sannhet.

Du må for all del bestemme selv, men jeg vil anbefale deg og ikke svi av så mye penger på ting du IKKE forstår noe av. Det er bare teit og du får masse dyrt og ubrukt utstyr du ikke får brukt til noe som helst. Jeg har ikke noe peiling på Mellanox og sånne ting, men det hørtes vanskelig ut.

Før du begynner med avansert nettverksutstyr (noe som jeg får inntrykk av at dette er), så kan du prøve igjen med Pfsense. Du får ikke til det heller, men du bruker iallefall ikke så mye penger på og sette opp Pfsense.

[LMH1]

Mye penger? 1000 kr er ikke mye i dag.

Sitat

Før du begynner med avansert nettverksutstyr (noe som jeg får inntrykk av at dette er), så kan du prøve igjen med Pfsense. Du får ikke til det heller, men du bruker iallefall ikke så mye penger på og sette opp Pfsense.

Men får du det til? for skulle gjerne satt meg i det og 5g å se om jeg kommer lengere, men det som er problemet hvis det først ikke funger sammen med mellanox er det dyrt å få løst det https://www.netgate.com/support/

Så det er vertfall bortkastet penger tviler på pfsence utvikler eget system for meg.

Finner ikke hvor dyrt mellanox skal ha for support, men virker man må oppgi bedrift så vil jo anta det koster penger å få svar.

Endret 23. august 2020 av LMH1

[wil]

Hva er det jeg skal få til? Jeg driver ikke med sånne ting.

Poenget med det jeg skrev er at du bør begynne med noe lettere utstyr først.

Jeg tror du skal konsentrere deg om å få grunnleggende nettverkskunnskap og datakunnskap før du hiver deg uti en avansert Nettverksverden.

Hva angår om 1000 kr er mye penger, så er det opp til hver enkelt, men man trenger ikke kaste bort penger på ting man ikke trenger.

[barfoo]

18 hours ago, LMH1 said:

Men får du det til? for skulle gjerne satt meg i det og 5g å se om jeg kommer lengere, men det som er problemet hvis det først ikke funger sammen med mellanox er det dyrt å få løst det https://www.netgate.com/support/

Så det er vertfall bortkastet penger tviler på pfsence utvikler eget system for meg.

Problemet er at du ikke tar deg tid til å lære. Du hopper rett på avanserte oppsett, uten å ha grunnkunnskapen. Du må kunne IP, før du forstår hvordan en brannmur fungerer. Du må forstå IP for å forstå hvordan routing fungerer. Du må kunne ethernet for å forstå hvordan en switch fungerer - og hvordan en SFP-modul fungerer.

Du mangler den basiskunnskapen. Derfor får du ikke ting til å fungere.