Tips/dele erfaringer med 2.5/5/10Gbe hjemmenett

[Theo343]

Vurderer å oppgradere fra 1Gbe hjemmenettverk. Tenker at datamaskiner hovedsaklig kobles til med 2.5Gbe men noen vil kjøre på trådløs eller 1Gbe. 

Har 1Gbps internett (fiber med converterboks) og Altiboks hjemmesentral som står i bridge modus. Jeg ønsker å unngå 19" utstyr med støyende vifter da utstyret vil stå åpent på hjemmekontoret. Ønsker også å unngå fiber/DAB og basere alt på RJ45 Cat6 (ikke 6A).

Jeg har tittet litt på Unifi, TP-Link ol. samt Netgate PFsense på brannmur/sikkerhet. Hvilke innspill har dere til utstyr?

Endret 17. mai 2022 av Theo343

[siDDis]

Skal du oppgradere nettverket så er det fiber/dac som gjelder. Mellanox og Chelsio er merkene som duger til nettverkskort. Intel og andre er bare trøblete og bruker mye strøm.

Brocade ICX 6450 er en god lydløs 10G switch med 4 porter.

Totalpris til Norge for 2 nettverkskort + switch ligger på 2500-3000kr

Et oppsett med Brocade switch og 2 mellanox nettverkskort vil bruke totalt 30w strøm. Tilsvarende med 10GBaseT vil bruke 50w.
DAC/Fiber bruker ca 0.7w per kobling, mens 10G-Base-T bruker mellom 2-5w per kobling.

[Theo343]

@siDDis Er ikke Trancevere ganske kostbart? DAC kabler koster vel også 200,- for metern omtrent?

Endret 2. juni 2022 av Theo343

[siDDis]

Nei,
Transceivere ligger på 5-10 USD på Ebay per stykk. Eller ~150kr på Fiberstore.com

DAC kabler ligger på ca 10 USD uansett om det er 1 eller 3 meter på Ebay.

En må også huske på at en får med fleksibiltet her. Skal du endre lengde i fremtiden, så må du ikke kjøpe ny transceiver.
Så har du også fordelen med RDMA, for å kunne benytte deg enten av SMB direct, ISer(iSCSI), eller NVME-oF

[Theo343]

@siDDis Jepp, klar over RDMA da jeg benytter fiber i jobbsammenheng på cluster m.m. Men vi kjøper ikke utstyr fra Ebay og dermed har jeg hørt en del om høye priser.

Hjemme ønsket jeg å benytte Cat6 for enkelhetsskyld (ikke 6a) og muligens i noe grad 5e. Men 2-3000,- for utstyr er ikke så ille som jeg så for meg. Har erfaring med Mellanox kort i jobbsammenheng og vet de er gode. Takk for tips om Chelsio. Litt ambivalent til å kjøpe ting slikt viktig utstyr fra Ebay (RMA) men det går nok greit. 

Ellers skal jeg også snart oppgradere/bytte NAS i samme nettet og da var tanken å gå for en som har 1-2x2.5Gbe. Men om jeg har fiber allround så blir jo det mindre praktisk. Er klar over at man får RJ45 trancievere men hørt mye forskjellig om de.

Hvilke anbefalinger har du på router og brannmursiden? Tenker da erstatte VMG hjemmesentralen fra altibox siden den nok også er en flaskehals. Det er mulig jeg går for Unifi på Switch og Router siden men alt utstyret må som sagt være noe annet enn støyende 19".

Endret 3. juni 2022 av Theo343

[Lindsay]

Benytter UniFi i hele nettverket selv og må si jeg er fornøyd, men det har kostet noen kroner til nå og ennå ikke ferdig. Men helt fornøyd er jeg dog ikke med UniFi som firewall, akkurat på det punktet kan nok en pfSense være et bedre valg.

[siDDis]

En litt påkostet Asus ruter bør holde til brannmur. De kommer jo også med wireguard VPN. Samt så bruker de veldig lite strøm.

Minuset med ASUS ruteren er at du kan konfigurere maks 1 nett, dhcp servere osv..

[PaladinNO]

Hvor mange 10 Gbit RJ45 porter ser du for deg å trenge på switchen?

Cat. 6 fungerer forøvrig helt fint til 10 GbE så lenge kabelsetrekket ikke er for langt, men det ser jeg du vet allerede.

Endret 6. juni 2022 av PaladinNO

[Theo343]

Gode tips. Som en er inne på ønsker jeg å unngå hvertfall Unifi på brannmur/router siden da jeg vet de ikke er gode der (har erfaring med Ubiquiti). Har selv tittet på pfsense og opensense produkter som eks. netgate, protectli ol. Men greit å høre hva andre tenker.

Asus kunne vært et alternativ men har hatt det før og var ikke helt fornøyd med "begrensningene". 

Ellers på switch trenger jeg nok bare 10GBe i "kjernen" mens alle enheter som kobles til med kabel er tanken at i stor grad vil fungere med 2.5Gbe eller 5Gbe med unntak av hoved-PC (lab/kontor) nok får 10GBe. Tenker at 4-5 10GBe porter er greit nok. Har ikke lett noe særlig men har ikke snublet over aksesspunkter som virker å ha særlig mer enn 1Gbe porter.

Jeg har ingen server men kjører alt virtuelt på hoved PCen og ellers vil NAS med 2.5Gbe*2 fungere som ymse "prod" servere.

Endret 6. juni 2022 av Theo343

[Lindsay]

Hvilket budsjett har du for prosjektet?, jeg begynte i det smått og når jeg er ferdig kommer vel over 70000,-. Men har muligens litt mer interesse enn mannen i gata når det kommer til nettverk

[Theo343]

Har ikke noe spesifikt budsjett men siden jeg har tilgang til alt av fancy utstyr via jobb har jeg ingen hensikter om å skyte spurv med kanoner. Godt nok er nok.

Endret 6. juni 2022 av Theo343

[Lindsay]

Hva med denne https://www.dustinhome.no/product/5011227519/xgs1250-12?tab=specification ?

Du har da 1 x SFP+, 3 x 100/1000/2.5G/5G/10GBase-T RJ-45, 8 x 10/100/1000 Base-T RJ-45 og du har VLAN som er et must om du vil isolere subnets sin adgang til hverandre. Vil si utifra spesifikasjoner og ditt behov er den som kommer rimligst ut i pris.

Så hadde jeg valgt denne https://www.dustinhome.no/product/5011259570/6100-pfsense-security-gateway-max om jeg skulle ha benyttet pfSense, men muligens overkill for ditt bruk.

Endret 6. juni 2022 av Lindsay

[PaladinNO]

Zyxel XGS1250-12 trenger et eget program for å kunne styre den såvidt jeg har forstått det.

Zyxel One (ZON)
https://www.zyxel.com/products_services/Zyxel-ONE-Network-Utility-ZON-Utility/

Dette er noe som kunne vært interessant for meg, men ikke noe jeg har gjort med min switch siden jeg allerede brukte den i et separat VLAN med manuelle IP-innstillinger.

Endret 2. juli 2022 av PaladinNO
Typo

[tingo]

4 hours ago, PaladinNO said:

Zyxel XGS1250-12 trenger et eget program for å kunne styre den såvidt jeg har forstått det.

Den har web-grensesnitt, så du trenger nok ikke det programmet.

[PaladinNO]

Jeg tillater meg å ta spørsmålet her da sikkert flere er interessert.

Hva må til av utstyr for å faktisk få 10 GbE LAN hastighet, dvs. i nærheten av 1250 MBps / 1,25 GBps som effektiv overføringshastighet?

Jeg spør fordi jeg har 5 GbE NIC i hovedmaskinen (så allerede begrenset til 5 Gbit / 625 MBps), en 35 meter Cat. 6 kabel i mellom hovedmaskinen og serveren (som på papiret skal klare 10 GbE opptil ~50 meter), og et 10 GbE NIC (Asus XG-C100C) i serveren.

Den effektive sekvensielle overføringshastigheten jeg får er eksakt 357 MBps, dvs. 2856 Mbps (~2,85 Gbps). Som er ganske langt unna både 10 Gbps og 5 Gbps. Og dette er mellom en NVMe SSD (Samsung 970 Evo 2 TB) og en SATA SSD (Samsung 870 Evo 250 GB).

Hva er den faktiske overføringshastigheten man kan forvente med et 10 GbE hjemmenett og hva slags utstyr er det andre har i sine 10 GbE hjemmenett?

EDIT:
Mitt oppsett er et Asus ROG Maximus XII Hero WiFi Z490 hovedkort med onboard 5 GbE NIC (Marvell AQC111C) og en TP-Link TL-SX1008 switch. Har et Asus XG-C100C 10 GbE NIC (Marvell / Aquantia AQtion AQN107) i serveren.

Endret 12. juli 2022 av PaladinNO

[APZ171RW]

4 minutes ago, PaladinNO said:

Hva er den faktiske overføringshastigheten man kan forvente med et 10 GbE hjemmenett?

Jeg makser ut 10G-kablene mine mitt rett som det er. CPU-bound elns? Windows?

[PaladinNO]

APZ171RW skrev (På 12.7.2022 den 2.15):

Jeg makser ut 10G-kablene mine mitt rett som det er. CPU-bound elns? Windows?

Høres ut som et Linux oppsett. Jeg bruker Windows 10 Pro. Samme på filserveren. Kjører kun JBOD HDD oppsett uten RAID noe sted, pluss OS SATA SSD.

Har en i9 10900K (10 core / 20 thread) i hovedmaskinen og jeg kan ikke si jeg har merket noe til noe hakking noe sted selv ved større overføringer. I serveren står det en 9600K (6 core / 6 thread). Serveren står på et separat offline VLAN så det er ellers null aktivitet på den.

Jeg har en splitter ny 35 meter Cat. 6a kabel liggende og jeg skjønner jeg bare må få gjort en test med den.

EDIT:
Testet nettopp med den nye Cat. 6a kabelen. Ingen forskjell, fortsatt 357 MBps.

Endret 13. juli 2022 av PaladinNO

[APZ171RW]

Testa linkene med iperf?

[PaladinNO]

APZ171RW skrev (33 minutter siden):

Testa linkene med iperf?

Det har jeg ikke, men jeg byttet nylig hovedswitch og resultatet var akkurat det samme på den gamle (357 MBps).

EDIT:
Kommer ikke noe sted med iPerf. Får enten "connection timeout" eller "access refused" fra både server og klientsiden selv om jeg definerer -c og -s og med korrekt IP.

Jeg var i utgangspunktet bare interessert i høre hva andre har av 10 Gbit nettverksutstyr (som jeg tenkte kunne være nyttig å dele). Ønsket ikke å avspore tråden.

Endret 12. juli 2022 av PaladinNO

[NULL]

On 7/12/2022 at 3:02 AM, PaladinNO said:

Det har jeg ikke, men jeg byttet nylig hovedswitch og resultatet var akkurat det samme på den gamle (357 MBps).

EDIT:
Kommer ikke noe sted med iPerf. Får enten "connection timeout" eller "access refused" fra både server og klientsiden selv om jeg definerer -c og -s og med korrekt IP.

Jeg var i utgangspunktet bare interessert i høre hva andre har av 10 Gbit nettverksutstyr (som jeg tenkte kunne være nyttig å dele). Ønsket ikke å avspore tråden.

Windows? Prøv å åpne opp for iperf3.exe* i brannmuren, evt. midlertidig slå av brannmur. Har slitt litt med det samme tidligere. Prøv evt. å bytte om hva som kjøres som server og klient. 

(regner med det er iperf3 du bruker?)

Nuttcp kan være et alternativ.

Husker jeg brukte denne ellers for en del år tilbake under Windows: https://totusoft.com/lanspeed

Hvis man mistenker at det er issues knyttet til programvare, kan det å starte opp med en USB-minnepinne med Linux være et forslag.