4xNVMe SSD v RAID0 pomalé

Vše kolem disků bez pohyblivých částí - SSD, flash, nand, atp.

Moderátoři: morke, Igoreso, Loki5567

oranger
Nováček
Nováček
Registrován: 11. čer 2006
Bydliště: Ricany/Praha/Severni Cechy

4xNVMe SSD v RAID0 pomalé

Příspěvek od oranger »

Ahoj,

mám desku Supermicro X10SRL-F s C612 chipsetem a v ní 4x Samsung 960 PRO 2TB v redukci do PCIe 3 4x. Problém je, že když ve Windows (Server 2016) vytvořím RAID 0 přes všechny 4 disky, v sekvenčním čtení/zápisu to nejde přes 4GB/s, což vypadá jako limitaci PCIE 4x. Každý z disků je ale připojen do svého PCIE 4x slotu, tudíž tím by to být nemělo. Navíc využívám sloty napojené přímo na CPU, ne přes DMI (viz přiložený obrázek s blokovým diagramem desky), tudíž ani tady by se žádný bottleneck neměl konat. Netušíte někdo jak toto troubleshootovat, nemůže to být nějakým nastavením v BIOSu?


//morke - přesun z disků
Nemáte oprávnění prohlížet přiložené soubory.
zsdx
Začátečník
Začátečník
Registrován: 10. srp 2017
Bydliště: na Pankraci

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od zsdx »

Co procesor, ma dost linek?
Neco dalsiho ve slotech mas?
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

To bude disky ...
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
oranger
Nováček
Nováček
Registrován: 11. čer 2006
Bydliště: Ricany/Praha/Severni Cechy

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od oranger »

Tak po nejakem badani jsem v crystal disk marku zvysil pocet threadu a frontu, a jede to 8GB/5GB nicmene stale je to dost vzdalene teoretickym 3.5*4=14GB/s, samozrejme necekam ze to pojede 14, bude tam nejaka rezie, ale treba 11 by mohlo.

CPU ma 40 linek (XEON E5-2620v3) 4 disky sezerou 16, nic jineho tam pripojene neni

@python.p jak to myslis? jeden disk da 3.5/2
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Problém může být IRST ...

Další jistota je nefungující GC - disk v tom RAIDu nebude v IDLE state. Nefungující TRIM. Podle mého to není / nebylo moudré rozhodnutí.

Intel disky by si s tím RAIDem poradili lépe.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
michalos
Začátečník
Začátečník
Uživatelský avatar
Registrován: 26. lis 2009
Bydliště: Most
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od michalos »

Jenom trdlo může napsat, že je to disky :)

http://www.legitreviews.com/amds-free-n ... ble_198347

Pošli foto, jak to máš zapojené...

V každém případě NVME RAID určitě haswell moc dobře neumí :) To umí normálně jen AMD X399 (nejlepší možnost), Intel X299
CPU: AMD Ryzen 7800X3D, MB: Asus CROSSHAIR X670E Gene, RAM: 64GB DDR5 Corsair Dominator TITANIUM FE 6000 MHz CL30-36-36-76, VGA: AMD Radeon RX 7900 XTX 24GB GDDR6 (new reference), SSD1: Samsung 990 PRO 2TB (System) + USB/Sata 7,68TB Micron 5210 ION (enterprise), PSU: Seasonic Prime TX-850 Titanium 850W, Corsair K100 RGB OPX US layout, Panasonic TX-65JZ2000E, Asus RT-AX88U OS: Windows 10 Enterprise
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od DOC_ZENITH »

Hlavně dávat jakékoliv SSD do raidu (a platí to i pro NVME) krom raid1 je kontraproduktivní, zvedá s jen sekvenční výkon kterého je stejně tuna. IO výkon se nezvedne ba většinou lehce sníží.
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

michalos píše:Jenom trdlo může napsat, že je to disky :)
Ve vší úctě k tobě, nesouhlasím. :) A za trdlo se nepovažuji.

Viz: https://www.pugetsystems.com/labs/artic ... tling-868/

V tom RAIDu to bude furt. Páč ten disk se nedostane do IDLE.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
michalos
Začátečník
Začátečník
Uživatelský avatar
Registrován: 26. lis 2009
Bydliště: Most
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od michalos »

python.p: Teď nějak nechápu, co jsi to postnul a proč jsi to postnul :)

Bavíme se o tom, že disky mají mít rychlost 14 GB/s čtení a 8 GB/s zápis. On se dostal max na 8GB/s a ty tu píšeš: to bude disky.

Dísky to není, což jsem ti dokázal obrázkem a recenzí, kde vidíš, že 4ks těhle disků normálně 14/8 dávají v RAIDu.

Tak kontraproduktivní to není, získá neskutečně rychlé diskové pole, IOPS cca zůstanou.

Máš starší platformu, ta na tohle prostě není připravena, ty rychlosti tam musí lítat hned v základu :)
CPU: AMD Ryzen 7800X3D, MB: Asus CROSSHAIR X670E Gene, RAM: 64GB DDR5 Corsair Dominator TITANIUM FE 6000 MHz CL30-36-36-76, VGA: AMD Radeon RX 7900 XTX 24GB GDDR6 (new reference), SSD1: Samsung 990 PRO 2TB (System) + USB/Sata 7,68TB Micron 5210 ION (enterprise), PSU: Seasonic Prime TX-850 Titanium 850W, Corsair K100 RGB OPX US layout, Panasonic TX-65JZ2000E, Asus RT-AX88U OS: Windows 10 Enterprise
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Ty mi nerozumíš. Ty disky se přehřívají - 2TB ještě více.

Druhá věc je jak to testují, pokud doopravdy jenom 1MB a QD32. Tak to je velmi směšná zátěž.

Pokud jsou tyto disky v RAIDu a nemají upravená FW, tak pochybuji, že je řadič pustí do IDLE State. Potom to bude fungovat ze začátku, ale potom padnou rychlosti, viz odkaz co jsem ti poslal.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
racecar
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 04. kvě 2014
Bydliště: Košice

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od racecar »

Jasne, preto mu to nejde lebo sa mu prehrievaju disky. :D

Ty si fakt “expert”. Podla mna to nejde preto, lebo Haswell. Obcas je s tym problem aj na X299 a INTEL diskami.
"Nepochválím-li se sám, nikdo jiný to za mě neudělá."
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Měl jsi někdy ten disk v ruce? Víš jak se chová v zátěži? Viz. odkaz z pugetu, kde je to jasně popsané.

https://www.youtube.com/watch?v=d3GlInzvHr8

Takže bych si ten na tvém místě ty kecy schoval na koledu. Akorát se ztrapňuješ.

Ano Hasswel na tom má taky podíl, ale stále bych víc vsadil na problém s přehříváním. :)
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
racecar
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 04. kvě 2014
Bydliště: Košice

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od racecar »

Podla toho co citam je jasne kto sa strapnil/“ukazal”. :-D

Minimalne na zaciatku by mu to malo ist full speed ked su disky chladne ale nejak nejde, huh. Neviem co si chcel ukazat na tom videu co si prve nasiel. Tu mas nieco od obera ked si tie disky nevidel: https://pctuning.tyden.cz/hardware/disk ... m?start=10

V ruce aj v pc. :wink: A ty si uz niekedy videl nvme raid?

Viac sa mi nechce pisat. Python ti poradi 12 Arctic fanov urcite a problem sa vyriesi. Hf
"Nepochválím-li se sám, nikdo jiný to za mě neudělá."
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Má ta deska / řadič něco jako SSD Guard, kterým si vynutí timeout pro daný disk? Aby mohl jet GC, TRIM, atd...

To je otázka na tazatele, páč danou fošnu jsem fakt v ruce neměl.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
ToxicTears
Začátečník
Začátečník
Uživatelský avatar
Registrován: 06. led 2009
Bydliště: Cheb
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od ToxicTears »

Teď možná plácnu kravinu, ale když koukám na ten diagram, tak jsou tam PCI-E sloty. Ano jsou tam i dva x16 sloty. Je to generace 3.0. Ale v diagramu jsou x16 sloty jenom x8 rychlostní. Což znamená PCI-E x8 = Jednosměrná propustnost 8GB/s. Obousměrná 16GB/s, x4 je 4GB/s a obousměrně 8GB/s. Ano ty disky má zvlášť, ale není to tam nějak napojený, že prostě ta cesta nedá takovou rychlost jakou by to mělo mít a vlastně ani nemůže na téhle desce. Což je ano, špatná platforma obecně.
discord IT & racing: https://discord.gg/JaGehGp
PC1: PC1: R7 5700X|X470 Taichi|32GFlareX@3200CL14|6900XT Red Devil|6xSSD|1xNVME|CustomLoop EKWB feat Alphacool///NAS: Synology 1515+ a DS513 expanze
michalos
Začátečník
Začátečník
Uživatelský avatar
Registrován: 26. lis 2009
Bydliště: Most
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od michalos »

python.p - nepiš hovadiny :) Moc dobře víš, že jsem 960 prodal tuny a rozhodně se nepřehřívají :) Jsou úplně okay :) On má každý disk navíc v jednom slotu, takže uplně NO CHANCE :)

Je jasně, že když ho má nějaký vocásek pod 300TDP grafikou, tak se mu přehříva nebo zero airflow ve skríňi...

Je to tím Haswel-E xeonem a platformou, vůbec to nemá co dělat s teplotama disků..... Takovou blbost by to mohlo dělat po nějaké době provozu, ale ne při obyč testu :)
CPU: AMD Ryzen 7800X3D, MB: Asus CROSSHAIR X670E Gene, RAM: 64GB DDR5 Corsair Dominator TITANIUM FE 6000 MHz CL30-36-36-76, VGA: AMD Radeon RX 7900 XTX 24GB GDDR6 (new reference), SSD1: Samsung 990 PRO 2TB (System) + USB/Sata 7,68TB Micron 5210 ION (enterprise), PSU: Seasonic Prime TX-850 Titanium 850W, Corsair K100 RGB OPX US layout, Panasonic TX-65JZ2000E, Asus RT-AX88U OS: Windows 10 Enterprise
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Takže Puget lže a to video podvrhl? Viděl si je? Vážně si myslíš, že mají potřebu lhát? Video je na 950 ano, ale 960ka to řeší omezením rychlosti, takže teplota je nižší ale stejně tak výkon.

Kolik lidí si hlídá teploty SSD? Kolik lidí řeší velikost cache TLC disků? Kolik lidí ví o revizích Kingston Savage? Kolik lidí ví, že první revize Adata SP920 byla stejná jako Crucial M500 a dal se tam dostat jejich FW? Kolik lidí ví, že KC400 se před zničením NAND zamkne a můžeš z něj tahat data 25 - 30MB/s? Kolik lidí ví, že Intel 320 spolu s M500 je stále nepřekonané SSD co se týka consumer segmentu.

Mám ti ukázat jak se 960 EVO / PRO přehřeje (respektive omezí se rychlost aby nelezla teplota nahoru) při běžném kopírování dat. Na APEXU, kdy bude SSD ofukováné ventilátorem na NH-C14? Zas tak moc k tomu není potřeba.

To že lidí si nehlídají teploty a neřeší to, protože "jim to stačí" neznamená, že tam ten problém není. Stejně jako to, že jim na 128GB EVO dojde cache.

Ano, může to být i tou platformou. To nepopírám, ale stejně tak to může být disky. Více můj dotaz na tazatele. Něco jiného je jeden disk a druhá věc jsou SSD v RAIDU.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
Shaquille
Mírně pokročilý
Mírně pokročilý
Registrován: 16. bře 2004
Bydliště: Praha

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od Shaquille »

...postni uz ten svuj slibeny clanek...
(pokud uz je, pls dej odkaz, unikl mi a velmi me zajima). Tohle vecne (věčné aby nedošlo k zamene za věcné) debatovani je uz dost o nicem.
Spoiler
Define 7 XL * 13700KF * 2x16GB A-Die * 1TB 990 PRO + 1TB 970 EVO * 1000W PSH * RTX 3080 ti * voda * MPG321QRF-QD
DAN Cases A4-SFX V4.1 * 3600X * 2x8GB LP * 2x M2 + SATA SSD * 750W PSU * RTX 3060 ti
NAS 3x8TB RAID 5 + 2x4TB RAID 1 * OLED65C12 * HW-Q950A
python.p
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 08. úno 2010
Kontaktovat uživatele:

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od python.p »

Článek EVO vs Hyperx, nemá s tímhle nic společného. ;)

A taky bych už byl rád aby byl venku.
Pozor! Tento příspěvek může obsahovat stopy: ironie, mléka, čokolády, sarkazmu, oříšků a cynizmu...
Forum, není vyhledávač s lidským rozhraním !

Můj web: Delid.cz
oranger
Nováček
Nováček
Registrován: 11. čer 2006
Bydliště: Ricany/Praha/Severni Cechy

Re: 4xNVMe SSD v RAID0 pomalé

Příspěvek od oranger »

Díky všem za názor, dnes jsem to celé rozebral a pomocí laserového teploměru měřil teplotu, při idle mají disky 37C, po cca 2min běhu ATTO benchmarku mají 57C, ale celkem rychle to spadlo zpět k cca 37C, měřeno v otevřené skříni, v zavřené to bude spíše horší. Výsledek přikládám, tentokrát to byl RAID0 (Striping ve windows) jen ze 3 disků. Na discích teď nic není, takže je nic nevytěžuje a každý test začínají z IDLE teploty.
Byť si nemyslím, že tento konkrétní problém s rychlostí v RAID0 je způsoben přehříváním disků, tak jsem překvapen jak se hřejí, nemyslím, že by se u mě ty disky v reálu nějak přehřály, pár LABových virtuálek je rozhodně nevytíží na 100%, spíš bude bottleneck CPU a RAM (Mám jen 128GB - kdyby měl někdo za dobrou cenu 4x32GB DDR4 ECC reg. tak koupím) ale chlazení preventivně pořeším. Grafika tam žádná není, stačí integrovaná.

Debata nad smysluplností tohohle setupu je samozřejmě na místě, v realu to takhle používat nebudu, ale když už se mi tady sešel ten hardware tak bych to rád zkusil a jen nerozumím tomu kde je bottleneck, když podle toho diagramu desky by tam nikde být neměl.
Nemáte oprávnění prohlížet přiložené soubory.
Odpovědět

Zpět na „SSD a flash disky“