Star Swarm Benchmark (Mantle vs DirectX11)

[ChaoSborn]

U mna prebehol update este v stvrtok i ked to hlasi stale v1.10
AMD Phenom(tm) II X4 945 3GHz
Catalyst 14.6 RC2
/RTS
FPS 24.41 vs 27.00

Narast 10,6% ale vo FLACu to tak pekne nevyzera:



____________________________________________________________________






Zataz na CPU je vyssia, co sa hlavne prejavilo na 1.8GHz:



____________________________________________________________________




//edit Don: Uprava

[DOC_ZENITH]

Tak jsem se k tomu konečně dokopal a otestoval jsem to na svym 24C Opteronu. Nastavení jsem si dal custom, šlo zde čistě o CPU a API overhead test, tzn nechtěl jsem aby do toho vůbec zasahovalo CPU. v ini jsem vše nechal na default, jen jsem komplet vypnul motion-blur protože z ranných testů plynulo že to byl spíš z neznáméhoi důvodu CPU afektovanej problém v D3D kterje v mantle neexistoval, tzn spíš zaměnrně špatná implementace efektu. A rozlišení jsem si dal jak výstupní tak render jen 1024x768.

Napřed jsem dělal flyby test 1, měl jsem polovinu otestováno než jsem si vůbec všimnul že něco nehraje. Ano ta jednotka kterou ta kamery sleduje se vždy chová jinak. Ala jeden test kamera čuměla 90% času do vesmíru a druhej test na jednotky tzn děsnej rozdíl ve výkonu. Tzn jsem přepnul na RTS test a začal hezky odznova. I tam jsem ale došel k závěru že je ten test unfair, protože čím vyšší framerate tím se dostane dále, takže jsou situace kdy karta A bude mít horší FPS díky tomu že prošla do náročnější části bencharku? Uff.. no, takže asi tak.

Další věc je, CPU load. Benchark bere max 16 threadů. Zajímavé je, že při sledování jednotky jak pod D3D tak mantle byl CPu load nad 60% u všech jader. Při sledování z dálky byl mnohem menší, z čehož usuzuju že některé close-view efekty jsou CPU počítané ala v praxi kravina která by se v hrách neměla oběvit.

Co se testů týče výsledky byly tyto. HD7970:

24 core 2x CPU 3,4Ghz D3D = 15,84 fps.
24 core 2x CPU 3,4Ghz Mantle = 52,66 fps.
12 core 2x CPU 4Ghz D3D = 23,17 fps.
12 core 2x CPU 4Ghz Mantle = 56,88 fps.
6 core 1x CPU 4Ghz Mantle = 55,25 fps.

Teď GTX Titan pod D3D:

24 core 2x CPU 3,4Ghz = 46,75 fps.
12 core 2x CPU 4Ghz = 52,24 fps.
4 core + HT I7 3820 4,5Ghz = 60,41 fps.

CPU loady byly vesměs vždy nízké. Ale AMD a NV se lišily. U AMD jsem pozoroval že první a poslední jádro byly vždy hodně loaded (tak 80 a 60%), zbytek zhruba 10%. CPu load pod D3D a mantle byl vesměs stejnej. Max to použilo 16 jader nikdy ne více. Až při 6 jádrovém provozu se obecně load jader zvednul někam mezi 30-40% u těch mezi, ale jak vidítě z malého rozdíli mezi 6C a 12C konfigurací, žádnej výkon ty extra jádra nepřinesly. Malej rozdíl je ale to může bejt klidně dáno tím že zde jeden CPu byl off tzn místo 8 paměťovejch kanálů byly 4, polovina RAM, atd. Tzn tímto bych jednou provždy rozlousknul, přidává AMD multithread do renderu? NE! Jenom snižuje zátěž render threadu a zvyšuje jeho efektivitu ala snižuje overhead, rozhodně nepřidává multithread, alespoň ne v současném stavu a ve Starswarmu.

K Nvidii, tam se to chovalo jinak. Obecnej load byl vysokej opět na 2 jádrech, tentokrát ale první2, ne první a poslední použité. A load zbylejch threadů byl rovněž zhruba dvojnásobnej, ale opět celkově bylo použito max 16 threadů. Posledních 8 jader se prostě při 24C provozu vždy flákalo. Docela mě překvapilo kam až NV dotahla ten DX, ala je skoro tam co mantle... a AMD DX je víme kde... ale na druhou stranu, star swarm byl původně Mantle propaganda demo a jeho D3D je plné schválně umístěných bottlenecků, které NV v driverech ošetřila ale AMD ne protože proč když je to mantle test, tam musí pro mantle vyjít co největší rozdíl a modleme se ať nezkusej Nvidii s novými drivery.

I7 Sandy bridge na 4,5Ghz vyhrála. Ale.... vyhrála asi o 7% přičemž má o 12% vyšší takt. Tzn mutithread zde využit je, ale obecně bych to shrnul tak že škáluje solidně do těch 4 jader. U 6 ještě jakž takž, nad 8 už je to vesměs fuk a nic to nepřináší. Toto platí jak pro NV v DX tam AMD v Mantle, AMD pod DX je tragédie co bych moc nerozebíral. Dále vesměs až na obecně drobátko vyšší load u NV jsem si nevšimnul jakéhokoliv náznaku multithread renderingu. Ta rozložená menší zátěž na ostatních jádrech krom těch hlavních 2 byla AI jednotek a fyzika. Ne render.

Tímto se StarSwarmem končim, jak už jsem naznačil na začátku, dle mého názoru je to pochybnej a špatnej benchmark, a docela i nic moc engine, dále s nim nehodlám ztrácet čas. CPu ani GPu nebyly fully loaded, multithread rendering to nemá spíš se to snaží uměle tvořit CPU limity mimo render, atd, atd, atd.

[webwalker]

@DOC_ZENITH: Proč pořád vymýšlíte nové metodiky pro měření StarSwamu? Nehodí se vám to do krámu?

Normálně tam nahoď toto nastavení ve FHD a projeď to:


Pak sem postni:

1. Výstup testu

== Hardware Configuration =================================
GPU: AMD Radeon HD 7900 Series
CPU: GenuineIntel
Intel(R) Core(TM) i5-2500K CPU @ 3.30GHz
Physical Cores: 4
Logical Cores: 4
Physical Memory: 8546230272
Allocatable Memory: 8796092891136
===========================================================


== Configuration ==========================================
API: Mantle
Scenario: ScenarioRTS.csv
User Input: Disabled
Resolution: 1920x1080
Fullscreen: True
GameCore Update: 16.6 ms
Bloom Quality: High
PointLight Quality: High
ToneCurve Quality: High
Glare Overdraw: 16
Shading Samples: 64
Shade Quality: Mid
Deferred Contexts: Disabled
Temporal AA Duration: 16
Temporal AA Time Slice: 2
Detailed Frame Info: Off
===========================================================


== Results ================================================
Test Duration: 360 Seconds
Total Frames: 11027

Average FPS: 30.63
Average Unit Count: 4151
Maximum Unit Count: 5692
Average Batches/MS: 2593.29
Maximum Batches/MS: 8107.71
Average Batch Count: 85398
Maximum Batch Count: 166865
===========================================================

2. Nechceš-li používat FLAC, tak elespoň Log se zaznamenaným frametimes a já už ti ho vytvořím.

[DOC_ZENITH]

@DOC_ZENITH: Proč pořád vymýšlíte nové metodiky pro měření StarSwamu? Nehodí se vám to do krámu?

Přesně tak nehodí, protože hrozilo vytížení GPU, ala stal by se z toho GPU test a já chtěl testovat jen jak je na tom ten test/eingine/API co se týče použití CPU a multithreadu. Výsledek zní bídně. Hodim jsem aspoň ten z nejlepšího runu:

Kód: Vybrat vše

===========================================================
Oxide Games
Star Swarm Stress Test - ©2013
C:\Users\ZENITH\Documents\Star Swarm\Output_14_06_26_2349.txt
Version 1.10
06/26/2014 23:49
===========================================================

== Hardware Configuration =================================
GPU:		AMD Radeon HD 7900 Series
CPU:		AuthenticAMD
		AMD Eng Sample, ZS252145TCG44_32/25/2_2/16    
Physical Cores:			12
Logical Cores:			12
Physical Memory: 		17162153984
Allocatable Memory:		8796092891136
===========================================================


== Configuration ==========================================
API:				Mantle
Scenario:			ScenarioRTS.csv
User Input:			Disabled
Resolution:			1024x768
Fullscreen:			True
GameCore Update:		16.6 ms
Bloom Quality:			High
PointLight Quality:		High
ToneCurve Quality:		High
Glare Overdraw:			16
Shading Samples: 		64
Shade Quality:			Mid
Deferred Contexts (D3D11):		Disabled
Small Batch Optimized (Mantle):		Enabled
Temporal AA Duration:		16
Temporal AA Time Slice:		2
Detailed Frame Info:		Off
===========================================================


== Results ================================================
Test Duration:			360 Seconds
Total Frames:			20477

Average FPS:			56.88
Average Unit Count:		4311
Maximum Unit Count:		5558
Average Batches/MS:		900.30
Maximum Batches/MS:		1910.54
Average Batch Count:		14291
Maximum Batch Count:		26451
===========================================================

[del42sa]

dneska se mi stáhnul ten nový update od Oxide. Po naistalování posledních catalyst 14.6 RC2 a spuštění steamu se nainstaloval balíček o velikosti cca 37MB.
===========================================================
Oxide Games
Star Swarm Stress Test - ©2013
C:\Users\xx\Documents\Star Swarm\Output_14_07_03_1947.txt
Version 1.10
07/03/2014 19:47
===========================================================

== Hardware Configuration =================================
GPU: AMD Radeon R7 200 Series
CPU: AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor
Physical Cores: 4
Logical Cores: 8
Physical Memory: 8481816576
Allocatable Memory: 8796092891136
===========================================================


== Configuration ==========================================
API: Mantle
Scenario: ScenarioRTS.csv
User Input: Disabled
Resolution: 1920x1080
Fullscreen: True
GameCore Update: 16.6 ms
Bloom Quality: High
PointLight Quality: High
ToneCurve Quality: High
Glare Overdraw: 16
Shading Samples: 64
Shade Quality: Mid
Deferred Contexts (D3D11): Disabled
Small Batch Optimized (Mantle): Enabled
Temporal AA Duration: 16
Temporal AA Time Slice: 2
Detailed Frame Info: C:\Users\Zdenda\Documents\Star Swarm\FrameDump_14_07_03_1947.csv
===========================================================


== Results ================================================
Test Duration: 360 Seconds
Total Frames: 7127

Average FPS: 19.80
Average Unit Count: 4112
Maximum Unit Count: 5539
Average Batches/MS: 1810.83
Maximum Batches/MS: 2845.11
Average Batch Count: 88222
Maximum Batch Count: 178876
===========================================================



původní test bez update:



http://pctforum.tyden.cz/viewtopic.php? ... 2#p8642132

jestli je to změna k lepšímu nevím.. je tam sice chvilkama docela velký nárust snímkové frekvence, ale zároveň mnohem větší variabilita snímků.

[del42sa]

@del42sa: Hm, to je zajímavé, možná bychom mohli kontaktovat Dana Bakera, ale chtělo by to ještě otestovat na nějakém rychlejším Radeonu.

PS: Koukni se kolik ti tam teklo draw call (batch) a pak můžeš porovnat s logem Docenta, který odstranil (prý) bottleneck na gpu tím, že snížil rozlišení

tohle je původní log:

== Hardware Configuration =================================
GPU: AMD Radeon R7 200 Series
CPU: AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor
Physical Cores: 4
Logical Cores: 8
Physical Memory: 8481816576
Allocatable Memory: 8796092891136
===========================================================


== Configuration ==========================================
API: Mantle
Scenario: ScenarioRTS.csv
User Input: Disabled
Resolution: 1920x1080
Fullscreen: True
GameCore Update: 16.6 ms
Bloom Quality: High
PointLight Quality: High
ToneCurve Quality: High
Glare Overdraw: 16
Shading Samples: 64
Shade Quality: Mid
Deferred Contexts: Disabled
Temporal AA Duration: 16
Temporal AA Time Slice: 2
Detailed Frame Info: C:\Users\Zdenda\Documents\Star Swarm\FrameDump_14_06_24_1017.csv
===========================================================


== Results ================================================
Test Duration: 360 Seconds
Total Frames: 7343

Average FPS: 20.40
Average Unit Count: 4274
Maximum Unit Count: 5690
Average Batches/MS: 1836.67
Maximum Batches/MS: 6908.05
Average Batch Count: 91681
Maximum Batch Count: 170959
===========================================================

@Onebit: ne je tam jasný nárust ne pokles, ale jen chvilkama. Je to vidět na první pohled když koukneš na ten graf

[maltra]

CPU: i7-2600K @ 4.8GHz HT On
GPU: HD 7990 @ default (1000/1500)
OS: Windows 7 Pro SP1 64-bit
Driver: Catalyst 14.6 Beta

== DX11 Results ================================================
Test Duration: 360 Seconds
Total Frames: 2464

Average FPS: 6.84
Average Unit Count: 3786
Maximum Unit Count: 5610
Average Batches/MS: 722.07
Maximum Batches/MS: 866.30
Average Batch Count: 103064
Maximum Batch Count: 175495
===========================================================

== Mantle Results ================================================
Test Duration: 360 Seconds
Total Frames: 10555

Average FPS: 29.32
Average Unit Count: 4324
Maximum Unit Count: 5415
Average Batches/MS: 2701.51
Maximum Batches/MS: 8712.00
Average Batch Count: 89036
Maximum Batch Count: 169293
===========================================================

Verziu mi stale ukazuje 1.10

[webwalker]

Delsa.png

Takhle to vypadá ještě daleko hůř. Máš všechno dobře nainstalované?

[del42sa]

vizuálně vypadá graf vyrovnaně, jako u původního měření, ale je to ještě horší než předtím , stutter na začátku je u všech měření vždy přítomen stejně.. v něm imho problém nebude. To je spouštění benchmarku a načítání dat. Problém je ten, že teď chvílema ty snímky padají až pod 9 FPS a v zápětí zase vyletí nad 32fps. Takhle se to předtím tedy nechovalo...

http://www.uschovna.cz/zasilka/AG5XNE7N48SZUTE5-ZM6/

graf
http://img15.rajce.idnes.cz/d1503/10/10 ... .jpg?ver=2

Je tam jasně vidět mnohem větší snímková variabilita.

[del42sa]

http://img15.rajce.idnes.cz/d1503/10/10 ... .jpg?ver=2


původní drivery + Starswarm původní verze

http://img15.rajce.idnes.cz/d1503/10/10 ... .jpg?ver=2


rozsahy upraveny na 200

jasně viditelná je větší variabilita snímků u updatované verze a to i se staršimi catalysty 14.4.

[oneb1t]

no vidis jak to jde
muj vysledek pro RTS Extreme log je na prvni strane (ten zacuk na zacatku mi to tam nedela)


nova verze ale prinesla rozhodne o trosku vic shutteru (i kdyz je zajimavy ze se projevuje jen na kouscich grafu jako by se v tu chvili neco nacitalo)

[del42sa]

tak i po zpětném nainstalování Catalystů 14.4 a vyčištění předchozí instalace driverů pomocí DDU, je výsledek updatovaného benchmarku Starswarm o dost horší než předchozí měření.

vlevo updatovaný benchmark, vpravo původní verze

http://img15.rajce.idnes.cz/d1503/10/10 ... .jpg?ver=2

na první pohled daleko vyšší snímková variabilita a větší míra stutteringu.

Oxide Games
Star Swarm Stress Test - ©2013
C:\Users\xx\Documents\Star Swarm\Output_14_07_04_1254.txt
Version 1.10
07/04/2014 12:54
===========================================================

== Hardware Configuration =================================
GPU: AMD Radeon R7 200 Series
CPU: AuthenticAMD
AMD FX(tm)-8350 Eight-Core Processor
Physical Cores: 4
Logical Cores: 8
Physical Memory: 8481816576
Allocatable Memory: 8796092891136
===========================================================


== Configuration ==========================================
API: Mantle
Scenario: ScenarioRTS.csv
User Input: Disabled
Resolution: 1920x1080
Fullscreen: True
GameCore Update: 16.6 ms
Bloom Quality: High
PointLight Quality: High
ToneCurve Quality: High
Glare Overdraw: 16
Shading Samples: 64
Shade Quality: Mid
Deferred Contexts (D3D11): Disabled
Small Batch Optimized (Mantle): Enabled
Temporal AA Duration: 16
Temporal AA Time Slice: 2
Detailed Frame Info: C:\Users\xx\Documents\Star Swarm\FrameDump_14_07_04_1254.csv
===========================================================


== Results ================================================
Test Duration: 360 Seconds
Total Frames: 6839

Average FPS: 19.00
Average Unit Count: 4329
Maximum Unit Count: 5674
Average Batches/MS: 1863.73
Maximum Batches/MS: 4598.06
Average Batch Count: 94119
Maximum Batch Count: 168272
===========================================================

[maltra]

CPU: i7-2600K @ 4.8GHz HT On
GPU: HD 7990 @ default (1000/1500)
OS: Windows 7 Pro SP1 64-bit
Driver: Catalyst 14.6 Beta

Toto je z 22.06.2014, neviem ci uz je to s tym update kedze benchmark uvadza vo vystupe rovnaku verziu.


A toto je priebeh frametimes z toho merania co som tu postol vcera.

[maltra]

CrossFire pod Mantle v StarSwarme podla mojich vysledkov na generacii HD 7000 nefunguje (v Thiefovi bez problemov funguje). Nemal som cas hladat riesenie pre deaktivovanie jedneho jadra u HD 7990, tak som nakoniec vymenil HD 7990 za HD 7970, najjednoduchsie riesenie . Urobil som dve merania aby som vylucil nejake rozptyly vysledkov a da sa jednoznacne potvrdit ze RTS scena je na testovanie uplne v pohode.

CPU: i7-2600K @ 4.8GHz HT On
GPU1: HD 7970 (1000/1500), PT +20%
GPU2: HD 7990 (1000/1500), PT +20%, FP On
OS: Windows 7 Pro SP1 64-bit
Driver: Catalyst 14.6 Beta

HD 7970, prve meranie


HD 7970, druhe meranie


Este raz som prebehol aj meranie v HD 7990 a skontroloval nastavenia ovladacov (HQAF, PowerTune, FramePacing On atd).

HD 7990, prve meranie


HD 7990, druhe meranie


Takze az na mierne vyssi stuttering u HD 7990 (co sa dalo ocakavat) su tie vysledky identicke a teda zaver je ze CrossFire nefunguje. Chcelo by to test s dvoma R9 290(X) aby sme vedeli ci to facha aspon tam.

[del42sa]

můj výsledek s novými Omega drivery je nic moc ( v porovnání s předchozím měřením )

http://img15.rajce.idnes.cz/d1503/10/10 ... .jpg?ver=2

že by to souviselo s tímhle ?

mě to o první instalaci taky dělalo strašný stuttering , viz: http://del42sa.rajce.idnes.cz/Mantle/#AMD_Omega.jpg

po instalaci fixnutých driverů se to srovnalo... (reinstal HDMI scaling HotFix, Driver version: 14.501.1003.1001 [nová verze])

[maltra]

Pozn.: graf je z programku FLA Presenter od Webwalkera.

[maltra]

i7-2600K @ 4.5GHz, 16GB DDR3 @ 1600MHz, R9 290X @ 1010/1250 +50% PT
Windows 7 Professional SP1 64-bit, AMD Catalyst Omega Driver

StarSwarm Benchmark - RTS Scenario
(1920x1080, Extreme Settings, Timed Run Stress Test)
DX11 FPS - 10.06
Mantle FPS - 32.00

[maltra]

i7-2600K @ 4.5GHz, 16GB DDR3 @ 1600MHz
Gainward GTX 680 Phantom 4GB @ 1006-1059/1502 +33% PT
Windows 7 Professional SP1 64-bit, Nvidia driver 347.52

StarSwarm Benchmark - RTS Scenario
(1920x1080, Extreme Settings, Timed Run Stress Test)
DX11 FPS - 20.26

[Ache]

== Hardware Configuration =================================
GPU: AMD Radeon R9 290X 1040/5000
CPU: AMD FX-8370E Eight-Core Processor @ 4,5GHz

API: Mantle
Scenario: ScenarioRTS
Resolution: 1920x1080

== Results ================================================
Average FPS: 32.51
Average Unit Count: 4120
Maximum Unit Count: 5283
Average Batches/MS: 2961.05
Maximum Batches/MS: 6023.16
Average Batch Count: 86422
Maximum Batch Count: 165919