Techreport - testování frametimes, ala skutečná plynulost.

Libovolný výrobce, technologie, informace, rady, výběr, ovladače.

Moderátoři: morke, Walker1134, PKBO, Hladis

DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

Nastal lock ale myslim si že tahle diskuze by měla pokračovat.

Viz tento thread:

http://pctforum.tyden.cz/viewtopic.php? ... 7&start=20

A Acheho post:
Á zase parádní počteníčko aneb Arg a Arach fight. :-D

Mam na vás dva otázku. Co si myslíte o té metodice kterou používá techreport? tj. neměří jen average fps, ale i samotnou plynulost hry? Budeme to ignorovat a postovat sem pouze grafy s avg fps. computerbase, a nebo budem brát v úvahu to že 50fps AMD ≠ 50fps Nvidia? (díky rozdílnému frametimes - tj. hlavně díky kvalitě driverů).

Na ukázku třeba batman, ve kterém narazíte na ukázkový případ kdy avg. fps selhává a plynuleji si tu hru kupodivu zahrajete na mnohem pomalejší kartě!

Sledujte pozorně fight mezi GTX570 vs. HD7970 (2560x1600)... ano z prohledu průletu benchmarku jasná nakládačka pro GTX570, ale z plynulosti frametimes naopak zjistíme, že obraz na GTX570 bude působit i tak plynuleji díky nižšímu microstutteringu:
http://techreport.com/review/23150/amd- ... -edition/8

Na další straně Crysis2... tentokráte méně kritický případ, ale podívejme se na fight mezi HD7970GHz a GTX680 (AMP!)... podle AVG. fps by BFU řekl, že HD7970 bude plynulejší... ale frametimes a tedy samotná plynulost říká opak:
http://techreport.com/review/23150/amd- ... -edition/9

Myslím že hodnotit grafiky pouze podle avg. fps je blbost, protože to v praxi nemusí znamenat lepší/horší hratelnost nebo plynulost. :wink:
Bohužel z tohohle pohledu je to i v "áčkových" titulech pro AMD dost tragédie... né že bych to tu už dávno nenaznačoval, ale techreport sem nějak ani nesledoval, že to měří. Nyní pro své vlastní testování mám i dobrou podporu. Děkuji techreportu! :)

A do mě!
Pastnu svou odpověď. -

Nikod Ameriku neoběvil spíš.... znovuoběvil.

To že FPS je jen jeden z mnoha parametrů určijících plynulost se ví už dávno ale samy společnosti vyrábějící grafiky nechtěj aby se o tom moc mluvilo. Protože vysvětlit casual Joe že čím více FPS tím lépe je primitivní a lehce pochopitelná metoda. To je jako porovnávat auto podle počtu koní nebo podle maximální dosažitelné rychlosti při testech.

To že average FPS je k ničemu jsem se přesvěčil už v roce 1999 kdy ještě tehdy můj otec "upgradoval" z Voodoo Banshee na Rivu TNT2 a ta letěla... jé ta letěla, i když podle všech recenzí to byla lepší karta že.... dle average fps. To samé zkuste si obencharkovat UT na Voodoo5 a Geforce 2 GTS a pak si to na těch kartách zkuste zahrát a uvidíte, nemluvě o inputlagu jednotlivejch řešení.

O tom jak dobře se na té či té kartě hraje, rozhodujou dle mého názoru tyto body:

- počet FPS.
- frametimes/microstutering.
- input-lag.
- kvalita obrazu.

Počet FPS neni vůbec směrodatnej hlavně od nástupu AFR-based multiGPU, tam to lítá jak na horské dráze a průměry za sekundu jsou vysoké, takže recenze dopadaj dobře, a nikdo se v tom moc nepitvá protože jak AMD tak Nvidia by ho pak neměly rádi kdyby říkal smutnou pravdu o jejich "ultra high-end" řešení. A tot co je na první vpohled vidět, jakmile máte méně fps než váš monitor hz hned vidíte že je to AFR rendering to nejde přehlédnout.... a přesto všechno i zde na tomto foru je spousta lidí co si to obhajovali a že nic takového nepozorujou, a u her kde je to horší jak 1 karta tvrdili že to cejtěj "lehce".

A co se stalo po letech sraček a mlžení? Nvidia vydala GTX690 s frame-meteringem kterej snímky řadí tak aby po sobě šly plynule, ale za cenu inputlagu, což je pomalu ještě větší průser než microstutering. A ještě za takovou hrůzu dostanou superlativa v recenzích.... už víte kam tim mířim.

To samý jak se zapomnělo na TRAA třeba. Přišla GF7 a jako prví karta uměla TRAA. Bylo to v každý recenzi, ATI ho pak s Radeonem X1800 přineslo také, srovnávala se jejich rychlost a kvlaita. Dnes.... je to zapomenutá kapitola protože u Radeonů to v DX10 funguje až od HD 7000 a u NV od Fermi. NV40-GT200 to umí ale jen v DX9. A právě proto že to začalo bejt nepohodlné tak se o tom najednou zázračně přestalo mluvit. Dnes ustupuje i MSAA, taky se přestává hodit do krámu, i v hrách kde jde zapnout se často testuje s různými SW postprocessing hnusnejma rozmazávajícíma blitkama, protože jsou free. Pokud se povede zamést pod stůl MSAA byl by to epic win, karty by nemuseli mít takové sběrnice, tolik rops, menší nároky na framebuffer..... Stejně jako dnes v recenzích nikdo nesmí pohanit produkt protože pak by nedostal nikdy od té firmy další produkty na testy. Tak když člověk čte recenze je to od superlativy k superlativě, poslední karta co měla 5/10 či níže a byla označena za fail byla jedna recenze Radeon 4730 a to už je 3-4 roky zpátky) a té samé kartě polovina webů dala 9/10 za super poměr cena/výkon. Jo ještě Buldozer na EHW dostal špatné hodnocení, ale to až v druhé recenzi když byl výkon všeobecně známej a lidi měli svůj názor, v té první si to nlajsli.....

Ale všechn otohle co řeším u grafik je také strašně "PC gamer master race" problém. Jen úzká skupina lidí tohle vnímá nebo řeší nebo si to uvědomí. Spousta lidí třeba přešla z CRT na LCD (myšleno hlavně u TV ty jsou pomalé) a pak si stěžujou že se jim hraje hůře ale nedovedou to popsat nevědi co to je, ale realita je ta že maj lag na ovládání.

Hráči na konzolích.... ta samotná konzole má lag větší než nejpomalejší LCD k PC + ještě televize + někdo hraje i se zapnutym dopočítávánim snímků.... Já když mi kolega v práci spustil UT3 na PS3 tak jsem se nemohl ani trefit do dveří jakej to byl horor..... (ano měl jsem připojenou KB a myš).

V současné situaci se na Nvidiích hraje lépe, maj menší stutering ( i na single GPU ) ,funguje tam mnohem lépe vynucování stavů vsyncu, maj driver-level implemented frame-limiter, a jde tam olvádat fronta pedbufferu čímž se dá ještě více zkrouhnout inputlag (neplatí pro SLI). Dá se defakto docílit tak nízkého lagu (pokud neni chyba v samotném Enginu hry), jako bejval kdysi pod Glide. Na Radeonech to bohužel nejde. High end gamer tam bojuje s každou hrou, často i neúspěšně. Pokus i o něj porgram řekne Vsync (kor pod DX10/11) prostě nevypneš, pokud si řekne o AA, force OFF ty drivery vůbec neznaj, délka pedbufferu nejde měnit už od dob R600, a do příchodu HD7xxx nefungovalo ani TRAA ve většině her. Vyjde nová hra a člověk čeká x-měsíců na driver co ji rozhejbe pořádně, a pak stejně lítá od jedný bety na druhou. (ne že by se to Nvidii nestalo ale tam se to stane jednou za čas u Radeonů už je to standard.). Poměr cena/výkon je tam zkrátka akceptovatelnej jen když člověk kouká na average FPS v top 20 benchmarkovanejch hrách.

Vyjde nová karta, já mam tu možnost si jí vzít otestovat jí v tom co hraju, a rozhnodnout se. Většina lidí ale tuto možnost nemá tak se hádaj o věcech co "četli na internetu" bez jakýchkoliv pádných důkazů v ruce ever. Já nemem zařízení jakym bych dokázal frmaetimes. Fraps pořád nepovažuji za relevantní furt je to jen SW řešení. Mam zachytávací kartu co dovede tvořit perfektní 60fps videa ale jen v 720p při takovém FPS, to by pak lidi říkali že je to low res a nikoho to nebere... je to těžký. A každopádně vítám každej pokus jako ten Technreport v to přinést do toho temného hnoje kterým se staly recenze komponent trochu více světla.
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od webwalker »

Docente, píšeš hrozně dlouhý posty, kdo to má číst :oops:
V každém případě to byl od TR pěkný počin, nicméně pro upřesnění s takovýmto měřením Scott Wasson přišel už dříve, jen to kdesi zapadlo.
http://techreport.com/review/21516/insi ... nchmarking
a taky nezapomeň se kouknout na
http://www.hardcoreware.net/windows-7-v ... ormance/1/
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

Eh recenze jsou 10x takový a stejně to lidi čtou... no nic.

Dle mého je dost na vině samotné Metro které se nedá vypnout a má vždy prioritu nade vším. Třeba v heaven bechmarku občas když zajedu do pravého dolního rohu tak se mi před obrazovku vysune menu z metra.... což logicky musído render procesu grafiky zasahovat. Nvidia to asi ošetřila o něco více, toť k stuteru win7 vs win8 na Radeonech, k stuteru obecnému celkově nemam co víc říct.
Ache
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 26. zář 2006
Bydliště: Plzeň

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Ache »

Vida, další web co testuje frametime. Přitom pro recenzenta to není téměř žádná práce navíc!
Místo toho aby projel nějaký úsek hry frapsem zapnutým na fps metering, tak zapne režim frame times. A když si udělá chytré makro do excelu/calcu, tak mu hned z toho vyjede jak graf frametimes, tak i klasické avg. fps + třeba ten přepočet 99th % frametime, atd...

Ono to není znovu objevení ameriky, ale spíš není moc webů které tu reálnou plynulost testují. Stejně jako kašlou na kvalitu obrazu, a defakto v žádné recenzi se nedozvíte, že v benchmarku Alan Wake si AMD tak nějak neláme hlavu s TRAA, v době HD5870 jste se nedozvěděli z oficiálních zdrojů nic o to AF atd, atd.
Techreport a tuhle jeho metodiku akorát vytáhl naposled fanatik NO-X, když házel rovnou ve třech článcích na DIITu špínu na GPU Boost, a v batmanovi měla nvidia v prvních ovladačích problém s microsuteringem. Když to patchnuli (jak batman běží dnes vidíte z grafu v úvodu), tak ticho po pěšině. Objektivita jak prase. Já už tomu webu pomálu řikam DDIIT :P

Kromě toho, že AMD v reálné plynulosti je na tom vetšinou hůře a někde i doslova failuje, tak ještě zajmavější je to, že pod Windows 8 jsou vetšinou hodnoty frametimes lepší a vyrovnanější :|

A je to s tím AMD fakt legrace v kontrastu s tím názorem NO-Xe o tom, že AMD díky lepší reakční době Power-Tune nebude trpět na microstuttering jako nvidia které díky špatnému návrhu boostu bude mít problémy... Realita je u NV taková, že s omezeným TDP limitem (aby začal výkon omezovat boost) to co se týče frametimes vypadá úplně stejně, a jen je v průměru horší výkon:
100% TDP: http://www.abload.de/img/tdp20055osg.png
70% TDP: http://www.abload.de/img/tdp14004pha.png
(Crysis 2, 1920x1200, ultra, DX11)

Bylo by dobré, kdyby se aspoň jeden z našich českých webů opičil a tuhle metodu okopíroval. Reálná plynulost (hladina microstuteringu / lag) je opravdu důležitější než nějaké min./avg./max. fps :!:
AMD Ryzen 7 5800X3D | MSI B550 Tomahawk | 32GB DDR4 3200 | INNO3D RTX 4070 Ti "GDDR7X Edition" | 500GB SSD (NVME) + 2x 3,84TB Micron 5300 PRO
Sound Blaster Z + Gigaworks T3 + Beyerdynamic DT 990 | Seasonic X850 | Cooler Master HAF-X Nvidia Edition | MSI Optix MAG274QRF-QD Quantum Dot bestie
durod
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 01. úno 2005

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od durod »

ja myslim, ze prvni vlastovka je EHW, nekdy delaji recenze kapanek jinak(na ceske pomery, zejo), vlyv velikosti VRAM 1vs2GB, spotreba pri ruznych nastavenich voltaze na frekvenci jadro/pameti, naposledy zakopnuti o problematiku frametimes... Doufam, ze to A. Vagnerovi vydrzi....jak pises, neni to zadna prace navic, ty 2 reprezentativni grafy ke kazde hre nikoho nezabiji. ALe obavame se, ze je to politicky nepruchodne, kdyz pri kazde recenzovane AMD grafice bude konstatovano, ze co do microstutteringui je na tom hur nez nVidia 8)
A taky jak testuji narust vykonu v ovladacich, tak promerit i frametimes,aspon by se ukazalo, jak jsou kde ktere ovladace na stejne urovni :roll:
i5 2500K, 16GB RAM, HD7750
Hladis
Moderátor
Moderátor
Uživatelský avatar
Registrován: 24. čer 2004
Bydliště: Varnsdorf - Athens

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Hladis »

Ja myslim ,ze A. Vagner testuje dobre a problematikam kolem grafaren se venuje asi nejlip na ceskych webech a nektery vase zjisteni testoval a vydaval o tom clanky. DIIT je uz hezkou radku mesicu uplne mimo a spis to zavani amaterinou riznutou s bulvarem. PCT se svyma "tichyma" MSI jede porad stejnou lajnu, DDpsychosvet se snad neda vubec brat vazne.
Obrázek
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od webwalker »

Tyhle testy, ač jsou přínosné, mají také své mouchy. Co brát jako result? 99% frametime, nebo hranici 20ms či 16ms? Výsledek 99% frametime prakticky kopíruje (až na výjimky) výsledky fps a výsledky pro hranici 20ms nemusejí zase korespondovat s výsledky na 16ms. A to vůbec nemluvím o výběru her (twimtbp/ge) :(

Jinak ano, dle mého si nejvíce na testech gpu dává záležet Vágner, ale na můj vkus je malinko "nazelenalý" :mrgreen:
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
Ache
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 26. zář 2006
Bydliště: Plzeň

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Ache »

webwalker píše:Tyhle testy, ač jsou přínosné, mají také své mouchy. Co brát jako result? 99% frametime, nebo hranici 20ms či 16ms? Výsledek 99% frametime prakticky kopíruje (až na výjimky) výsledky fps a výsledky pro hranici 20ms nemusejí zase korespondovat s výsledky na 16ms.
Mouchy to sice má, ale máš tam graf průběhu frametimes, avg. fps, 99th % frametimes a i počet snímků pod nějakou průměrnou hodnotu (ta se hlavně musí nastavit podle průměru), a výsledky pro jednotlivé hry i různé kategorie grafik budou vždy jiné...

Ale taková metodika je fajn. Pro lamy co se v tom nevyznají tu vždycky je opěrný bod to avg. fps. a pro ty náročnější tu pak je měření samotných frametimes, ze kterých se dá vyčíst více.

Takové rychlé info pro BFU:
Pokud v grafu 99th % frametimes graf sedí grafické karty stejně jako v avg. fps grafu, tak je všechno ok a na té kartě která je na lepších hodnotách si lépe zahrajeme. Pokud to nesedí, tak to znamená, že karta co ve frametimes dává hroší výsledek může ve výsledku dávat vizuálně horší plynulost než karta s vyšším avg. fps., to ukazuje na vyšší microstuttering). Takže se dá říct že je určitě důležitější sledovat tuhle hodnotu. (respektive její rozdíl proti avg. hodnotě)

Počet snímků pod určitou hodnotu je dost diskutabilní graf. Ten podle mě spíš odhaluje jakési propady pod průměr, ale ten by měl spíše být nastaven podle jednotlivé karty... v podstatě ale zase platí to samé jako v předchozím odstavci. Pokud pořadí karet mezi grafy avg. fps a počtem pomalých snímků se liší, tak je zase jisté, že na té kartě co dává horší výsledek v grafu s počtem pomalých snímků je něco špatně (hlavně pokud je rozdíl velký).

Prostě ahle metodika není pro nenáročené a příležitostní hráče, BFU a od kojence na DDžumpě... nakonec pro tyhle lidi je to jedno co si koupí za kartu. Ale pro náročnější uživatele je tohle fajn. Hlavně to odhaluje kvalitu ovladačů AMD v celé jejich kráse. A je fakt sranda, že i ve sponzorovaných hrách má AMD docela problémy.
FarCry testoval ExtraHardware.
A zbylé dvě hry z jejich "nikdy nespícího" bundlu vypadají takhle:
Himan: http://techreport.com/review/24022/does ... indows-8/6
Sleeping Dogs: http://techreport.com/review/24022/does ... indows-8/4

I tu těhle top AMD her vám vyšší fps na AMD kartě nenabídne vyšší plynulost než u konkurence. Ale kupodivu pokud si nainstalujete Windows 8, tak si někde dost polepšíte.
AMD Ryzen 7 5800X3D | MSI B550 Tomahawk | 32GB DDR4 3200 | INNO3D RTX 4070 Ti "GDDR7X Edition" | 500GB SSD (NVME) + 2x 3,84TB Micron 5300 PRO
Sound Blaster Z + Gigaworks T3 + Beyerdynamic DT 990 | Seasonic X850 | Cooler Master HAF-X Nvidia Edition | MSI Optix MAG274QRF-QD Quantum Dot bestie
havli
Mírně pokročilý
Mírně pokročilý
Uživatelský avatar
Registrován: 15. zář 2009
Bydliště: Hradec Králové
Kontaktovat uživatele:

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od havli »

Stravil jsem dost casu pri vymysleni jak nejlip zpracovat a interpretovat zmerene frametimes, takze napisu svuj nazor:

Mne ty vysledky na techreportu pripadaji takovy divny. Mereni frametimes je jiste prinosny, to beze sporu, ale jejich zpusob zpracovani a interpretace vysledku je takovej neprehlednej. Jako prvni vec - nevim proc ve vsech grafech cpou frametimes. Takhle si musim pracne cisla prepocitavat -> fps=(1/frametimes)*1000... rozhodne by je nezabilo kdyby to uvadeli rovnou takhle.

Dale pak 99th percentile. Pokud jsem to pochopil spravne, tak jen vyskrtnou 1% cisel, ktery nepasujou do rady (prilis nizky/vysoky). Kazda karta obcas vyprodukuje nejakej vyraznej skok, ale pokud vsechno funguje spravne tak to ale je jen par snimku z mnoha tisic, takze zanedbatelny a v realu nepostrehnutelny. Pokud se ovsem MS vyskytuje, pak uriznutim jednoho procenta vysledku nic neziskame a vypovidajici hodnota takovyho grafu je imho podobna jako u avg fps.

Pak grafy tohodle typu:
Obrázek

Vyjadrujou kolik snimku je pod 50 fps (tenhle konkretni). No, coz o to, ale osa X v absolutnich cislech nema zadnou vypovidajici hodnotu... protoze nevime, kolik je snimku celkem.

Osobne mi pripada lepsi klasickej histogram:
Obrázek

Ve spodnim radku jsou prumerny fps pro kazdy sloupec, v hornim procentualni zastoupeni fps. Takze napriklad snimku pohybujicich se kolem 314 fps je 21%. Vypada to uplne jinak, nez graf z TR.... ale pritom znazornuje vesmes to samy. Dale je tady jednoduse osetreno i znazorneni MS. Pokud z frametimes vyplynou vyssi/nizsi frekvence snimku, nez jsou klasicky max/min fps - pak je jasny, ze se jedna o MS. Neni to uplne presny - pri zarazovani do sloupcu vznikaji nepresnosti, ale i tak si myslim, ze to je lepsi nez nic. MS level jsou jen secteny procenta mimo min-max oblast. Neni to zrovna optimalni, lepsi by bylo priradit sloupcum urcitou hladinu vyznamnosti aby vzdalenejsi mely vetsi vahu a blizky mensi.

a jeste tohle:
http://techreport.com/r.x/inside-the-se ... ntiles.gif

Zda se mi, ze jsou vysledky obracene - tj. pri 50% by mely byt frametimes delsi -> fps nizsi.... oni to maji naopak. A pak delat 99%, 98%, 95%... mi pripada zbytecny. Ja jsem to vzal jednoduse. Seradit vzestupne frametimes, oriznout horni 1% kvuli uletum, ze zbytku vybrat 25% odshora (kvuli quad-GPU, jinak staci 50), spocitat avg, prekonvertovat na fps... a hotovo, "realny fps" jsou spocitany. Asi to neni uplne optimalni, je to spis pesimisticky pristup - odrazi se v tom nejen MS, ale i min fps a celkovy prubeh fps. Ale zase se da rict, ze pokud z toho vypadne na pohled hratelnej framerate, tak to plati i ve skutecnosti.
Ryzen 9 5900X ; Asus Prime X570-P ; 32 GB DDR4 3000 ; Gainward RTX 3060 ; MX500 500 GB, 4 TB + 6 TB HDD ; Dell G3223Q
Retro PC: Core i3-3250, Quadro 5000, 4 GB DDR3, X-Fi, WinXP + 7 x64; Pentium 4 3.06 @ 3.33 GHz, Voodoo5 5500 AGP, 512MB DDR, Audigy, Win98SE; VIA C3 1000, 512MB DDR, ESS Solo-1 + DreamBlaster X2 GS, Win98SE & DOS
Retro PC: Celeron 220, Voodoo4 4500 PCI, 512MB DDR2, Win98SE; 2× Pentium Pro 233/256, Voodoo Graphics, 1024MB EDO, AWE32 28MB (CT3980), Win98SE & DOS
Retro NTB: IBM ThinkPad 600, ThinkPad T20; Toshiba Satellite Pro 430CDT, 460CDT, Portege 3010CT
HW museum.cz - muzeum grafických karet a procesorů
Ache
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 26. zář 2006
Bydliště: Plzeň

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Ache »

Jó ta tvoje metoda taky nevypadá zle, ale asi tu vzniká problém toho čemu kdo řiká microstutering... ten je totiž přítomen v podstatě vždy a podle něj pak vypadá reálná plynulost. Ustřelené hodnoty (hlavně k minimu) lze už podle mě považovat za stuttering, protože ty už budou viditelné jako škubání obrazu (ty pak hlavně ovlivní těch 99th % vs. avg fps).

Ono asi nejpřehlednější je něco jako ty čisté grafy frametimes ( http://www.abload.de/img/tdp20055osg.png ), kde když nějaké grafika bude ukazovat větší rozptyl a hlavně pády k minimu/maximu (podle toho zda počítáme fps nebo ms), tak to bude horší plynulost. Je to docela problematika velká (nic pro BFU), ale je jasně vidět, že avg. fps je jen orientační hodnota. O reálné plynulosti nám nemusí říkat vůbec nic, pokud mezi sebou budeme porovnávat dvě karty s 50 a 55fps.

Buďme hlavně rádi, že aspoň někteří testují i samotnou plynulost a né jen avg. fps. - O tom byl hlavně ten můj post který tohle nastartoval. Já totiž u spousty her sem si všiml, že i když jsem proti sobě měl dvě podobně výkoné karty od AMD a Nvidie, tak dost často obraz na nvidii působil plynuleji i když klidně AMD karta ukazovala víc fps.

EDIT:
Tedy abych to upřesnil s tím stutteringem (tak jak to vidím já a jak tomu chování říkám):
Microstuttering: Hra běží na 40fps, ale plynulost vypadá jako při 25fps, protože je velký rozptyl po sobě jdoucích snímků (16-40-16-40-16-40...ms)
Stuttering: Hra třeba běží plynule, ale je vidět zasekávání obrazu vlivem vkládání dlouhých snímků do jinak plynulého pohybu (třeba 16-16-100-16-16...ms).

EDIT2:
Z toho jak testuje ten techreport, tak jejich metoda podle mě hlavně odhaluje samotný stuttering (99th %). Microstuttering by se musel detekovat v rámci nějakých rozdílů mezi dvou po sobě jdoucích snímků. Protože v průběhu testu může avg. fps lítat od 20fps klidně k 80fps (krásný příklad budiž Unigine Heaven 1.0 s tesselací na HD5870 - u draka 20, jinde i 60+fps), takže microstuttering se musí detekovat na úrovni co nejkratších časových úseků. Fakt hardcore.

Jedno je jisté - obojí je dobré brát v úvahu protože to ovlivní plynulost více než jen obyčejné avg. fps.
AMD Ryzen 7 5800X3D | MSI B550 Tomahawk | 32GB DDR4 3200 | INNO3D RTX 4070 Ti "GDDR7X Edition" | 500GB SSD (NVME) + 2x 3,84TB Micron 5300 PRO
Sound Blaster Z + Gigaworks T3 + Beyerdynamic DT 990 | Seasonic X850 | Cooler Master HAF-X Nvidia Edition | MSI Optix MAG274QRF-QD Quantum Dot bestie
havli
Mírně pokročilý
Mírně pokročilý
Uživatelský avatar
Registrován: 15. zář 2009
Bydliště: Hradec Králové
Kontaktovat uživatele:

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od havli »

Ache píše:Tedy abych to upřesnil s tím stutteringem (tak jak to vidím já a jak tomu chování říkám):
Microstuttering: Hra běží na 40fps, ale plynulost vypadá jako při 25fps, protože je velký rozptyl po sobě jdoucích snímků (16-40-16-40-16-40...ms)
Stuttering: Hra třeba běží plynule, ale je vidět zasekávání obrazu vlivem vkládání dlouhých snímků do jinak plynulého pohybu (třeba 16-16-100-16-16...ms).
Ano, s tim souhlasim. Stuttering se podle me vyskytuje jen malo - tipoval bych to na pripady, kdy se neco nacita z disku (treba swap), nejakej cizi proces sebere kus CPU a podobne. Proto taky to jedno procento do vypoctu neuvazuju, jsem presvedcenej o tom, ze to VGA neovlivni.

U MS je to presne jak rikas, je problematicky ho nejak matematicky detekovat. Nicmene pokud je natolik masivni, ze propady fps jsou az pod uroven klasickych min fps (z prubehu 1 hodnota/s), tak se to projevi i v histogramu... a podle toho, kolik takovych propadu je, se da urcit dopad na celkovou plynulost.

Ted jsem v rychlosti dal dokupy priklad:

klasicky prubeh fps (SLI zelene, single modre)
Obrázek

takhle vypada graf frametimes, asi neni potreba zdruraznovat co je co :P :

Obrázek

a histogramy:
SLI
Obrázek
single
Obrázek

na ukazku par cisel - vlevo SLI, vpravo single [fps]
Obrázek

Tohle je pripad extremniho MS, je krasne videt, ze fps lezou k 300.... ackoliv maximum je cca 100. V histogramu je videt, ze snimku nad realnym maximem je docela hodne... neni to jen par vystrelku (ktery by v grafu mohly splynout dohromady a delat dojem, ze ve skutecnoti je snimku vic).

Dale pak v avg mame 26 single vs 51 SLI, na prvni pohled pekny. :) Z tabulky vyse je videt, ze fps na SLI skacou mezi 26 a 280, zatimco single se pohybuje kolem 34 s minimalnim zvlnenim. Takze tolik k plynulosti. Na prvnim obrazku vpravo dole jsou cisla vypocitany podle postupu:
havli píše:Ja jsem to vzal jednoduse. Seradit vzestupne frametimes, oriznout horni 1% kvuli uletum, ze zbytku vybrat 25% odshora (kvuli quad-GPU, jinak staci 50), spocitat avg, prekonvertovat na fps... a hotovo, "realny fps" jsou spocitany. Asi to neni uplne optimalni, je to spis pesimisticky pristup - odrazi se v tom nejen MS, ale i min fps a celkovy prubeh fps. Ale zase se da rict, ze pokud z toho vypadne na pohled hratelnej framerate, tak to plati i ve skutecnosti.
Tohle samozrejme ma vliv i na single kartu, proto tech 17 "real" misto 26 avg. Proste se vezme 1/4 nejmensich fps a z nich se udela prumer. Takze prostredni cast prubehu single ovlivni vic, nez SLI, kde jsou propady kolem tech 25fps po celym prubehu - to je pekne videt na excel grafu (skoro rovna cara ve spodni casti).

Jinak ja jsem samozrejme rad, ze se zacina testovat i pres frametimes. Je to novej pohled na vec a odhali problemy, ktery se jinak jen tezko dokazovaly... Pokud se takovy mereni vic rozsiri, tak se i metodika vyladi do nejaky stravitelnejsi formy. :)
Ryzen 9 5900X ; Asus Prime X570-P ; 32 GB DDR4 3000 ; Gainward RTX 3060 ; MX500 500 GB, 4 TB + 6 TB HDD ; Dell G3223Q
Retro PC: Core i3-3250, Quadro 5000, 4 GB DDR3, X-Fi, WinXP + 7 x64; Pentium 4 3.06 @ 3.33 GHz, Voodoo5 5500 AGP, 512MB DDR, Audigy, Win98SE; VIA C3 1000, 512MB DDR, ESS Solo-1 + DreamBlaster X2 GS, Win98SE & DOS
Retro PC: Celeron 220, Voodoo4 4500 PCI, 512MB DDR2, Win98SE; 2× Pentium Pro 233/256, Voodoo Graphics, 1024MB EDO, AWE32 28MB (CT3980), Win98SE & DOS
Retro NTB: IBM ThinkPad 600, ThinkPad T20; Toshiba Satellite Pro 430CDT, 460CDT, Portege 3010CT
HW museum.cz - muzeum grafických karet a procesorů
Ache
Pokročilý
Pokročilý
Uživatelský avatar
Registrován: 26. zář 2006
Bydliště: Plzeň

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Ache »

havli píše:Ano, s tim souhlasim. Stuttering se podle me vyskytuje jen malo - tipoval bych to na pripady, kdy se neco nacita z disku (treba swap), nejakej cizi proces sebere kus CPU a podobne. Proto taky to jedno procento do vypoctu neuvazuju, jsem presvedcenej o tom, ze to VGA neovlivni.
Záleží co ho způsobuje, ale třeba ve skyrimu za to můžou AMD ovladače. viz. to video na tom techreportu. Já mam zase podobnou zkušenost ze Stalkerem:COP, kde to sice mírně stutteruje i na nvidii, ale ten rozdíl proti podobně výkoné AMD kartě je dost brutální.

Nebo vem si takové FarCry 3. Na AMD je to ródeo jak kráva, to nevím jestli je micro nebo už stuttering, ale rozhodně to i přes vysoké average běží vizuálně hůře. Nvidia je na tom podle grafů frametimes o dost lépe, ale vyskytují se tam také náhodně skoky, takže i když se jedná o 1-2% snímků, tak to vliv má ;-)

Takhle vypadá 20s úsek ve FC3 na mé kartě: http://www.abload.de/img/dx11d2rt5.png
-kdybys těch pár snímků vyškrtl, tak máš defakto průběh z minimálním microstutteringem. Realita je ale taková, že ta hra běží plynule, ale ty skoky jí pak narušují.

Takže podle mě zase tohle "zanedbatelné" 1% procento snímků má vliv na plynulost hry docela zásadní, protože do jinak plynulého průběhu jsou vkládány mnohonásobně delší snímky. Tedy podle mě je dobré brát v úvahu obojí, jak stuttering tak i micro, nebo cokoliv mezi. :) Nejideálnější je tedy samotný graf frametimes, ze kterého se dá při porovnání dvou karet poznat co bude lepší a co horší.

Hlavní je jak se k tomu postaví recenzenti, protože takové detailní testování je ještě více náchylné na ovladače, a hlavně v případě AMD se může stát, že za rok stuttering u nějaké hry opraví, takže kromě mírně lepšího avg. tam hlavně zmizí to cukání a hra ve skutečnosti poběží vizuálně 2x lépe i když výkon ovladače zvedly jen dejme tomu o 5%.
A z tábora nvidia máme přímo ukázkový případ: Batman, který na GTX680 při uvedení (1. ovladače) trpěl na hrozný stuttering. Ale hned další ovladače už byly ok.
AMD Ryzen 7 5800X3D | MSI B550 Tomahawk | 32GB DDR4 3200 | INNO3D RTX 4070 Ti "GDDR7X Edition" | 500GB SSD (NVME) + 2x 3,84TB Micron 5300 PRO
Sound Blaster Z + Gigaworks T3 + Beyerdynamic DT 990 | Seasonic X850 | Cooler Master HAF-X Nvidia Edition | MSI Optix MAG274QRF-QD Quantum Dot bestie
havli
Mírně pokročilý
Mírně pokročilý
Uživatelský avatar
Registrován: 15. zář 2009
Bydliště: Hradec Králové
Kontaktovat uživatele:

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od havli »

Hmm, ja jsem to prave vzdycky prisuzoval vnejsim vlivum... Ale pokud to zpusobuje grafika, tak je pravda, ze neni dobry tyhle propady v ramci zpracovani vysledku odstranit.

V dalsi verzi programu to zkusim predelat a zaroven (snad) pribyde moznost zobrazit MS graf - podobne jako v excelu.
Ryzen 9 5900X ; Asus Prime X570-P ; 32 GB DDR4 3000 ; Gainward RTX 3060 ; MX500 500 GB, 4 TB + 6 TB HDD ; Dell G3223Q
Retro PC: Core i3-3250, Quadro 5000, 4 GB DDR3, X-Fi, WinXP + 7 x64; Pentium 4 3.06 @ 3.33 GHz, Voodoo5 5500 AGP, 512MB DDR, Audigy, Win98SE; VIA C3 1000, 512MB DDR, ESS Solo-1 + DreamBlaster X2 GS, Win98SE & DOS
Retro PC: Celeron 220, Voodoo4 4500 PCI, 512MB DDR2, Win98SE; 2× Pentium Pro 233/256, Voodoo Graphics, 1024MB EDO, AWE32 28MB (CT3980), Win98SE & DOS
Retro NTB: IBM ThinkPad 600, ThinkPad T20; Toshiba Satellite Pro 430CDT, 460CDT, Portege 3010CT
HW museum.cz - muzeum grafických karet a procesorů
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

Kdyby to byly vnější vlivy (něco vytížilo CPU) tak by ten skok byl vždy dolu a ne pak výstřel zase zpět nahoru.... Navíc na mojem systému, cože je I7 3820 s vypnutym HT když něco skokově vytíží 1 jádro CPU na 100% a hra sama nezpůsobuje více jak 75% CPU load, člověk ani ňáké razantní zpomalení či skok nepocejtí.

Nevim jestli to u Radeonů nemůže bejt chování driverů k CPU během chodu hry. CCC je pořád děsná bestia naprosgramovaná v net frameworku (proč proboha), už jen podle toho jak to trvá než se ta věc otevře člověk cejtí co je to zač. Control panel co sám o sobě zabírá stovky MB paměti... good job really. A v minulosti ještě za dob jednojádrových CPU bylo u CCC AI napsáno že když se nastaví na high může to někde zrychlit grafiku, ale bude to extra zátěž pro CPU. Takže pokud tam něco takového probíhá dodnes (analýze scény a použitejch shaderů během toho co putujou do GPU), ani bych se nedivil.
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od webwalker »

Myslím, že Wassonovi ani tak nešlo o výpočet nějaké hodnoty MS, ale pouze dopídit se k nějaké hodnotě (na bázi latence), která by se dala nějak dále snáze porovnávat.
To odstranění 1% nejhorších výsledků převzal z metodiky pro servery - může to být špatná úvaha, ale také nemusí. Často se také eliminují i ty výsledky nejlepší, aby se zamezilo náhodné chybě - u grafik by to bylo možná přínosné také, protože se tím eliminuje také jitter způsobený právě tím předchozím stutterem (hlavně u tripple bufferu).

Imho pokud byste chtěli vypočítávat nějaké konkrétní číslo pro MS, tak snad jedině počítat nějakou relativní odchylku od průměru, nevím.
Naposledy upravil(a) webwalker dne pon 17. pro 2012, 15:00, celkem upraveno 1 x.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

Odstraňování 1% nejhorších výsledků považuji za hovadinu. Testovací PC by měl bejt správně nakonfigoruvanej s čistym OS odpojenej od sítě a nezasviněnej aby se žádné vnější vlivy neprojevily. A v tu chvíli jestli nastane škub nastal, nedošlo k žádnému vnějšímu vlivu.
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od webwalker »

@DOC_ZENITH: Pokud by byl svět ideální tak ano, ale bohužel není :)
Nebo mi chceš tvrdit, že obdržíš dva identické výsledky z frapsu při dvou či více měřeních stejného místa?
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

Téměř / přibližně ano, rozhodně bych neměl nikdy obdržet pád dolu či stuter. Samo sebou vynecháme mizerné enginy které dloloadovávaj věci průběžně a druhej průlet maj pak lepší než první. Ihmo tohle by v Pc světě vůbec nemělo existovat, ale máš pravdu ,svět neni ideální.
Krteq
Čestný člen
Čestný člen
Registrován: 22. dub 2005
Bydliště: Brno

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od Krteq »

DOC_ZENITH píše:V současné situaci se na Nvidiích hraje lépe, maj menší stutering ( i na single GPU ) ,funguje tam mnohem lépe vynucování stavů vsyncu, maj driver-level implemented frame-limiter, a jde tam olvádat fronta pedbufferu čímž se dá ještě více zkrouhnout inputlag (neplatí pro SLI). Dá se defakto docílit tak nízkého lagu (pokud neni chyba v samotném Enginu hry), jako bejval kdysi pod Glide. Na Radeonech to bohužel nejde...
S tím nemůžu souhlasit.

Vše co jsi popsal samozřejmě jde, driver to podporuje, jen to není implementováno do, pro BFU vytvořeného, CCC (nebo naprosto příšerně/polofunkčně). Je pravdou, že nV je s možnostmi nastavení u CP mnohem dál (horší je to s UI), ale některé flagy si stejně musíte nastavit přes 3rd party utilitu (nVinspector) . U Radeonů jsou 3rd party utility pro power usera přímo nutností a díky nim lze nastavit na AMD kartách takřka vše co jsi popsal a funguje to bez problémů :)
DOC_ZENITH
Středně pokročilý
Středně pokročilý
Uživatelský avatar
Registrován: 08. kvě 2010
Bydliště: Praha

Re: Techreport - testování frametimes, ala skutečná plynulost.

Příspěvek od DOC_ZENITH »

A čim to nastavim? ATI tray tools už je dávno muzejní záležitostí, a RadeonPRO má mnoho možností, ale spousta z nich nefunguje. Nastavim tam toho dost ale bude se to opravdu v praxi tak chovat jak jsem to nastavil? ne. Pedbuffer nastavim na 1 či 0 a furt se to chová jako 3, to samé vsync. Všude force off, všude, global, ccc, prifil hry.... všude. Zapnu UT = Vsync ON.

To samé TRAA u pre HD7000 radeonů. Všude zapnuto = nic. Kdyby to fungovalo, tak jsem to neprohlásil, ale mam otestováno že ne.
Odpovědět

Zpět na „Grafické karty“