Bench Studio GPU 2015

Testování výkonu a stability PC, výsledkové listiny bechmarků.

Moderátor: Don

Odpovědět
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Bench Studio GPU 2015

Příspěvek od webwalker »

ObrázekBench Studio Gpu 2015

Po delší době bych tady chtěl rád představit svou novou aplikaci s názvem Bench Studio Gpu 2015, které sice navazuje na dřívější verzi 2014 Lite, ale svým rozsahem jde podstatně dále za její hranice. Původně jsem chtěl mít v provozu aplikace dvě, jednu takovou jednodušší pro "každého" (2014 Lite) a druhou pro profesionální použití recenzentů (2015).
Bohužel jsem si časem uvědomil, že není v mých silách na trhu sám úspěšněji spravovat více jak jednu aplikaci. Z tohoto důvodu byl vývoj verze 2014 Lite ukončen a zbylé usilí bylo věnováno pouze vývoji profesionální verze 2015, o které tedy budu psát dále.

Obrázek

Bench Studio svým zaměřením navazuje na předchozí produkty jako byl FrapsCut nebo FLACalculator, na kterých se mnozí z vás podíleli svými nápady a připomínkami. Jedná se tedy opět o aplikaci, pomocí které můžete analyzovat naměřené výsledky svých grafických karet, ale tentokrát nejen to.

Co tedy vlastně Bench Studio Gpu 2015 umí a dělá:

1. Veškeré výsledky měření jsou ukládány do privátní SQL databáze ve vašem PC
2. Komě této privátní databáze je na internetu umístěna ještě jedna veřejná databáze, pomocí které můžete své výsledky měření sdílet s dalšími uživateli. Aplikace pak provádí správu právě těchto sdílených testů.
3. Pomocí projektů můžete z naměřených výsledků opravdu rychle a jednoduše vytvářet souhrnné grafy profesionálního vzhled
u.

1. Databáze
Pokud jste sami někdy prováděli měření výkonu gpu v nějakém tom benchmarku, tak jste se určitě časem setkali s problémem, jak a kam historicky ukládat své výsledky měření. Ten kdo se u měření spokojí pouze s výsledkem snímkové frekvence má situaci jednodušší. Na ukládání dat může použít třeba Excel, ale i tak by si měl u těchto výsledků poznamenat nějaká metadata popisující podmínky měření jako je název a frekvence cpu, gpu, nastavení benchmarku atd.
Ten, kdo se u měření nespokojí pouze s výslednou snímkovou frekvencí, ale chce mít také přehled o průběhu frame times, variabilitě a stutteringu, musí navíc řešit problém, jakým způsobem uchovávat vytvořené log soubory se záznamem frame times. Neříkám, že by to nebylo možné řešit nějakým způsobem pomocí kombinace Excelu a stromového adresáře na disku pro soubory, ale umíte si představit třeba jen takové vyhledávání konkrétního výsledku měření v případě, že jich budete mít stovky nebo snad i tisíce?

Tento problém tedy řeší Bench Studio jako první. Všechny vaše výsledky měření (testy) jsou organizovány a ukládány do do relační databáze a to včetně příslušných log souborů se záznamem frame times. Vše tedy budete mít na jediném místě a hlavně vyhledávání konkrétního testu je pak velmi jednoduché a rychlé.

2. Sdílení
Pokud máme naše testy organizovány v databázi s pevně danou strukturou, není pak žádný problém se těmito testy pochlubit také ostatním. Pro sdílení vašich testů je na internetu vystavena ještě jedna veřejná databáze s názvem "Public Game Benchmarks", kde můžete své testy pomocí Bench Studia publikovat a sdílet.
Zdálo by se, že sdílení testů je spíše takovou "funny" featurkou aplikace, ve které si budete moci na dálku poměřovat své pindíky, což je samozřejmě také pravda, ale toto sdílení má i svou serióznější stránku.
Jednak si můžete porovnat dosažené výsledky v konkrétních testech ostatních uživatelů se svými a ujistit se, zda váše PC je nakonfigurované správně (podává obdobné výsledky) a za druhé (a možná i důležitější) můžete výsledky ostatních uživatelů využívat ve svých projektech (viz dále).

3. Projekty
Výsledným produktem Bench Studia je tvorba souhrnných grafů. Grafy se v aplikaci tvoří pomocí projektů. Projekt je vlastně místo, kde jsou uloženy veškeré informace potřebné ke tvorbě grafů. Na to, abychom úspěšně vyrenderovali grafy potřebujeme vědět, ze kterých dat a jaké typy grafů chceme vytvořit.
V projektu tedy aplikaci ukážeme, které testy mají grafy zobrazovat, které grafy na to mají být použity a v neposlední řadě také, jaký vzhled grafů požadujeme. Všechny tyto informace jsou uloženy právě v projektu.
Samotný projekt můžeme obsahovat libovolný počet testů a to jak z vlastní privátní databáze, tak také z databáze veřejné (testy provedené někým jiným). Dále máte na výběr do projektu přidat až 23 různých typů grafů, jejichž vzhled je určen pomocí uživatelsky definovaných šablon.

Tak, to byly na úvod jen stručně popsané rysy aplikace. Další a podrobnější info bude následovat. Pokud budete mít v průběhu těchto miničlánků nějaké dotazy, nápady či připomínky, piště je do tohoto vlákna nebo mě kontaktujte pomocí SZ.

PS: Aplikaci ke stažení zatím nedávám, protože tady potřebuji ještě objasnit pár důležitých věcí, bez jejich znalosti byste totiž v aplikaci zbytečně tápali. Budu se snažit vše dovysvětlit a aplikaci vám poskytnout ještě v průběhu tohoto týdne tak, abyste během vánočních svátků (budete-li se nudit) mohli vše vyzkoušet a testovat. :)
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Privátní databáze

Privátní databáze Bench Studia je databáze, která je určena výhradně pro vaše soukromé testy a je umístěna ve vašem PC. Nikdo jiný než vy do ní nemůže nic zapisovat.
Jako databázový stroj pro potřeby aplikace byl zvolen Microsoft SQL Server 2012. Tedy přesněji řečeno byla použita jeho odlehčenější verze LocalDB. Vypadá to sice na složitou administraci, ale opak je pravdou. Na rozdíl od plnohodnotného SQL Serveru (který běží na pozadí jako služba) nemusíte u LocalDB vůbec nic konfigurovat, ani provádět jakoukoli jeho správu, prostě žádný strach, ani o ní nebudete vědět :)

Struktura databáze
Dříve, než budete chtít ukládat testy do privátní databáze Bench Studia je třeba objasnit pár věcí.
Tabulka testů je relačně svázána a napojena na tabulku "Test scenes". Testovací scéna je jednoduše řečeno část (úsek) hry, ve které provádíte měření gpu, neboli také benchmark. Zkrátka, pokud chcete do databáze uložit nějaký test, musí v databázi již existovat záznam patřičné testovací scény, ke které bude daný test přiřazen.

Pro příklad nemusíme chodit nijak daleko, stačí se porozhlédnout na PCT fóru:

1. http://pctforum.tyden.cz/viewtopic.php? ... star+swarm
Tady Maltra vyhlásil benchmark Star Swarm v novém vláknu, napsal v jakém nastavení se bude testovat a ostatní uživatelé se do tohoto vlákna mohou připojit a zveřejnit tam své výsledky.

2. http://pctforum.tyden.cz/viewtopic.php? ... +benchmark
Tady zase Head vyhlásil benchmark Alien Isolation a ostatní se k němu mohou připojit

3. http://pctforum.tyden.cz/viewtopic.php? ... 5%99ehrada
Tady je to v bledě modrém od Ache pro Crysis3

Podstatou věci je to, že nejdříve někdo musí založit nové vlákno s daným tématem (benchmarkem), určit pravidla pro testovaní (nastavení rozlišení atd.) a teprve potom mohou přijít ostatní a zadávat do patřičného vlákna své výsledky. Pokud by tam někdo začal psát výsledky z jiných benchmarků, se zlou by se potázal a moderátoři by jeho příspěvky vyhodili.

Stejné je to také i v Bench Studiu, chcete-li do databáze přidávat výsledky svých testů například ze Star Swarm, musíte v databázi nejdříve založit nový záznam testovací scény s názvem "Star Swarm" a stanovit nastavení, ve kterém se bude testovat. Teprve pak můžete v databázi této testovací scéně přiřazovat své naměřené testy (tomu se říká relace).

Další věcí, na kterou je třeba upozornit je opravdu velké množství údajů, které záznam testu v databázi obsahuje a které je třeba vyplnit (téměř 50 položek). Záznam testu totiž obsahuje informace nejen o nastavení testovací scény (rozlišení, antialiasing...), ale také všechny informace o nastavení grafické karty (frekvence gpu, pamětí ...) a použité testovací sestavě (použité cpu, jeho frekvence...).

Obrázek

Manuální vyplňování všech těchto údajů pro každý jednotlivý test by bylo opravdu nepohodlné a proto databáze aplikace obsahuje ještě další pomocné databázové tabulky s názvy "GPUs" a "Test Systems". Jak je z názvů patrné, v první tabulce si můžete evidovat všechny vaše grafické karty a ve druhé zase záznamy testovacích sestav. Při vyplňování testů pak nemusíte pracně vyplňovat všechny údaje, ale stačí abyste pouze ukázali, která grafická karta a testovací sestava byla pro test použita a aplikace si sama doplní všechny ostatní informace z těchto tabulek. Samozřejmě i tyto automaticky vyplněné informace lze v záznam testu měnit.

Aplikace umožňuje ve své databázi evidovat dva typy testů.
a) Testy pořízené nástroji, které generují záznamy frame times v log souborech
b) Testy bez záznamů frame times, pouze s dosaženou výslednou snímkovou frekvencí

V případě testů založených na záznamu frame times je aplikace schopna si sama vypočítat průměrnou, minimální a maximální snímkovou frekvenci. Kromě výpočtu snímkové frekvence jsou aplikací počítány ještě další ukazatele plynulosti jako je variabilita, stuttering, percentile ...

Pokud budete pořizovat testy, které nejsou založeny na záznamech frame times, aplikace samozřejmě nemůže počítat nic a výsledné hodnoty snímkové frekvence musíte zadat ručně. Stejně tak není možné z tohoto typu testu zjistit žádné ukazatele plynulosti renderingu a přicházíte tak mnoho informací.

Budete-li mít možnost volby, samozřejmě lepší možností je používání záznamů frame times, protože získáte mnoho dalších informací z průběhu testů.

Bench Studio v současné době disponuje importem log souborů z následujících nástrojů, které vytvářejí záznamy frame times:

FRAPS
FCAT
Battlefield 4 (in-game)
Star Swarm Demo (in-game)
Civilization Beyond Earth (in-game)
RadeonPro


To by bylo k organizaci a struktuře privátní databáze asi tak všechno. Jak vidíte nic složitého v tom není, jen je třeba si zapamatovat že:

1. Testy do databáze můžete vkládat pouze v tom případě, když již v databázi existuje záznam příslušné testovací scény.
2. Vyplněním databázových tabulek "GPUs" a "Test Systems" si usnadníte a zkrátíte práci při následném vyplňování záznamů testů.
3. Je výhodnější pořizovat záznamy testů pomocí log souborů s frame times, protože získáte o průběhu testu mnohem více informací

Příště ještě ukážu nějaké důležité informace o veřejné databázi a o tom jak vaše testy sdílet s ostatními uživateli. Tím bych ukončil tuto suchou teorii a zpřístupnil bych Bench Studio ke stažení, abyste si mohli vše vyzkoušet na vlastní kůži.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Veřejná databáze

Všechny záznamy testů, které jste vytvořili jsou ukládány do databáze ve vašem PC. Jak již bylo řečeno, v této privátní databázi jsou umístěna vaše soukromá data - testovací scény, testovací sestavy, grafické karty a nakonec i vaše testy.

Kromě vaší privátní databáze, je na internetu založena ještě jedna veřejná databáze, která je přístupná všem uživatelům Bench Studia a do které můžete také přispívat svými testy.
Veškerá infrastruktura kolem aplikace vypadá následovně:

Obrázek

Jak můžete vidět, samotná aplikace instalovaná ve vešem PC tvoří jen část celého ekosystému kolem Bench Studia. Zbylé komponenty, zejména webové služby a veřejná databáze jsou umístěny kdesi na serveru připojeného na Internet :)

Přístup ka datům uloženým ve veřejné databázi je pak umožněn pomocí webového prohlížeče na prozatimní adrese:
http://webwalkers.cz/webwalkerslab/Scenes.aspx
Obrázek

kde si data (testovací scény a samotné testy) můžete pouze prohlížet.

nebo

přímo pomocí aplikace Bench Studio

Obrázek

kde si data veřejné databáze můžete nejen prohlížet, ale také do ní zapisovat. Aplikace se pak stará o správu těchto sdílených dat. Pokud budete v aplikaci pracovat s daty veřejné databáze, pro lepší přehled pracovní okno změní svou barvu na zelenou.

Prostřednictvím veřejné databáze se tedy můžete jednak pochlubit svými výsledky ostatním uživatelům, ale hlavním a primárním účelem veřejné databáze je to, že ve svých projektech, které budete později vytvářet, budete moci zahrnout i výsledky ostatních uživatelů a samozřejmě ostatní uživatelé budou moci využívat výsledky testů vašich.

Publikovat nebudete moci všechny vaše testy, ale budete se moci účastnit pouze veřejně vyhlášených benchmarků (testovacích scén), které jsou publikovány ve veřejné databázi a mají pevně stanovena pravidla. Nové veřejné testovací scény nebudou vyhlašovány autoritativním způsobem, ale na základě vašich přání a podnětů.
Pokud se vám nějaká vaše privátní testovací scéna líbí natolik, že byste se o ní chtěli podělit s ostatními, stačí poslat žádost o její publikování přímo z rozhraní Bench Studia, no a pak se uvidí :)

Samotný proces publikování testu do veřejné databáze z rozhraní Bench Studia je velmi jednoduchý. Nejdříve vytvoříte novou testovací scénu tak, že si ji importujete z veřejné databáze. Provedete měření a záznamy těchto testů přidáte do své privátní databáze k této testovací scéně. Ve správci testů pak můžete zadat příkaz "Publish", který překopíruje tento záznam testu z privátní databáze do veřejné. Pokud na záznamu testu budete v průběhu času něco měnit, je možné pomocí příkazu "Republish" tyto změny do veřejné databáze převést a aktualizovat.
Stejným způsobem můžete také sdílení zrušit pomocí příkazu "Remove Publishing".

PS: Myslím, že na úvod by to už mohlo stačit, takže příště už tu budou nějaké ukázky a návod na instalaci a aktivaci Bench Studia.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Instalace aplikace

Ačkoliv se aplikace poměrně hodně rozrostla a instalační balíček nyní nakynul na nějakých komprimovaných 68MB, velikost samotné aplikace je jen cca 1.7MB plus nějaké ty knihovny k tomu. V instalátoru nejvíc zabírají instalační balíčky SQL Serveru (LocalDB) pro 32b i 64b verzi operačního systému (to jen tak na úvod).

Instalační balíček aplikace Bench Studia Gpu si můžete stáhnout ZDE:
Systémové požadavky: Windows Vista, Windows 7, Windows 8 a Windows 8.1 s nainstalovaným NET Framework 4.5 (vše 32 nebo 64 bit)

Samotný instalátor je zkomprimován v RAR souboru, takže před samotnou instalací je dobré si ho rozpakovat do libovolného adresáře (není to ale podmínkou) a následně ho spustit pomocí souboru setup.exe.
Instalátor prohlédne váš počítač a zjistí zda je nutné nejdříve instalovat SQL Server a v jaké verzi. Pokud bude potřeba, navrhne vám instalaci patřičné verze SQL Serveru, pokud ne, bude spuštěna instalace Bench Studia.
setup1.png
Toliko k samotné instalaci. Pokud se vše zdařilo měli byste mít ve svém PC aplikaci řádně naistalovanou. Je ale potřeba zdůraznit, že Bench Studio bude není fungovat v režimu Trial verze, které má tato omezení:

1. V databázi můžete evidovat nejvíce 2 záznamy gpu
2. V databázi můžete evidovat nejvíce 2 testovací scény
3. V databázi můžete evidovat nejvíce 10 testů
4. Nemáte oprávnění k publikování svých testů
5. Projekt může obsahovat nejvíce 2 testy
6. Při exportu grafů nemůžete měnit velikost (rozlišení grafů)
7. Do exportovaných grafů je "vypáleno" http://www.webwalkers.cz

Abyste vyhnuli těmto omezením a mohli vyžívat plně funkční aplikaci, musíte se nejdříve zaregistrovat!
Webové stránky pro registraci jsou umístěné ZDE, nebo jsou dostupné přímo v aplikaci pomocí hlavního menu HELP -> About Bench Studio -> tlačítko Buy.

Na "Login" web stránce klikněte na odkaz "Create new account" a následně vyplňte následující položky:

User e-mail: Vaše emailová adresa (na tento email vám bude zaslán licenční klíč, tak vyplňte poctivě!)
Password: Zvolte si nějaké heslo. Toto heslo budete potřebovat nejen pro přístup ke svému účtu, ale také při publikování testů.
Password check: Heslo opiště pro kontrolu správnosti
User name: Vaše jméno. Samozřejmě nemusíte vyplňovat vaše pravé jméno (nechcete-li), stačí váš nick. Toto jméno se bude objevovat jako podpis vašich publikovaných testů a nejde už později změnit.
Country: Země vašeho původu

Kliknutím na tlačítko "Sign up" provedete registraci a na váš email budou zaslány přihlašovací údaje.
Zároveň budete přesměrováni na stránku s informacemi o vašem účtu. Na této stránce můžete ještě vyplnit některé dodatečné informace o vás jako:

User activity: Vaše aktivity jako Gpu tester, recenzent atd.
User website: Adresa vašich webových stránek (máte-li nějaké)

V tuto chvíli je pro vás důležité tlačítko "Two months free for beta testers" u popisku "Special offer". Kliknutím na toto tlačítko vám na váš email budou zaslány pokyny pro aktivaci produktu včetně licenčního klíče s informací jak a kde produkt v aplikaci aktivovat.
Aplikaci aktivujete přes hlavní menu HELP -> About Bench Studio -> tlačítko "Activate" a následným vyplněním položek pro aktivaci informacemi, které vám byly zaslány. Aplikace se restartuje a vy ji můžete plně používat :)

PS: Instalace je otestována na WIndows 7 a Windows 8.1. Pokud budete mít s instalací nějaký problém, popište ho tady nebo mi pošlete SZ. Můžete mě kontaktovat také na Twitter nebo pomocí Feedback přímo z Bench Studia.
Příště tedy budeme zakládat do databáze první testy :)
Nemáte oprávnění prohlížet přiložené soubory.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Pracujeme s privátní databází

Po troše teorie a instalaci aplikace můžeme konečně přistoupit k práci. Po instalaci aplikace máte samozřejmě vaší privátní databázi prázdnou a tak s tím něco provedeme :)

Pro začátek je dobré uložit si všechno, co si uložit můžeme a co nám aplikace povolí. Nejlépe tedy záznam vaší testovací sestavy a záznamy grafických karet, které máte k dospizici a které budete chtít později testovat. Pro zobrazení jednotlivých tabulek databáze používáme "Database tools" tlačítka, které jsou umístěna na hlavní nástrojové liště aplikace:

Obrázek

Pokud na některé tlačítko kliknete, zobrazí se vám pro každou databázovou tabulku okno patřičného správce záznamů. Veškeré databázové tabulky jsou v aplikaci spravovány pomocí správce záznamů, které mají jednotný vzhled a funkčnost.

Obrázek

Správci záznamů zobrazují data uložená v databázi (privátní i veřejné) a pomocí těchto správců můžete do databáze také nové záznamy vkládat, existující upravovat nebo odstraňovat. Panel nástrojů každého správce záznamů je rozdělen do tří skupin:

Navigation buttons - pomocí těchto tlačítek se můžete pohybovat v seznamu databázových záznamů.
Action buttons - pomocí těchto tlačítek můžete nové záznamy do databáze vkládat, upravovat nebo z databáze odstraňovat. Můžou zde být umístěna i speciální tlačítka, která jsou platná pouze pro konkrétní databázovou tabulku.
Records filtering - pomocí těchto nástrojů můžete zadávat parametry pro zobrazení záznamů. Pokud nechcete, aby tabulka správce záznamů zobrazovala všechny, ale pouze vámi požadované záznamy, vyplňte patřičné parametry a výběr potvrďte.

Kromě filtrování záznamů správce umožňuje také jejich řazení (vzestupně i sestupně). To je realizováno pomocí kliknutí myši na hlavičku patřičného sloupce tabulky záznamů.

Protože je vždy lepší něco názorně ukázat, nežli to sáhodlouze vysvětlovat, připravil jsem následující video, které ukazuje, jak do prázdné privátní databáze přidat vaš první testovací systém, grafickou kartu, testovací scénu a naposledy také nějaké ty první záznamy testů.

https://www.youtube.com/watch?v=1z6vX1TNDcg

Příště tady ukážu, jak správně publikovat vaše testy do veřejné databáze a následovat budou konečně projekty a vytváření pohledných grafů :)
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Takže trochu jsem se zasekl, za co se omlouvám a hlavně přeju všem do Nového roku všechno NEJ :)

Pracujeme s veřejnou databází

Předně je třeba říci, že tuto funkci BenchStudia (sdílení výsledků testů) nechcete-li, nemusíte vůbec používat. Záleží pouze na vás, zda se budete chtít účastnit veřejně vyhlášených benchmarků nebo ne. Pokud ano, pak by bylo dobré si tento článek přečíst.

Na rozdíl od privátní databáze, kde můžete vkládat, editovat a mazat záznamy vašich testů přímo v databázi, jsou u veřejné databáze tyto úlohy prováděny nepřímo - pomocí publikování.
Proces publikování není tedy nic jiného, nežli kopírování existujících záznamů testů z privátní databáze do databáze veřejné. Veškeré úlohy publikování (Publish, Republish a Remove Publishing) jsou realizovány přímo ve správci záznamů privátních testů.

Následující video ukazuje, jak importovat veřejně vyhlášenou testovací scénu z veřejné databáze do privátní a následně k ní přiřadit několik vlastních testů. Tyto testy pak budou publikovány.

https://www.youtube.com/watch?v=j33NlrMdEBU

Jak vidíte celý proces publikování je velice jednoduchý a dá se shrnout de několika kroků:
1. Importujete si záznam testovací scény z veřejné databáze (benchmark, který chcete testovat)
2. Provedete vlastní testy
3. Výsledky testů založíte do své privátní databáze k dané testovací scéně
4. Hotové záznamy testů pomocí příkazu "Publish" publikujete ve veřejné databázi

Poznámka:
Pokud budete chtít své testy publikovat mějte na paměti jedno. Ne všechny testy mají pro ostastní uživate stejnou užitnou hodnotu. Nejcennější výsledky jsou vždy takové, které byly testovány na defaultních hodnotách a to jak gpu, tak také cpu. Neříkám, že nemůžete publikovat i výsledky založené na OC hodnotách, jen chci říci, že takové výsledky mohou být pro ostatní méně hodnotné. Nejlepším řešením by pak mohlo být publikování výsledků dvou, jednoho měření na defaultních hodnotách a druhého měření na OC hodnotách.

Abyste mohli publikovat své výsledky ve veřejné databázi, je nutné splnit několik podmínek.

1. Musíte se řádně zaregistrovat na http://webwalkers.cz/webwalkerslab/LogIn.aspx
2. Aplikace BenchStudio musí být Aktivovaná (Trial verze neumožňuje sdílení testů)

Registrace uživatelů i samotná aktivace je pro beta tetstery zdarma!!!
Pokud se zaregistrujete, můžete si pak ze stránek svého uživatelského účtu nechat zaslat licenční klíč, pomocí kterého aktivujete aplikaci BenchStudio.
account.jpg
Tak, to by bylo asi tak vše o databázích, které máte k dispozici s aplikací BenchStudio. Pokud bych mohl krátce rekapitulovat, tak hlavním úkolem databáze je, abyste měli jedno jediné a chytré úložiště pro všechny vaše testy, které je organizované tak, abyste nemuseli nikde nic pracně vyhledávat až je časem budete potřebovat. Samotné ukládání testů do databáze není opravdu nic složitého, ale to poznáte až si jich tam sami pár uložíte.

Příště tedy tu už budu řešit projekty a tvorbu grafů a možná budete překvapeni, jak rychle lze souhrnné a dobře vypadající grafy v BenchStudiu vytvořit :)
Nemáte oprávnění prohlížet přiložené soubory.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Projekty

Obě databáze (jak privátní tak i veřejná) slouží jako backend aplikace Bench Studio k ukládání naměřených výsledků testů. Můžete do nich ukládát svá měření historicky během času. SQL Server v naistalované verzi LocalDB umožňuje pracovat s velikostí databáze až 10GB, což představuje (dle mých testů) zhruba 50-100 tisíc záznamů o vašich měření podle toho, jak veliké jsou vaše záznamy frame times (ty zabírají nejvíce místa v DB). Ukládat si tedy můžete opravdu všechna možná i nemožná měření a kapacitu DB těžko někdy překročíte. Ukládání testů do DB je sice "killer feature" aplikace nicméně tím nejhlavnějším cílem a finálním produktem Bench Studia není samotné ukládání testů, ale analýza naměřených dat a tvorba prezentačních grafů. A právě tato tvorba prezentace je aplikací realizována pomocí projektů.

Podobně třeba jako v aplikaci Word, kde tvoříte a následně ukládáte dokument obsahující samotný text, informace o použitých fontech, barvách, obrázcích atd., tak také v Bench Studiu vytváříte obdobný dokument (projekt), který obsahuje všechny informace potřebné k vytvoření grafů.

Projekt je tedy soubor (ve formátu xml), uložený ve vašem PC, obsahující veškeré informace, které aplikace potřebuje k vyrenderování prezentačních grafů. Těmito informacemi jsou zejména:

1. Testy - data, která budou grafy obsahovat
2. Grafy - grafy, které chcete v projektu použít
3. Vzhled - jaký budou mít grafy finální vzhled

Stručně řečeno, postup při práci s projektem je zhruba následující:

1. Vytvoříme nový projekt
2. Do vytvořeného projektu z databáze vybereme požadované záznamy testů
3. Zvolíme, jaké typy grafů budeme v projektu využívat
4. Nastavíme vzhled grafů
5. Pomocí tlačítka Export, grafy vyrenderujeme do obrázků v požadovaném formátu a rozlišení

Vytvoření nového projektu
Nový projekt založíme podobně jako v jiných aplikací, tedy kliknutím na tlačítko Nový projekt na hlavním panelu.

Bude zobrazeno následující okno:
Obrázek

Nové projekty se všemi soubory jsou ukládány do adresáře Dokumety/MyBenchProject (pokud to nezměníme). Za povšimnutí stojí položka "Base on scene", která určuje, na které testovací scéně je projekt založen. Pokud tuto položku nastavíte na konkrétní testovací scénu, budou vám při přidávání testů do projektu také automaticky nabízeny testy právě této konkrétní scény.

Pokud vše vyplníte a kliknete na tlačítko OK, bude vytvořen nový projekt a vzhled aplikace se poněkud pozmění.
Obrázek

V uživatelském rozhraní aplikace přibyla tři nová okna, která jsou nezbytná pro práci s projektem.

Solution Explorer - okno pro správu projektu a testů
Chart Explorer - okno pro správu grafů
Property Window - okno pro nastavování všech vlastností

SOLUTION EXPLORER
Pomocí Solution exploreru spravujete projekt a jednotlivé testy, které jste do něj přidali. S jeho pomocí můžete testy do projektu přidávat nebo z projektu odstraňovat, otevírat nebo je přejmenovávat. Vybráním projektu nebo testu v Solution exploreru můžete také za pomoci okna Property window nastavovat jejich vlastnosti.
Obrázek

New test - přidá do projektu test
Open test - otevře vybraný test v novém okně dokumentu
Delete test - odstraní vybraný test z projektu
Rename - přejmenuje název projektu nebo testu
Property window - aktivuje okno vlastností
Project - aktuální projekt
Tests - seznam testů v projektu

CHART EXPLORER
Chart explorer provádí správu grafů v projektu. S jeho pomocí můřete grafy do projektu přidávat nebo z projektu odstraňovat. Chart explorer umožňuje také natažení globálních šablon do projektu, nebo také jejich ukládání z projektu do globálních šablon (o tom však příště).
Obrázek

Add charts - přidá jeden nebo více grafů do projektu
Open chart - otevře vybraný graf pro editaci v novém okně dokumentu
Delete chart - odstraní vybraný graf z projektu
Propery window - aktivuje okno vlastností
Chart templates - natahuje nebo ukládá globální šablony grafů
Charts - seznam testů v projektu

EXPORT GRAFŮ
Finálním krokem projektu je export vytvořených grafů. Grafy jsou exportovány ve volitelných obrázkových formátech a rozlišeních do adresáře Export, který je umístěn v adresáři projektu.

Podporované obrázkové formáty pro export jsou Bmp, Gif, Jpeg, Png, Tiff a Wmf.

Obrázek

Export lze spustit pomocí tlačítka na hlavním panelu nástrojů aplikace. Zvolit můžete mezi rychlým exportem, který bere parametry exportu (obrázkový formát a rozlišení) z nastavení aplikace. Nebo můžete spustit export s dialogovým oknem, kde si sami určíte obrázkové formáty a rozlišení pro export grafů.
Obrázek

Po ukončení exportu je aplikací vytvořena a zobrazena jednoduchá webová stránka, která obsahuje všechny exportované grafy i s popisky. Tato stránka je zobrazena ve výchozím webovém prohlížeči vaše počítače.

Práce s projektem je opravdu velice snadná a rychlá. Zvládne ji prakticky každý, kdo má alespoň nějaké základní zkušenosti s PC. Vytvoření grafů je pak záležitostí pár minut, a když říkám pár, nemyslím tím desítek, ale jednotek minut. Ti zkušenější projekt i samotné grafy vytvoří klidně do jedné minuty :)

Protože jedna názorná ukázka je lepší jak 1000 slov, připravil jsem asi 4 minutové video, které názorně ukazuje, jak založit nový projekt, přidat do něj testy a grafy, a následně grafy vyrenderovat do obrázků.

https://www.youtube.com/watch?v=G4rmKw3DKIQ

Pokud jste video shlédli až do konce, určitě se vám vzhled vyrenderovaných grafů moc nelíbil :(
To je tím, že pro grafy byl použit jejich základní vzhled. Vzhled všech grafů lze ale uživatelsky měnit pomocí nastavení jejich vlastností a šablon tak, aby vypadaly mnohem lépe
ukazka.jpg
ale o tom zase příště :)
Nemáte oprávnění prohlížet přiložené soubory.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Práce se šablonami grafů

Pokud vytvoříte nový projekt a přidáte do něj nový graf, pak vzhled tohoto grafu je založen na základní šabloně. Základní vzhled grafu není samozřejmě to, co byste pro svou práci potřebovali a čím byste se chtěli nějak chlubit.
ResultFrameRateChart.Png
Vzhled každého grafu můžete měnit pomocí šablon. Na změnu vzhledu grafů můžete použít globální šablony, které byly nainstalovány společně s aplikací (nebo staženy z internetu), nebo si definovat své vlastní uživatelské šablony, které si následně můžete uložit do šablon globálních.

GLOBÁLNÍ ŠABLONY
Nejjednodušším způsobem změny vzhledu grafu je použití globálních šablon. Jak již bylo řečeno, globální šablony jsou šablony, které byly do vašeho PC nainstalovány společně s aplikací, nebo jste si je stáhli z internetu či vytvořili sami. V každém případě jsou tyto globální šablony uloženy mimo adresář projektu, ale můžou být do každého projektu lehce překopírovány a ihned použity.

Natažení těchto globálních šablon do projektu je realizováno pomocí okna "Chart explorer", tlačítkem "Templates -> Load Global Template". V následném okně můžeme vybrat ze všech globálních šablon, které máte v PC nainstalované.

Obrázek

Zvolíme-li některou z nabízených šablon, příslušná globální šablona bude překopírována do adresáře projektu (podadresář Templates) a vzhled grafů bude okamžitě změněn podle této šablony.

UŽIVATELSKY DEFINOVANÉ ŠABLONY
Pokud vám nevyhovuje ani vzhled grafů založený na globálních šablonách, nezbývá nic jiného, než si vytvořit šablonu vlastní dle vašeho vkusu a potřeb. Vytvoření šablony nové, nebo úprava stávající šablony je prováděna přímo v okně grafu za pomocí nástrojů pro editaci šablony.

Obrázek

Edit template - odemyká nástroje pro editaci šablony
Copy appearance - kopíruje vlastnosti vzhledu stávajícího grafu do schránky
Paste appearance - vloží vlastnosti vzhledu do stávajícího grafu ze schránky
Save template - uloží šablonu grafu
Delete template - odstraní šablonu grafu
Refresh - aktualizuje graf

Po odemčení editace šablony na panelu nástrojů grafu můžeme pomocí změn vlastností v "Property window" upravovat vhled grafu. Pomocí funkcí "Copy appearance" a "Paste appearance" můžeme také přenášet celkový vzhled jednoho grafu do grafů ostatních.

Grafy jako takové jsou vlastně tvořeny objekty (tituly, legendy, osy ...), jejichž vzhled lze měnit samostatně pomocí nastavení jejich vlastností. Souhrn změn vzhledu na těchto objektech pak určuje výsledný vzhled celého grafu.

Objekty, ze kterých je vlastní graf tvořen a jejichž vzhled může být upravován, zobrazuje následující obrázek:
Obrázek

Úpravy vzhledu grafu jsou opravdu jednoduché a protože je u objektů (které graf tvoří) přítomno opravdu velké množství nastavitelných vlastností, jsou celkové možnosti změny vzhledu grafu poměrně rozsáhlé.

Opět, jedna názorná ukázka vydá za tisíc slov. Následující video ukazuje, jak pracovat s globální šablonou a jak si vytvořit šablonu vlastní.

https://www.youtube.com/watch?v=ZTHbGSiQGnY#t=13

Příště ještě ukážu nastavování textů v titulech a legendách grafů a tím by měl být tento mini-tutoriál o Bench Studiu ukončen.
Nemáte oprávnění prohlížet přiložené soubory.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Texty v titulech a legendách grafu

Posledním krokem při generování grafů v Bench Studiu, je nastavení textů v titulech a legendách, a nakonec také nastavení samotných barev gpu, které jsou v grafu zobrazeny. To se provádí pomocí nastavení vlastností projektu a testů, jedná se o následující položky:

Titulek grafu - hlavní titulek (Title1) a 2 další volitelné tituly (Title2 a Title3)
Barvy grafů - barvy jednotlivých grafických karet v grafech
Text v legendě - text názvů grafických karet v legendě grafu

Zatímco texty v titulech grafů jsou nastavovány ve vlastnostech projektu, barvy a texty v legendách jsou nastavovány ve vlastnostech jednotlivých testů (viz obrázek).

Obrázek

Poznámka:
Graf tedy obsahuje celkem tři tituly, jejichž text se dá nastavit ve vlastnostech projektu. Ačkoliv jejich text je libovolný a záleží pouze na vás co v nich uvedete, doporučuji je používat následovně:

Title1 - hlavní titulek grafu (vetšinou název testovací scény)
Title2 - informace o nastavení testovací scény (rozlišení, antialiasing, filtering ...)
Title3 - informace o testovacím systému (Cpu, RAM, OS, ...)

Vše je tedy opět velice jednoduché a intuitivní. Pro jistotu jsem ale opět připravil krátké video, jak tyto textové položky v grafu správně nastavovat:

https://www.youtube.com/watch?v=9nw_PCJ3gjw#t=72

To by mělo být vše. Příště již budou následovat praktické ukázky práce v Bench Studiu.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Takže po delším čase a po aféře VRAMGATE jsem tu zpět již s praktickými ukázkami práce v Bench Studiu.

Připravil jsem pro vás následující krátké mluvené video, které ukazuje, jak v aplikaci Bench Studio přidat nový záznam testu do databáze a nějaké ty řeči okolo.
Jedná se o "ostré" měření GTX980 na novém driveru (347.25) v Monster Hunter Benchmark. A jak nový driver dopadl v souboji se starým (347.09)?
Však uvidíte, nic nečekaného :)

Prosím omluvte sníženou kvalitu zvuku, mikrofon je už staroušek a jiného nyní nemám :sad:

https://www.youtube.com/watch?v=l1KwjC9hSAI&feature=youtu.be

PS: Příště bude praktická ukázka, jak z tohoto měření udělat grafy,
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Po včerejším ukázkovém videu, kde jsme zadávali nový test do databáze Bench Studia, dnes následuje další video, ve kterém si z pořízených testů vytvoříme nějaké grafy. A dost možná budete překvapeni, jak lehce by vytvořen tento graf:
ResultRateMaxAvgMinChart.Png
Namluvené video (i přes neustálé potíže s mikrofonem) je umístěno zde:

https://www.youtube.com/watch?v=HJpbNx4JTng&feature=youtu.be
Nemáte oprávnění prohlížet přiložené soubory.
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
webwalker
Začátečník
Začátečník
Uživatelský avatar
Registrován: 03. úno 2010
Bydliště: Buranov vedle Prahy

Re: Bench Studio GPU 2015

Příspěvek od webwalker »

Po delší době jsem rozhodl zveřejnit zase nějaké další informace z nové a neveřejné verze Bench Studia, aneb, jak se jednoduše dají dělají grafy při sloučení dat z FRAPS a AfterBurner.

1. díl - pořizování dat FRAPS a AfterBurner
https://www.youtube.com/watch?v=Z5uTVISxhvE

2. díl - sloučení dat FRAPS a AfterBurner + vytvoření jednoduchého projektu s grafy
https://www.youtube.com/watch?v=xhPMQgXtrSI
Chtěl bych se stát profesionálním pískačem. Už teď jsem v tom sice hvězda, ale chtěl bych se ještě zdokonalit a začít se tím živit.
GPUreport.cz
Odpovědět

Zpět na „Benchmarky a diagnostické programy“