Arriva il 3DMark 11, ma sono davvero utili i benchmark sintetici?

Come molti di voi, anche io ho letto su HWFiles la news che riporta i video e le immagini del 3DMark 11, la nuova versione del famigerano benchmark di Futuremark.

Come spesso accade, non ho fatto a meno di leggere alcuni dei commenti dei lettori e, leggendoli, mi sono reso conto che a grandi linee i tipo di osservazione che viene effettuata è quasi sempre lo stessa: c’è chi lamenta che l’ultima versione delle DirectX vengono utilizzate solo dai benchmark, chi si chiede se funzionerà con le schede video compatibili con le precedenti versioni delle DirectX, ecc…

Quando, tuttavia, si discute su un benchmark, uno dei dubbi che attanaglia la maggioranza degli appassionati è il seguente: ma sono davvero utili i benchmark sintetici? In altre parole, quanto il punteggio che mostra il 3DMark è indicativo delle performance di una scheda video con i videogame?

Essendomi occupato per tre anni di recensioni di schede video, oggi ho deciso di riportarvi ciò che ho compreso nel corso degli anni in cui mi sono avvalso di questi strumenti.

Partiamo subito da un concetto basilare: l’elaborazione della grafica tridimensionale di un gioco è composta da molteplici tipologie di calcolo ed ogni tipologia può incontrare il favore e lo sfavore dell’architettura di una GPU dipendentemente da come quest’ultima è strutturata.

Quanto appena detto vi avrà fatto intuire che il lavoro che tenta di fare un’azienda come Futuremark è estremamente complesso perché si tratta di stimare e tentare di prevedere quali saranno le tecniche di elaborazione grafica principalmente adottate dagli sviluppatori di videogame in un dato periodo di tempo (quello nel quale il benchmark può considerarsi al passo con i tempi). Fatta questa assunzione, sviluppano la nuova versione del 3DMark adottando queste tecniche di rendering e, il risultato, è un benchmark che presume di utilizzare un motore grafico simile a quelli dei videogame.

E’ evidente che, per quanto questo processo possa essere accurato, esistono dei margini di errore. In linea di principio penso di poter affermare che i ragazzi di Futuremark hanno quasi sempre saputo ben interpretare le tecniche di rendering che sarebbero state usate nel periodo di tempo di validità del loro 3DMark: un esempio è rappresentato dal 3DMark 2003 che faceva uso in alcune scene di stencil shadows, tecnica particolarmente in voga all’epoca per la generazione dinamica delle ombre (Doom 3 in primis ne faceva uso).

Il problema, tuttavia, è che nonostante tutto, i motori grafici dei videogiochi risulteranno essere sempre e comunque molto più eterogenei della batteria di test proposta dal 3DMark e, pertanto, nonostante gli sforzi profusi da Futuremark, il loro punteggio potrà sempre e solo essere un fugace punto di riferimento nella valutazione di una scheda video.

Gli unici test in grado di affermare la bontà dell’architettura di una GPU sono i giochi stessi che dovrà far girare, dove con questo intendo dire che una scheda video deve confrontarsi esclusivamente rispetto ai titoli del suo tempo. Quante volte ho visto ragazzi che hanno scelto una scheda video piuttosto che un’altra perché secondo loro sarebbe stata meglio in prospettiva futura. Volete sapere come è andata a finire? Nella maggioranza dei casi, quando il futuro è arrivato, il prodotto prescelto risultava essere deludente (soprattutto rispetto alle aspettative che un enthusiast di solito ha: impostazioni grafiche tutte a palla) e naturalmente nel frattempo erano uscite altre schede video dall’architettura ben più adatta e con risultati molto più soddisfacenti.

Qualcuno potrebbe pensare che anche le specifiche ottimizzazioni effettuate nei driver delle schede video per i vari 3DMark contribuiscano a renderne il punteggio poco affidabile, ma al riguardo vi disilludo subito: il lavoro di ottimizzazione fatto per i benchmark, non è differente da quello che è implementato a livello di singolo videogioco e non è un caso che spesso nelle release note dei driver trovate nell’elenco dei performance improvements, pochi specifici titoli che ottengono un incremento delle prestazioni in alcune situazioni. Se le ottimizzazioni fossero generali, dovrebbero avere uno spettro d’azione ben più ampio, ma non è quasi mai così anche perché immagino che non sia facile raggiungere simili risultati.

Personalmente ho sempre utilizzato benchmark sintetici come il 3DMark nelle mie recensioni, ma solo per valutare alcuni specifici aspetti più basso livello di una scheda video come, ad esempio, il fill rate in single e multitexturing, il numero di poligoni generati al secondo o l’elaborazione di alcuni particolati vertex e pixel shader. Queste valutazioni sono utili per comprendere come funziona l’architettura di una GPU e per fare alcune stime della sua efficienza rispetto alla concorrenza, ma per misurare le prestazioni di una scheda video e capire quanto sia valida ho sempre usato e consiglio di utilizzare semplicemente i giochi.

Press ESC to close