rek
rek
28.03.2013
Często komentowane 36 Komentarze

Do przegadania: Naukowcy rozpracowali model Metacritica. Są duże dysproporcje w „wadze” ocen. Słusznie?

Do przegadania: Naukowcy rozpracowali model Metacritica. Są duże dysproporcje w „wadze” ocen. Słusznie?
Serwis Metacritic to najbardziej znany serwis wyliczający średnią ocen na podstawie zgromadzonych w bazie recenzji. Portal korzysta z algorytmu, który pozostaje tajemnicą, jednak naukowcy z amerykańskiej uczelni Full Sail University twierdzą, że udało im się go odkryć. Z ich badań wynika, że w zastosowanym modelu noty poszczególnych serwisów mają wyraźnie różną wagę. Czy tak powinno być? Do przegadania!

Naukowcy pod kierownictwem Adamsa Greenwooda-Ericksena twierdzą, że skrypt serwisu Metacritic odpowiedzialny za obliczanie średnich ocen w wyraźnie większym stopniu uwzględnia noty od serwisów takich jak IGN czy Game Informer, a w znacznie mniejszym od portali pokroju 9Lives lub GamerNode.

Opracowany przez ekipę Greenwooda-Ericksena model teoretyczny był sprawdzany przez pół roku i sprawdził się niemal we wszystkich przypadkach. Oczywiście dysproporcje w „wadze” ocen przyznawanych przez różne portale nie są żadna nowością. Problem w tym, że zdaniem naukowców są one zbyt duże.

Z opiniami Greenwooda-Ericksena i jego zespołu nie zgadzają się przedstawiciele Metacritic. Tak piszą na facebookowym profilu strony:

Ich domysły […] są całkowicie nieprawdziwe. Korzystamy ze znacznie większej ilości czynników niż te podane w ich artykule. Dysproporcja pomiędzy poszczególnymi warstwami [ważkością ocen] jest znacznie u nich większa niż w rzeczywistości.

Pytanie tylko czy przy obliczaniu średniej rzeczywiście powinny być jakiekolwiek różnice w „wadze” poszczególnych składowych not? Przez taki zabieg ostateczna ocena może być mocno skrzywiona i nie oddawać rzeczywistości. Bo dlaczego recenzja profesjonalnego, ale małego serwisu ma mieć mniejsze znaczenie od werdyktu wielkiego portalu pokroju IGN?

Poniżej znajdziecie listę serwisów, których noty – według naukowców – w największym i najmniejszym stopniu wpływają na finalną średnią.

Najwyższy wpływ:

  • Dark Zero
  • Digital Chumps
  • Digital Entertainment News
  • Extreme Gamer
  • Firing Squad
  • Game Almighty
  • Game Informer
  • GamePro
  • Gamers Europe
  • GameTrailers
  • GotNext
  • IGN
  • IGN AU
  • IGN UK
  • Just Adventure
  • Machinima
  • Planet Xbox 360
  • PlayStation Official Magazine UK
  • PlayStation Official Magazine US
  • Telegraph
  • The New York Times
  • TheSixthAxis
  • TotalPlayStation
  • VGPub
  • Videogameszone.de
  • Wired
  • Xboxic
  • Yahoo Games
  • ZTGames Domain
  •  

    Wysoki:

  • Absolute Games
  • ActionTrip
  • Adventure Gamers
  • Computer & Video Games
  • Console Gameworld
  • Da GameBoyz
  • Darkstation
  • Edge Magazine
  • EGM
  • EuroGamer Italy
  • EuroGamer Spain
  • G4 TV
  • Game Chronicles
  • GameDaily
  • Gameplayer
  • Gamer 2.0
  • Gamervision
  • Games Master UK
  • Gamespot
  • GameSpy
  • Gaming Age
  • Gaming Nexus
  • Maxi Consoles (Portugal)
  • Pelit
  • Play.tm
  • PlayStation Universe
  • PlayStation Official AU
  • PSM3 Magazine UK
  • PS Extreme
  • RPG Fan
  • Strategy Informer
  • Team Xbox
  • The Onion (AV Club)
  • Totally 360
  • WonderwallWeb
  • XGN
  •  

    Średni:

  • 1Up
  • CPU Gamer
  • Cubed3
  • Cynamite
  • D+Pad Magazine
  • DailyGame
  • Destructoid
  • Eurogamer
  • Everyeye.it
  • Game Revolution
  • Game Shark
  • Gameblog.fr
  • GameKult
  • Gamereactor Denmark
  • Gamers’ Temple
  • GameShark
  • Gameblog.fr
  • GamesNation
  • GameStar
  • GameTap
  • Gaming Target
  • Gamereactor Sweden
  • The Guardian
  • Hardcore Gamer Magazine
  • HellBored
  • NiceGamers
  • Joystiq
  • Just RPG
  • Level 7.nu
  • Modojo
  • MondoXbox
  • Multiplayer.it
  • N-Europe
  • Netjak
  • NGamer Magazine
  • Nintendo Life
  • Nintendo Power
  • Nintendojo
  • Nintendo World Report
  • NZGamer
  • Official Nintendo Magazine UK
  • Official Xbox 360 Magazine UK
  • Official Xbox Magazine
  • Official Xbox Magazine UK
  • PALGN
  • PC Format
  • PC Gamer (Germany)
  • PC Gamer UK
  • PC Gamer
  • PC Powerplay
  • PGNx Media
  • Play Magazine
  • PlayStation LifeStyle
  • Pocketgamer UK
  • PT Games
  • Real Gamer
  • SpazioGames
  • Talk Xbox
  • The Escapist
  • Thunderbolt
  • Total VideoGames
  • Worth Playing
  • X360 Magazine UK
  • Xbox World 360 Magazine UK
  • Xbox World Australia
  • Xbox360 Achievements
  • Xbox Addict
  •  

    Niski:

  • 360 Gamer Magazine UK
  • 3DJuegos
  • Ace Gamez
  • Atomic Gamer
  • BigPond GameArena
  • Console Monster
  • Deeko
  • Eurogamer Portugal
  • Game Focus
  • Gameplanet
  • Gamer Limit
  • Gamer.nl
  • Games Radar (in-house)
  • Games TM
  • Gamestyle
  • GameZone
  • Gaming Excellence
  • Gaming Trend
  • Impulse gamer
  • Kombo
  • MEGamers
  • Metro Game Central
  • MS Xbox World
  • NTSC-uk
  • PS Focus
  • PSW Magazine UK
  • Video Game Talk
  • VideoGamer
  •  

    Niższy:

  • Armchair Empire
  • Cheat Code Central
  • Game Over Online
  • Game Positive
  • Gamer’s Hell
  • Gamereactor Sweden
  • Gamers.at
  • Giant Bomb
  • PS3bloggen.se
  • RPGamer
  • Vandal Online
  •  

    Najniższy:

  • 9Lives
  • Boomtown
  • Computer Games Online RO
  • GamerNode
  • GamingXP
  • IC-Games
  • Insidegamer.nl
  • Jolt Online Gaming
  • Kikizo
  • LEVEL
  • Meritstation
  • My Gamer
  • Official PlayStation 2 Magazine UK
  • Play UK
  • WHAM! Gaming
  • rek

    36 odpowiedzi do “Do przegadania: Naukowcy rozpracowali model Metacritica. Są duże dysproporcje w „wadze” ocen. Słusznie?”

    1. i tak wszyscy patrzą na ocenę graczy a nie serwisów…serwisy i czasopisma dają tylko „zarys”… wybacz CD-ACTION 😉

    2. wręcz przeciwnie. Wolę ostatnimi czasy już recenzje serwisów lub opinie graczy na naszym forum, niż oceny użytkowników MC, którzy zmienili się w masowych trolli sypiących zerami dla porządnych gierek.

    3. Szczerze mówiąc wala mnie suche i sztywne oceny – liczy się treść recenzji.|Ale jeżeli faktycznie jest tak, jak przedstawiają to ci naukowcy, jest to skandal i kompromitacja dla Metacritica. Dotychczas wydawało mi się, że przyjęta jest tam najlogiczniejsza metoda, czyli suma ocen przez ich ilość. Jak widać nawet na czymś tak najprostszym można kręcić wałki…

    4. A na opinie graczy nigdy nie patrzę bo każualizacja spowodowała, że obecnie gracze dzielą się tylko na dwa obozy: albo fanatycy albo hejterzy.|Tym bardziej, że nikt mi nie zagwarantuje, że pod jakimś nickiem, który wychwala w niebogłosy jakąś grę tylko dlatego, że dostał ją na komunię albo bezpodstawnie jedzie po jakiejś grze tylko dlatego, że jest trudna, nie siedzi jakiś np. 8-latek, który pojęcia o grach i sposobie oceniania czegokolwiek siłą rzeczy mieć nie może…

    5. Dziwi brak polskich serwisów. Waszego oraz gram czy tez GRY-ONLINE.

    6. A ja się zgadzam z Maniutkiem7. W obecnych czasach, gdy serwisów o grach jest zatrzęsienie i pracują w nich kompletne nołnejmy, gdy rzeczywistość nierzadko odbiega od zapowiedzi dużo bardziej niż kiedyś, twórcy w marketing ładują grube miliony, a dem jest jak na lekarstwo, paradoksalnie najuczciwszą drogą do kupienia gry jest… piractwo.|Inna sprawa czy ktoś piraci „bo tak” czy faktycznie ma zamiar tylko przetestować grę i – jeżeli mu się spodoba – nagrodzi twórców kupując oryginał.

    7. Przyznaję się bez bicia: sam tak zrobiłem z Dragon Age I i Mass Effect 2 po zawodzie, jaki spotkał mnie po kupieniu Mass Effect 1. Na szczęście te gry spodobały mi się na tyle, że obie kupiłem oryginalne (a w przypadku DA I kupiłem od razu oryginalny dodatek).

    8. Dziwne jest w ogóle branie pod uwage oceny i recenzje „jakiś” serwisów które wystawiaja takie suchary. Przykład mojego przyjaciela jest wydaje się najlepszy w ostatnim czasie: gość kupił Sniper 2 i bawi się wyśmienicie przy produkcji, tego oczekiwał od tej gry i to dostał. Dupki na metasroticku to szkoda pisać o ludkach którzy tam siedzą, każdy z nich to SPECJALISTA i PROGAMER, znawca wszystkiego o grach i w ogóle. Dobrze jest przeczytać opinie o grze i dowiedzieć się coś więcej ale to tylko dodatkowe info.

    9. WhiteTemplar 28 marca 2013 o 15:28

      szlachetny ja w ogóle nie patrzę na oceny graczy (często gracze zaniżają ocenę gry bo nie lubią np. fryzury dantego, Bobiego K. albo masowo wystawiają grze najwyższe noty tworząc multikonta bo jest z ich kraju)

    10. Przeciez sam Metacritic przyznał na swojej stronie że srednia obliczana jest wg ich wlasnych utajnionych algorytmow, nie ma tutaj niespodzianki. Kazdy kto wchodzil na MC powinien to zauwazyc. I dobrze ze wieksze serwisy maja wieksza wagę bo te z malych serwisow teoretycznie łatwiej kupić, nieodpowiednie oceny wiekszych serwisow od razu odbijaja sie w internecie szerokim echem. Wiele ocen 100 ukazuje sie jako pierwsze od mniejszych serwisow i te sa niewiarygodne.

    11. Oceny wszystkich serwisów powinny mieć taką samą wagę. Czemu niby te największe serwisy miałby by być bardziej obiektywne ? Taka jest prawda, że ocena zależy w dużej mierze od samego recenzenta, jeden sypie ocenami 10, a inny uważa, że na 10 zasługują tylko gry mega epickie, jeden crapom daje oceny 7 dla innego 7 to gra średnia.|Taka jest prawda, że oceny nigdy nie oddadzą prawdy, jak patrze na niedorzeczne 84 na 100 dla Assasins Creed III i NFS Most Wanted (2012) to wątpię w obiektywność recenzentów !

    12. @WhiteTemplar – nie mam zamiaru deliberować nad tym kto z nas ma racje – stwierdzam tylko fakt , że nigdy się nie zawiodłem na opinii graczy zaś na opinii recenzentów niestety tak – dlatego wolę kupowac tylko te gry których gameplay’e są gdzieś na youtubie i mają pozytywne opinie graczy – ot to moje zdanie

    13. Wystarczy popatrzeć na oceny użytkowników, żeby zobaczyć, że coś jest nie tak z tymi ocenami. Assasins Creed III dostał 84 a użytkownicy dali mu 6.8, powiecie, że to dal tego, że jest pełno „neo-kidów” które dają pełno 0, ale wystarczy zobaczyć na Assasins Creed II który dostał 90 i użytkownicy ocenili go na 8.8 ! Dla mnie jeśli jakikolwiek recenzent dał Assasinowi więcej niż 7 na 10 to jest partaczem !

    14. Brakuje „Niepodważalna – CD-Action”

    15. jeszcze niższy od Najniższego – CD-Action 😀

    16. Nie ma kupowania recenzji. Metacritic to prosta średnia arytmetyczna. Zjawisko sztucznej inflacji ocen nie istnieje. Wydaje mi się, że wreszcie te kłamstwa można wrzucić do kosza. Good.

    17. Paindemonium 28 marca 2013 o 16:26

      Metacritic to syf, wystarczy mieć własną rzeszę zaufanych trolli by obniżyć ocenę określonej gry np Painkilelra HD, Modern Warfera czy Mass Effect 3… pamięta te akcję kazdy.

    18. @lubro|Dokładnie. Sprawdziłem dla przykładu dwie gry. RE6 i Wiedźmin 2. Obie na PC. Ogólna ocena to średnia arytmetyczna wszystkich ocen.

    19. @Paindemonium|Dokładnie. W dodatku oceny dają również ci użytkownicy, którzy danej gry nawet nie tknęli.

    20. Cd-Action nie uwzględnili… Bądź co bądź zamieszczacie recenzje gier na waszej stronie, nie wszystkich ale jednak..

    21. Zresztą można zobaczyć na stronie CD-Action,GTA V ma już 168 ocen…

    22. Ja już dawno przestałem przejmować się Metacriticiem, więc ten „ból” i tak mnie nie dotyczy. Już dawno zauważyłem, że recenzję można wcisnąć między reklamy. A uświadomił mnie w tym przekonaniu Angry Joe, w swoich kontrowersjach roku 2012. Wszędzie wazelina PRowców i ich zgubny wpływ 😀 No niestety, ale taka jest branża, tam gdzie zaczynają się wielkie pieniądze, tam kończy się zabawa. Wszelakie growe nagrody, z VGA na czele, mają na celu promowanie najbardziej wypromowanych tytułów.

    23. Jak chcę zakupić grę to albo dobieram się do dema albo pytam się kumpli. To mnie uchroniło przed zakupem Far Cry 3, któy jest tak naprawdę poprawioną dwójką. Nie, dziękuję, recenzją również.|A wracając do tematu… Waga, nie waga. Demokracja też jest zła bo pan Zdzichu i Zbychu spod sklepu mają więcej racji od doktora habilitowanego, czytającego książki w każdej wolnej chwili. Więc tak źle i tak niedobrze.

    24. recenzjom, boże…

    25. @noniewiem To bardzo słabo cię „uchroniło”, biorąc pod uwagę, że FC3 to świetny tytuł.

    26. A gdzie cdaction.pl lub gram.pl, bo te serwisy dla mnie się najbardziej liczą?

    27. @Kricz|No patrz, a według mnie „uchroniło” go to bardzo. FC3 jest średni. Tak jak zejście branży na mainstream. Czekam na hejty.

    28. Cwiekoszczak 28 marca 2013 o 19:33

      Cóż model prosty i przewidywalny uwzględnianie najbardziej „opiniotwórczych” środowisk w ocenie nie jest najgorsze. Choć bardziej czytelne byłoby wyliczanie oceny poprzez badanie różnic między średnią oceną danego recenzenta a oceną jaką dostała gra. (Inaczej brzmi 8/10 od Piotrka66 które dostaje się niemal z marszu a inaczej np u mnie na uczelni gdzie dobrze rozwiązane zadanie potrafi przez drobne bugi dostać 5/10 a zalicza kolokwium 3-3,5/10)

    29. Co to wlg za bzdura dać jakieś grze ocenę zero? W takim razie wychodzi, że to najgorsza ocena wszech czasów, skoro zasłużyła na taką ocenę. |Swoją drogą widzę, że gra dostała na MC x od jakiegoś recenzenta. A cała jego recenzja to jedno zdanie i to jest nagminne. Oni są po prostu żałośni i nie radzę nikomu się nimi sugerować.

    30. gra z oceną 0/10 to ta, która nie istnieje. BO 0 OZNACZA NIC.

    31. Miało być gra, zmęczony jestem. 🙂

    32. Pc format jest nasz?Idlaczego do cholery nie ma Cd-Action koło spisu treści jest napisane „Najwieksze(raczej,chyba jedyne)pismo dla graczy w Polsce” to dlaczego was nie biorą pod uwage ?|W końcu polacy zrobili Wiedzmina,Bulletstorma i Anomaly to gdzie my jesteśmy???

    33. Tutaj jest podany brytyjski PC Format… nie ma nic wspólnego z polskim, poza nazwą.

    34. A CD-Action?

    35. Recenzje na metacritiku to tylko streszczenia recenzji w portalach/magazynach, serwusX

    36. Dla mnie skalowanie ocen jest w 100% zrozumiałe. Skoro dany serwis ma większą popularność to więcej osób kieruje się ich ocenami. Zrozumiałe więc, że taka ocena powinna mieć większą moc.

    Dodaj komentarz