15.08.2015

Jak nie przeprowadzać badań polskich graczy

Opublikowano wyniki badań, które miały na celu odpowiedzieć na kilka palących pytań dotyczących polskich graczy. Tylko co z tego, skoro wydają się przeprowadzone w niewłaściwy sposób, a co za tym idzie ukazują bardzo zniekształcony obraz miłośników gier?

Na początku trzeba zaznaczyć, że wbrew pozorom poniższe badania nie zostały przeprowadzone przez pasjonata Jana Kowalskiego, który z ciekawości świata rozdał plik kartek swoim znajomym i poprosił ich o wypełnienie ankiety. Za wyniki, które zaraz przeczytacie, odpowiedzialne są Polskie Badania Internetu – poważną firmę powołaną wspólnie przez najważniejszych wydawców.

Jest to główny powód, dla którego postanowiliśmy ich nie zignorować: kiedy nierzetelne badania przeprowadzi ktoś zupełnie nieznany, można ich po prostu nie potraktować poważnie i o nich zapomnieć. W przypadku PBI możecie być pewni, że poniższy – nie przymierzając – stek bzdur przeczytają osoby niezorientowane w temacie, ale związane z branżą. Na przykład inwestorzy. I na ich podstawie podejmą decyzje, które odczujemy wszyscy.

No, ale przejdźmy do rzeczy. Całość znajdziecie tutaj.

Badanie zrealizowała firma PBI na Ogólnopolskim Panelu Badawczym Ariadna w postaci ankiet online (web survey). W badaniu wzięło udział 522 osób powyżej 15 roku życia (liczba pełnych wywiadów), co oznacza iż maksymalny błąd pomiaru wynosi +/- 4.3% (przy poziomie ufności 95%). (…) Ze względu na to, iż badanie realizowano na próbie internatuów, wnioskowanie należy ograniczać do tej właśnie grupy.

522 osoby to niewiele, ale kwestionować statystyki nie będę, bo się nie znam – trzeba tylko zaznaczyć, w jaki sposób przeprowadzane były badania, bo będzie to istotne za kilka akapitów. Jak wspomniano wyżej, były to ankiety online – pewnie natknęliście się już na takie w internecie, możecie o nich nie pamiętać. To dodatkowe okienko, które czasami wyskakuje po wejściu na przeróżne strony i błaga nas, byśmy poświęcili chwilę na odpowiedzenie na parę pytań.

Wśród najważniejszych wyników badań pojawiają się takie stwierdzenia, jak „graczami w równym stopniu są kobiety, co mężczyźni”, za którym następuje „internautki najczęściej wybierają gry online oraz na smartfonach/tabletach (odpowiednio 64 i 63 proc.”. „Online” należy tu zapewne rozumieć przez online na komputerach (i konsolach?), a więc FPS-y, MOBA… a może chodzi o gry przeglądarkowe (np. na Facebooku)? Jeżeli wrzucono to wszystko do jednego wora – i, o zgrozo, oddzielono od smartfonowo-tabletowych, wśród których spora część przecież nawet pokrywa się z fejsbukowymi… no, ale czytajmy dalej.

Internauci wolą grać na komputerze (64 proc.), a dopiero potem online i na smartfonach/tabletach (po 54 proc.).

Chwila. Co? To znaczy: przez „na komputerze” rozumiemy gry z osobnymi klientami, a online oznacza wszystkie gry online (a więc i przeglądarkowe, i z osobnymi klientami, ale sieciowe)? Jeżeli takie były dostępne odpowiedzi, to wyniki badań są nic nie warte, bo opcje rozumieć można na przynajmniej dwa różne sposoby. Ba, gdzie w tym wszystkim konsole? Zdaję sobie sprawę, że Polska pecetami stoi, ale cała masa badań przeprowadzonych wcześniej pokazuje, że konsole stanowią niemały procent urządzeń, na których gramy. To nie wszystko, bo nagle pojawiają się planszówki i karcianki:

Na co dzień gracze wybierają raczej gry, które są łatwiej dostępne (online, smartfon). Rzadziej grają w gry, w których potrzebne jest zorganizowanie grupy osób (np. gry karciane czy gry planszowe). Niemniej jednak zaskakuje popularność gier offline: w gry karciane gra codziennie 12 procent internautów, a w planszowe – 6,3 proc.

Zaraz. Offline? Czyli przeciwieństwo online? Mam coraz większe obawy, że badacze nie zdają sobie sprawy z istnienia singlowych gier, podobnie jak pomijają zupełnie konsole. No, może niezupełnie, bo konsole też się w końcu pojawiają:

Internauci-gracze w wieku 15-24 lat najczęściej ze wszystkich grup grają w gry elektroniczne (na PC, tablet/smartfon, online, konsole).

Zwróćcie uwagę na to, jak online zostało ustawione poza PC, mobilkami i konsolami. Pomijam już to, że chwilę dalej czytamy, iż gracze w wieku 15-24, którzy najczęściej grają w LoL-a, Counter-Strike’a i Fifę, „dobrze znają języki obce”. Moje osobiste doświadczenia to żadne badania, więc wprost temu nie zaprzeczę, ale zgaduję, że badanie nie zawierało testu na znajomość języków obcych, a tylko prośbę o deklarację. W takim razie posługuję się biegle językiem chińskim, choć mówię ze śmiesznym, koreańskim akcentem.

Nie są to jedyne babole, które znaleźć można w badaniach PBI. Tylko te największe. Niektórym wnioskom trudno zaprzeczyć, ale nierzetelność części badań – uwaga, prywatne zdanie redaktora – przekreśla chyba rzetelność całości. Zwłaszcza w odniesieniu do poprzedniego akapitu. Zastrzeżenia można też mieć do tego, na co kładziono nacisk podczas badań. Zerknijcie sobie i sprawdźcie (podaję linka jeszcze raz, żebyście nie musieli scrollować do góry), ile miejsca poświęcono na komunikację z innymi graczami – zwłaszcza obcymi. To ewidentne odchylenie w stronę gier esportowych, być może dlatego, że – jak dowiadujemy się z jednego z ostatnich slajdów – badanie powstawało we współpracy z osobą związaną z tą sceną. Nie wpływa to na nierzetelność samych wyników, ale na zasadność zadawanych pytań – owszem.

Czytaj dalej

25 odpowiedzi do “Jak nie przeprowadzać badań polskich graczy”

MajinYoda 15 sierpnia 2015 o 10:29

Te badania i tak są lepsze od niektórych głupot, które można znaleźć w książkach naukowych 😀 .A tak bardziej serio – ktoś się najwyraźniej kompletnie nie przygotował. Ewentualnie korzystał z „mądrych” książek i stron internetowych. Bo po co zgłębić temat i zobaczyć czym jest gra komputerowe, gra online itd. Przecież różne nazwy to różne gry, nie? 🙂
Skelldon 15 sierpnia 2015 o 10:52

Nie wiem co ta ankieta miała faktycznie na celu i nie chcę wiedzieć. Dowiedziałem się jedynie, że Polska nadal jest zacofana jeżeli chodzi o traktowanie gier (jako forma rozrywki DLA DOROSŁYCH). Pewnie prędko się to nie zmieni. Prędzej ujrzymy kolejny odcinek Rozmów w toku o 14-latkach uzależnionych od gier na komputry. Czas się wyprowadzić… -.-„
Moooras 15 sierpnia 2015 o 10:55

Ostatnio na GOLu pojawiła się kolejna ankieta (na wszelki wypadek dam linka: http:www.gry-online.pl/S013.asp?ID=93503 ). I po wypełnieniu jej sam się zastanawiam czego właściwie mamy się z niej dowiedzieć. Że ludzie grają w gry? No stercore, Sherlock… (łacina)
zadymek 15 sierpnia 2015 o 11:13

Ja wymiękłem już przy Wprowadzeniu.|”gry są ważnym sektorem przemysłu rozrywkowego, przynoszącym coraz wyższe dochody, zwłaszcza w przypadku aplikacji” …eee ,what?|Pass.
aRo 15 sierpnia 2015 o 11:20

Czasem wypełniam ankiety Ariadny, akurat tej nie widziałem, ale one wszystkie są śmieszne i nie raz się zastanawiałem, czym się różnią dane pytania i jaki jest sens zadawania niektórych 😛 Co będę gadał o pytaniach – już na początku są absurdy w stylu „Ile masz lat”, a zaraz potem „a w którym roku się urodziłeś?” – potem nie jest lepiej.
aRo 15 sierpnia 2015 o 11:21

Albo lepsze: „w jakim przedziale jesteś”, np. 21-24, a potem „a ile dokładnie masz lat”…
Matejbudz 15 sierpnia 2015 o 11:32

Lubię wieczorem obejrzeć wiadomości, i już wiem jaki będzie temat poza defiladą. „Rzetelne i profesjonalne badania wykazały ze gracze….”
Kawalorn 15 sierpnia 2015 o 11:46

No cóż, przynajmniej ten artykuł przypomniał mi o skrócie ctrl+w, więc pieniądze nie do końca zmarnowane. 😀
nieznajomy43 15 sierpnia 2015 o 11:50

takiego typu ankiety powinny być tworzone we współpracy z innymi organizacjami jak np. cd-action czy gry-online.pl i powinny być umieszczane na stronach poświęconej tej tematyce, a nie jako okienko które każdy olewa. 🙂
Y4nusz 15 sierpnia 2015 o 11:55

” Ba, gdzie w tym wszystkim konsole? ” Konsole skończyły się na „kill ’em all”
PapaBot 15 sierpnia 2015 o 12:05

@aRo Te pytania mają zmęczyć ankietowanego. Wtedy przestaje długo myśleć nad każdym pytaniem i prawdopodobieństwo prawdziwej odpowiedzi jest większe. |Z drugiej strony możliwe, że to zwykły brak umiejętności posługiwania się komputerem i stworzenia skryptu podliczającego przedziały wiekowe. Wystarczyłaby formułka w Excelu.
demogorgon 15 sierpnia 2015 o 13:08

„Do komunikacji zazwyczaj wykorzystywane są komunikatory głosowe, a także tekstowe.” – są jakieś inne?
Dawid „spikain” Bojarski 15 sierpnia 2015 o 13:16

@demogorgon: Gesty/ikony. Pytanie, czy wierzymy, że autorzy o nich wiedzą. 😉
djwit3k 15 sierpnia 2015 o 14:43

tak BTW: co to jest ten Push4Play? Google nic o tym nie wie…
lukaszsa 15 sierpnia 2015 o 15:54

@demogorgon – skąd ty się urwałeś? Przekaz myśli jeszcze. Nie słyszałeś?
Sagit83 15 sierpnia 2015 o 16:30

To było wręcz bolesne do czytania…
macio 15 sierpnia 2015 o 18:07

Za parę tysięcy złotych przeprowadziłbym to badanie lepiej.
daba1 15 sierpnia 2015 o 19:19

Typowy przykład badania przeprowadzonego przez osoby mające znikome pojęcie o temacie… I to tylko pokazuje, że ludzie nadal nie traktują gier poważnie, tylko jak jakąś zabawę dla dzieci. Sam wiem osób na których przeprowadzono badanie dużo mówi, średnia wieku gracza jest dużo powyżej osiemnastego roku życia, osoby młodsze to są najczęściej zwykli entuzjaści którzy siedzą z nosami w komórkach albo grają tylko w jedną grę. Aż szkoda gadać…
mafia573 15 sierpnia 2015 o 21:29

W tym badaniu było coś i o konsolach i o multiplayer, ale jakoś bezsensownie przedstawione. Niby są jakieś dane, ale nic konkretnego nie idzie się z nich dowiedzieć. 522 osoby to śmieszna liczba jak na takie badanie…
Airoder 16 sierpnia 2015 o 06:48

@zadymek|I co w tym cytacie niby jest dziwnego? Zobacz sobie ile dochodu wygenerowala aplikacja od Bethesdy z jak niskim wkładem własnym. Może Twoje „eee what” wynika z niewiedzy i proponowałbym przyjrzeć się jakie te „śmieciowe” gry potrafią gernerować przychody, szczególnie w ostatnim okresie, gdzie zanotowały niezły skok.
illuvatar 16 sierpnia 2015 o 07:54

Czy 512 osób to niewiele? i tak i nie. wszystko zależy o dobór do grup i ilości grup, statystyka psychologii mówi ze na jedną calkę czyli grupę osób badanych powiedzmy osoby 10-15, 16-20,20-25,25-30 powinno być co najmniej 30 osób na grupę, zeby mówić o reprezentatywności próby badawczej. są jeszcze inne wyznaczniki rzetelności i reprezentatywnosci typu randomizacje kolejncych stopni ale serio dla wiekszości to bełkot. Jakkolwiek 500 osób to wystarczająco dużo samo w sobie ale istotne są również inne kwes
illuvatar 16 sierpnia 2015 o 07:58

co oznacza iż maksymalny błąd pomiaru wynosi +/- 4.3% (przy poziomie ufności 95%). – nie jestem specjalnie obcykany w statystyce DFy są spoko ale mogli by podać czy rozklady grup są bliskie rozkładowi normalnemu ;pp |Prawidłowy abstrakt badania powinien zawierać zasadę doboru do poszczególnych grup, wraz z wyjaśnieniem pojęć stosowanych bo podług tego co czytam kupą to jest ale się jej nie trzymna
illuvatar 16 sierpnia 2015 o 08:02

Jeżeli takie były dostępne odpowiedzi, to wyniki badań są nic nie warte, bo opcje rozumieć można na przynajmniej dwa różne sposoby- dobre testy są zwykle odporne na takie rzeczy ale dalej wady kwestionariusza wytykane tutaj moze być ratowane doborem do konkretych wyznaczników które te odpowiedzi niosą. bo nie jest tak ze dane surowe trafią do spss zgodnie z treścią ankiety tylko często są przerabiane na skale:)
illuvatar 16 sierpnia 2015 o 08:12

badanie jest badaniem statystycznym o gównianej wartości psychologicznej, przez całe badanie ani jednego zdania dotyczącej istotnej statystycznie różnicy między grupami. 4% czy 8% bardziej lub mniej nic kompletnie nie mówi choćby o sile tej różnicy, zadnych analiz liniowych, zadnych porównań zadnych przerobionych testów t. Badanie jest ale na poziomie opracowania wyników autorzy polegli z niewiedzy. Autor badania to admin fora i jakiś proplayer, a autorka specjalizuję się w mierzeniu skuteczności działań
kiceg 16 sierpnia 2015 o 20:27

Zmieńcie tytuł na „jak nie pisać artykułów o czymkolwiek” bo ten tekst jest wyjątkowo tragiczny.