Category Archives: Případová studie

Fakta a předsudky z cestovního ruchu

Jak to dopadne, když pro účely konference smícháme data z našeho výzkumu příjezdového cestovního ruchu, vybrané anekdoty a předsudky posbírané z focus groups a data dostupná na serverech, kde lidé hodnotí své pobyty v České republice? Milovníci tvrdých dat si přijdou na své, stejně jako ti, kteří jsou závažností a objektivitou výzkumu občas trochu znaveni. Více v prezentaci Honzy Tučka na letošním „Cestovní ruch a internet“.
zahranicni

moucha

STEM/MARK + Google Analytics = Zájmová segmentace zadara

Rádi bychom Vám představili jednoduchou myšlenku, která kromě kategorie „zajímavé“  a „zadarmo“ patří i do řídce obydlené kategorie „užitečné“.

Monitoring návštěvnosti Google Analytics ví o návštěvnících webových stránek olbřímí množství informací. Sleduje chování dotyčného na internetu a odhaduje věkový profil, pohlaví, původ a zájmy uživatele. Nic proti socio-demografické analýze, je to potřebný standard, ale přeci jen jako marketéra by mě více vzrušovala analýza zájmů mé cílové skupiny. „Řekni mi co na netu děláš a já ti řeknu, co máš rád“.

Co se stane, když na náš dotazovací systém organizovaně nasazujeme Google Analytics (GA)? Vybraní respondenti z vaší cílové skupiny procházejí bránou dotazovacího systém, kde GA prozradí vše, co o nich slovutný Google kdy zjistil. My je můžeme pak zpětně identifikovat a porovnat s internetovou populací, vzorkem jakéhokoli jiného (veřejného) výzkumu či srovnat s minulým obdobím trackingu.

google analytics

GA nám snadno řekne, třeba jak se liší cílovka podle zájmů – v obrázku výše – jsou v ní poměrně k populaci méně zastoupeni technofilové a naopak obsahuje více lidí, kteří se rádi věnují vaření. Zcela v ní chybí cestovatelé. Podobnou segmentaci nabízí GA pro různé produkty. Můžeme pracovat i s analýzou sociodemografik, ale tu známe již od dodavatele dat na začátku – spíše díky ní můžeme zjistit, jak dobrý odhad nám GA vlastně dávají.

Výstupy z našich výzkumných GA můžete asi nejlépe srovnat s vlastními cílovkami, které už jistě pilně monitorujete na svých vlastních webech. Spolu s daty z výzkumu vám prozradíme, jak jsou respondenti blízko vašim skutečným zákazníkům. Navíc GA segmentace netrpí problémem, který je vlastní všem segmentacím = není ad-hoc a je pro všechny stejná, universální.

ga_2

Korelační matice

Statistiky.stemmark: Symfonie pro online reporting

Náš nový systém online reportingu – všeobsažně nazvaný statistiky.stemmark – je, ve vší skromnosti, fantastický. Naši klienti potřebují nad rámec výzkumné zprávy a statických tabulek ještě něco. To něco je v případě statistiky.stemmark.cz pružné a dostupné reportingové prostředí, které dokáže využívat každý.

statistiky stemmark

Odvážná tvrzení máme za sebou a tak se podívejme na fakta. Jedná se vlastně o statistický software s netušenými možnostmi, běžící na webu. Chcete si nechat servírovat strojovou analýzu otevřených otázek, vidět trackingový výzkum proložený trendy, sázet zářivé grafy do reportů pro nadřízené jako na běžícím páse? Zařídit tohle všechno s maximální jednoduchostí asi umožňuje málokterý online reporting. Náš ale zrovna ano. Vymyslete si zadání a STEM/MARK v řádu hodin vytvoří aplikaci, která bude na webu servírovat data, filtrování, třídění a výpočty hned jak se dostanou „z terénu“ do naší databáze.

Jak říkají Němci – „Čokoládovou stranu“ našeho produktu nejlépe ukáží obrázky. Začneme jemně a se vzorovými daty z Českého národního panelu. Tak například filtrovaná korelační matice. Kdo z Vás, přátelé, to ve svých online statistikách má?

shiny_1

Pokračujeme interaktivní tabulkou signifikancí (nedělejte si hlavu s obsahem, spíše uvažujte možnosti)…
shiny_2

…a završíme to rozborem časové řady s volitelným obdobím.
shiny_3

 

Přístup na vaše statistiky.stemmark je zabezpečený heslem, data lze stáhnout do standardních formátů, odkaz můžete sdílet mezi kolegy a každý z nich může mít různě omezený či rozšířený obsah dat. Zkrátka tomu není příliš co vytknout.
Sílu a jednoduchost tvorby našich statistik budeme využívat pro trackingy, rozsáhlejší mezinárodní studie, PR výzkumy pro širší publikum nebo třeba simulátory conjoint analýz, kde se bez jistého „tunění“ neobejde ani výzkumník, ani klient.

Samozřejmě nechceme brzdit ničí fantazii a tak až spolu budeme dělat další výzkum, nezapomeňte si říct o své nové statistiky. Máte na ně plné právo. Klidně vám do výzkumných dat připojíme i real-time data z internetu. No, po vší té chvále nikoho nepřekvapí, když řeknu, že náš reporting to zvládá vlastními prostředky, analytik mu jen na začátku řekne, kde hledat. Statistiky.stemmark.cz jsou optimální v případě, kdy na výzkumnou zprávu nezbývá rozpočet, ale vy potřebujete výsledky rychle a dostatečně do hloubky.

Pokud byste se chtěli o tom všem trochu obšírněji pobavit, třeba i technicky, napište nám na . Budeme se těšit. Pamatujte ale, že žádný reporting řádně zahloubaného analytika nenahradí – i když ten náš mu rozhodně zvedne motivaci.

Citlivé otázky ve výzkumu trhu

V řadě našich výzkumů se musíme popasovat se zadáními, u kterých se červená přibližně 8 z 10 vězeňských dozorců. Jsou to hlavně „Guilty pleasures“ jako přejídání, půjčky, závist nebo sex. S rozvojem vyplňování dotazníků online bariéry dost opadly, nicméně lidé se stále stydí sami před sebou. Představíme Vám dvě metody, které stud odbourávají a posunují nás i vás blíže ke skutečnosti.

První rodinou metod je Randomized Response Technique. Je to vždy snaha přimět respondenta mluvit pravdu tím, že nebude možné jeho odpověď spojit s jeho osobou. Slavná aplikace RRT – jak jí přezdívají ostřílení výzkumníci – například odhalila choutky jihoafrických farmářů při lovu chráněné zvěře. Respondent dostane kostku, hodí a nepozorován tazatelem postupuje takto:

  • Padne 1 – Musí na otázku odpovědět ANO, i když to třeba není pravda
  • Padne 2-4 – Odpovídá podle skutečnosti
  • Padne 6 – Musí odpovědět NE

Jelikož číslo 1 padne – při dostatečném počtu hodů – jen v 1/6 případů, můžeme si jednoduše dopočítat, že všechna ANO nad 1/6 jsou skutečná ANO. Respondenti jsou ale chráněni, protože tazatel neví, zda se přiznali, či je k falešnému přiznání donutila pravidla hry.

medium_401027108

Dále si ukažme konkrétní použití techniky nazvané Cross-Wise v momentě, kdy potřebujeme zjistit, jaká část populace má problémy s rozpočtem domácnosti. Cross-Wise spočívá v položení dvou otázek najednou, z nichž jedna je naše citlivá otázka a druhá je tzv. neutrální otázka, na kterou známe odpověď za celou populaci.

Dotazovací situace vypadá takto:

  1. „Máte v současné době nedostatek finančních prostředků na provoz domácnosti?“
  2. „Narodil/a jste se mezi 1. a 10. dnem měsíce?“

A možnosti jsou:

  • Mé odpovědi na tyto otázky jsou shodné. Buď dvakrát ANO nebo dvakrát NE.
  • Mé odpovědi na tyto otázky jsou různé. Jedna z nich ANO a ta zbývající NE.

Při vyhodnocení se můžeme opět spoléhat na pravděpodobnost. Lidé se v rámci dnů rodí velmi rovnoměrně. Proto víme, že šance na ANO u druhé otázky je velmi blízko 1/3. Jednoduchým výpočtem se opět dostaneme k procentu lidí, kteří mají s financemi problémy. Různým skupinám navíc můžeme nabídnout různé neutrální otázky a pracovat tak s jemnějším tříděním.

__________________________________________________________________________

Poněkud intuitivnější a méně podezřelá je technika Two/Three Cards. Použití je omezeno na otázky, kde můžeme rozdělit odpovědi do kategorií a naší cílovou skupina na vzorky, dostatečně podobné a velké (rozuměj n=300). Použití je snadné. V lidovém příkladu níže naši citlivou (červenou) odpověď –  identifikaci nešťastného dlužníka – vždy dáme dohromady s jinou „bezpečnou“ odpovědí. Čím větší je bezpečný balík odpovědí, tím menší podezření respondent má. Rozdělený vzorek nám, ale po kouskách odhalí výskyt jednotlivých možností a my můžeme pak dobře odhadnout, kolik procent populace zbývá na dlužníky.

three card method

I když odpovědi nelze vztáhnout k individuálním respondentům a jsou z podstaty trochu nepřesné (tzv. variance costs), jsou jednou z mála cest, jak se dostat reálnějším číslům.

No, a tak až budete otázku z dotazníku vyřazovat s pevným přesvědčením, že na ni „stejně nikdo neodpoví podle pravdy“ vzpomeňte si na tento článek.

SnapChat

SnapChat – respondenti mluví i s lidmi, nejen s dotazníky

SnapChat je online kvalitativně-kvantitativní šance z respondenta dostat to, co není v možnostech dotazníkových filtrů a okének, ale přitom zachovat komfort a náklady online výzkumu.

Online dotazníky se už nějakou dobu přijímají jako nový výzkumný standard. Je to rychlé, levné, využívají se média, desítky algoritmů a nových metod. Na druhou stranu spravují výzkumné agentury panely respondentů, kteří jsou, popravdě řečeno, trochu pohodlní. Přestože je jejich účast na výzkumu honorována, motivace chrlit do připravených dotazníků niterní pocity stále nepřichází. Při face-to-face se respondenti stydí, online se sice nestydí, ale také se nebojí výzkumníka častěji odbýt náhodným shlukem písmen. V horečnatém boji za práva klientů na insighty (ať už je to cokoli), přicházíme se SnapChatem.

Vpravdě jednoduchá myšlenka spojení mini-hloubkového rozhovoru s kvantitativním dotazníkem se zdá jako přirozené řešení, kterému nestojí nic v cestě. Tedy samozřejmě kromě často absentující ochoty „do toho jít“.

SnapChat

SnapChat spouští respondent označením odpovědi, na které se s klientem domluvíme a pozdějším souhlasem k jeho zahájení – nikdo na něj z monitoru jen tak nevyskočí. Typicky hledáme respondenty velmi nespokojené až nepříčetné, ale třeba i ty nadmíru kreativní či ochotné ke koupi. V případě každé takové odpovědi náš systém vyhodnotí dostupnost „kvalitáře“ – operátora integrovaného online chatu – a v případě, že náš člověk má volné ruce, zahájí se malý svižný potlach o tom, co zákazníka k nepříčetnosti dovádí či jak velké že nadšení v něm vlastnictví vašeho produktu probouzí. Když z respondenta dostaneme dost, vypouštíme jej zpět do dotazníku.

snapchat

Hlavní silou metody je to, že respondent mluví s člověkem, nikoli se strojem – zůstává mu soukromí, ale odebereme mu drzost nás poslat do výzkumného háje.

SnapChat

Rozpočtovou položkou SnapChatu číslo 1 je samozřejmě čas a schopnosti člověka, který rozhovory provádí. Když je to jednoduché, mohou rozhovory provádět operátoři call-centra. Jinak to budou naši analytici se vřelým vztahem k lidem a zkušenostmi s hloubkovými rozhovory. SnapChat má výhodu v tom, že „kvalitář“ pro Vás pracuje nikoli po hodinách, ale po rozhovorech. Pokud respondenti chatovat nechtějí, kvalitář je zpět analytikem a dělá si svoji práci.

Multiscreening v ČR – Experiment s prohlížečem Smaragd

Existuje několik způsobů jak zjistit, co lidé na internetu dělají.

  • Můžete se jich zeptat a doufat, že si to pamatují a nelžou.
  • Můžete se jich zeptat přímo na stránce pomocí pop-up okna a doufat, že zareagují.
  • Můžete používat cookies a doufat, že je nevymažou.
  • Můžete se stát Google a vědět všechno.

Ani jedna z možností prvních tří Vám ale nedá příliš dobrý obraz toho, jak se lidé chovají na různých doménách. Nedokážete vytvořit jejich cestu internetem, ani sledovat jaké externí vlivy k návštěvám stránek vedly. Zejména proto jsme ve STEM/MARK vybrousili Smaragd. Je to plnohodnotný internetový prohlížeč, který naši respondenti používají pro výzkumné účely. Smaragd pracuje na stejném jádru jako Google Chrome, pravděpodobně nejlepší browser současnosti.

Smaragd zaznamenává aktivitu nejen v řádu domén, ale i v řádu HTML prvků, se kterými uživatel na stránce přichází do styku. Historii procházení odesílá respondent s plným vědomím toho, že data – samozřejmě anonymizovaná – poslouží k analýze. Soukromí respondentům tedy nebereme, nýbrž oni jej dávají k dispozici nám.
Smaragd je tak mocným nástrojem při uživatelském testování, takzvaného úkolového výzkumu, ale i internetovou laboratoří pro pozorování chování spotřebitelů jako „živočichů v přirozeném prostředí“.

smaragd_1

Jednou z prvních aplikací byl výzkum v oblasti multiscreeningu. Vyplňováním mediálního deníku a sledováním záplavy dat z prohlížečů Smaragd jsme zjistili, jak lidé u nás konzumují souběžné mediální kanály, jakou roli hraje internet jako objekt strhující na sebe pozornost původně věnovanou jiným médiím. Více se dozvíte v prezentaci Honzy Lajky, kterou se oháněl na prestižní konferenci WebTop100 v listopadu 2013.

Ptejte se inovačního týmu

Odezva k videu v reálném čase

Testování audiovizuálních materiálů online bez asistence tazatele je levnější, ale skýtá několik závažných úskalí. U delších ukázek, stejně jako je tomu při sledování filmů, respondenti zapomínají obsah ze začátku a prostředka a vybavují si jen závěr. Jindy zase hodnotit reklamu jako celek přináší vágní, nic neříkající výroky. To je škoda. Přitom řešení je docela jednoduché.

Testování videoukázek se STEM/MARK odstraňuje hned několik nedostatků najednou. Náš dotazovací systém měří dobu, po kterou respondent video skutečně sleduje a pomocí „Like“ a „Dislike“ tlačítek získáváme odezvu na to, co ve videu zapůsobí dobře a co méně dobře. Systém zaznamenává aktuální čas videa a můžeme tak respondentovi zobrazit Vaši otázku právě v tom momentě, kdy je nejvíce relevantní a kdy respondent sleduje to, na co se ho ptáte. Výstupy z našeho testu pak kromě standardního hodnocení doplňujeme tímto :

výsledky

Chcete-li si testování vyzkoušet, klikněte sem. Tento postup při testování doporučujeme u ukázek delších než 1 minuta. U kratších ukázek by mohlo dotazování narušit celkový zážitek, což je u reklamy na některé kategorie důležité. V takovém případě respondentovi reklamu přehrajeme dvakrát – jednou pro dojem. Podruhé pro podrobnější feedback.

Ptejte se inovačního týmu

Metoda Delphi pro předpověď volebních výsledků

zpracoval : Jan Fait

Věštírna v antických Delphách byla pravda poněkud úspěšnější než většina moderních predikčních metod, ale výzkumné agentury prostě nejsou čarodejnice a pracují v nich normální smrtelníci.

Metoda Delphi je iterační metoda pro formulování odhadů. Původně se používala pouze mezi experty, ale neexistuje vlastně důvod, proč bychom ji nemohli aplikovat mezi běžnou populací když problém, který řešíme není příliš odborný.

V metodě Delphi se ptáme na různé otázky a předkládáme respondentům odpovědi – řekněme průměrný odhad – všech těch, kteří odpovídali před nimi. Aplikace takovéto metody v dobách předvolebních bojů je zcela nasnadě. Ptáme se nikoli na to, koho budou respondenti volit, nýbrž na to, jak to celé podle nich dopadne. Dotazovací situace vypadá asi takto:

pm_volby

 

Respondent upraví odhad tak, aby co nejlépe vyhovoval jeho vlastní predikci a „pošle dál“. Extrémní odhady promlouvají do celkového průměru jen malou vahou a tak není důvod se obávat, že výsledky nebudou dávat smysl. Z variability odpovědí také snadno poznáme, jaká je úroveň shody a informovanosti o problému.

Výsledky metody kopírují výsledky standardních preferenčních průzkumů (ač zde vidíme výrazné rozdíly v metodikách). To je dobrá zpráva už jen proto, že víme, že metoda nestřílí zcela vedle.

delphi

Předpovídejte s Prediction Marketem

Ptejte se: Jan Fait

Ve zkratce

Prediction market je nástroj, kterým lze shromažďovat informace o názorech respondentů trochu jiným způsobem. Místo otázky „Co si myslíte“ se ptá na otázku „Co si myslí ostatní“. Jednotlivec se ve svém odhadu většinou mýlí. Někteří hodně, někteří méně, ale v průměru jsou jejich odhady velmi přesné. Potvrdily to studie z amerických prezidentských voleb i předpovědi prodejů společností HP, Microsoft a dalších. Náš Prediction Market a jeho matematický motor dává odhady respondentů dohromady, koriguje velké chyby a vytváří přesnou predikci.
Pro malou Case study pokračujte ve čtení..
Continue reading

Naše CAWI

Ptejte se: Jan Fait

Ve zkratce

Adaptace online technik možná už nezní jako budoucnost výzkumu, ale rozhodně je to přítomnost. V posledním roce jsme zapracovali na vývoji všeho, co by měl správný dotazovací systém pro CAWI mít. Jsme přesvědčeni, že náš iQuest vyspěl natolik, že se může trochu ukázat. Podívejte se na malý výběr našich technik v akci.

Continue reading