Czym jest conversion lift?

Google i Facebook zaczynają umożliwiać reklamodawcom prowadzenie eksperymentów conversion lift. Upowszechnienie tego sposobu mierzenia skuteczności reklam może wywrócić do góry nogami metodologię modelowania atrybucji, a na konwersje już nigdy nie będziemy patrzeć tak, jak dotychczas. Czym jest coversion lift i na czym polega przełom, którego może dokonać w analityce skuteczności marketingu?

Śledzenie konwersji

Nasze podejście do mierzenia efektywności marketingu online nie zmieniło się istotnie od czasów narodzin pojęcia konwersji. Jeżeli użytkownik kliknął w reklamę, a następnie – w okresie zwanym oknem konwersji – dokonał transakcji, to uznajemy, że reklama konwertuje na sprzedaż.

Na konwertujące kampanie jesteśmy w stanie przeznaczyć dowolny budżet, jednak pod warunkiem, że generują one dodatni zwrot z inwestycji. Popularność reklamy w wyszukiwarkach i potęga finansowa Google’a zostały zbudowane właśnie na tej koncepcji.

Na konwersjach po kliknięciu opiera się cały marketing efektywnościowy i programy afiliacyjne.

Konwersje po kliknięciu w kontekście reklamy display lub wideo zazwyczaj nie wyglądają już tak dobrze. A właściwie trzeba zacząć od tego, że reklamy te są stosunkowo rzadko klikane. Bywa, że ich współczynnik klikalności wynosi ułamek procenta. Przy nierzadko dwucyfrowym CTR reklam w wyszukiwarce jest to wartość znikoma.

Z drugiej strony, billboardów ulicznych, reklamy prasowej, radiowej czy telewizyjnej też nikt nie klika. A przecież nie przeszkadza to reklamodawcom inwestować w nie miliardowych sum. Wiemy przecież, że te reklamy działają.

Kiedy jednak w raportach pojawiają się nam konwersje po wyświetleniu reklamy, podchodzimy do nich z rezerwą. Owszem, reklama została wyświetlona, ale czy była widoczna? Czy użytkownik zwrócił na nią uwagę? Jeśli tak, to w jakim stopniu wpłynęło to na jego decyzję?

Rys. 1. Reklamy wideo mają niewielką klikalność, znikomą w porównaniu z CTR reklamy w wyszukiwarce. Z drugiej strony, nikt nie klika reklam outdoor, radiowych czy telewizyjnych – a mimo to oddziałują one na odbiorców.

Ścieżki wielokanałowe

W 2019 r. pojęcie wielokanałowych ścieżek konwersji nie jest już nowością. Wiemy, że konwersja najczęściej jest wynikiem wielu interakcji – kliknięć, ale również wyświetleń skutkujących obejrzeniem lub usłyszeniem reklamy.

Modelowanie atrybucji pozwala nam podzielić wygenerowane przychody i przypisać je poszczególnym kanałom. Do dyspozycji mamy szereg gotowych modeli: liniowy, rozkładu czasowego, uwzględnienia pozycji – by wymienić te najważniejsze. W Google Analytics dostępne są też modele niestandardowe, w których samodzielnie decydujemy o regułach przypisywania konwersji konkretnym interakcjom.

Rys. 2. Na ścieżce znajdują się kliknięcia i wyświetlenia różnych reklam. Uzyskany z konwersji dochód może zostać im przypisany z wykorzystaniem różnych modeli atrybucji.

Modele te mają jedną wspólną wadę. Jest nią konieczność podejmowania arbitralnych decyzji na temat tego, który z modeli wybrać, jakie wagi przypisać poszczególnym źródłom, jak podchodzić do kliknięć, wyświetleń i innych interakcji.

Aby rozwiązać ten problem, stworzono modele algorytmiczne, takie jak stosowany przez Google’a model Data Driven czy inne modele oparte o łańcuchy Markowa. Wykorzystują one elementy teorii gier do określenia znaczenia poszczególnych „graczy”, którzy reprezentują źródła, kampanie czy słowa kluczowe. Źródłem danych dla algorytmów jest analiza ścieżek prowadzących i nie prowadzących do konwersji, która pozwala oszacować wagę danego kanału w generowaniu konwersji. Rysunek 3 przedstawia metodologię modelu Data Driven wykorzystywanego przez Google’a.

Rys. 3. Metodologia atrybucji opartej na danych (Data Driven). Z porównania ścieżek konwersji wynika, że pojawienie się na ścieżce reklamy display zwiększa prawdopodobieństwo konwersji o 50%.

Modele algorytmiczne nie są jednak panaceum i często prowadzą do błędnych konkluzji. Dlaczego? Opierają się one o analizę korelacji, na podstawie której stawiane są hipotezy o istnieniu związków przyczynowo-skutkowych między interakcjami i konwersją. Tyle, że jeśli dana interakcja często pojawia się na ścieżce, to owszem, może to wskazywać, że ma ona wpływ na konwersje, ale nie jest tego dowodem.

Rys. 4. Korelacja może być przesłanką, ale nie jest dowodem na istnienie związku przyczynowo-skutkowego. Zastosowanie metodologii atrybucji opartej na danych w tym przypadku doprowadziło do wniosku, że bociany zwiększają prawdopodobieństwo narodzin dziecka.

Spójrz na Rysunek 4. Metodologia Data Driven zastosowana do danych demograficznych doprowadziła do wniosku, że obecność bocianów przyczynia się do przyrostu naturalnego. Taki „model atrybucji” powiedziałby nam: „twórzmy więcej siedlisk bocianów, a dzięki temu będzie więcej narodzin!”.

Oczywiście wiemy, że bociany nie mają z tym nic wspólnego. Po prostu na wsi rodzi się więcej dzieci, a bociany – z zupełnie innych powodów – przeważnie osiedlają się na terenach wiejskich. Eksperyment, w którym w podobnych warunkach nastąpiłoby zmniejszenie lub zwiększenie populacji bocianów, nie wykazałby zmian w dzietności ludzi.

Co tak naprawdę chcemy osiągnąć?

Celem modelowania atrybucji nie jest stworzenie skomplikowanego modelu. Marketerzy potrzebują jedynie odpowiedzi na pytanie, o ile faktycznie wzrosła sprzedaż dzięki wybranej kampanii. Ilu klientów moglibyśmy stracić, gdyby tę kampanię ograniczyć? Jeśli zrezygnowalibyśmy z tej reklamy, to jaka część naszych klientów i tak dokonałaby zakupu?

Aby zmierzyć, jak wzrosła sprzedaż dzięki danej kampanii, należałoby porównać użytkowników, którzy widzieli reklamę, ze statystycznie identyczną grupą kontrolną osób, która reklamy nie widziała.

Niestety, od strony technicznej nie zawsze jest to możliwe do przeprowadzenia. O ile konwersje użytkowników, którzy oglądali reklamy, jesteśmy w stanie śledzić, to problem pojawia się w przypadku monitoringu grupy kontrolnej, która nie miała styczności z naszą reklamą.

Dotychczas takie pomiary były możliwe wyłącznie w remarketingu, gdyż tu reklamodawca dysponuje własnymi plikami cookie i może tworzyć listy użytkowników, którym zablokuje wyświetlenie reklamy (zob. np. bit.ly/test-remarketingu). Udostępnienie narzędzi conversion lift przez Facebooka i Google’a pozwoliło na przeprowadzenie takiego badania w kampanii prospektingowej.

Conversion lift, czyli badanie wzrostu konwersji

Conversion lift jest eksperymentem, w którym potencjalni odbiorcy reklamy określeni na podstawie kryteriów targetowania, dzieleni są na dwie grupy: testową i kontrolną. Użytkownikom z grupy testowej reklama jest normalnie wyświetlana. W grupie kontrolnej w momencie, gdy system reklamowy kwalifikuje reklamę do wyświetlenia (np. w wyniku wygrania aukcji), wyświetlenie reklamy zostaje zablokowane. Zamiast niej użytkownik zobaczy inną reklamę, ale dzięki plikom cookie i danym logowania będziemy mogli śledzić późniejsze zachowania tego użytkownika.

Po zakończeniu eksperymentu porównywane są konwersje w obydwu grupach. W grupie kontrolnej odnotujemy użytkowników, którzy skonwertowali, mimo że nie została im wyświetlona reklama. Odejmując tę liczbę od liczby konwersji w grupie testowej, która reklamy oglądała, otrzymamy przyrost konwersji uzyskany dzięki reklamie.

Rys. 5. Zasada działania eksperymentu conversion lift. Różnica między konwersjami w grupie testowej i kontrolnej określa konwersje wygenerowane dzięki danej kampanii, bez tych, które były od niej niezależne.

W ten oto prosty sposób realizujemy empiryczny pomiar przyrostu konwersji. Jest to dokładna i w zasadzie niepodważalna odpowiedź na pytanie o opłacalność danego kanału w kategoriach marketingu efektywnościowego. Aż dziw, że tak długo musieliśmy czekać na jej wprowadzenie przez gigantów reklamowych.

Conversion lift określa konwersje wygenerowane dzięki danej kampanii, bez tych, które były od niej niezależne.

Case study

Rumuńskie biuro podróży Vola.ro przeprowadziło kampanię YouTube. Reklama przekonywała, że styczeń jest najlepszym momentem na zakup biletów lotniczych na przyszłe podróże, ponieważ statystyki wskazują, że w tym czasie ich ceny są najkorzystniejsze.

• Kampania uzyskała 17 mln wyświetleń i współczynnik oglądalności na poziomie 47% (dane liczbowe są poglądowe, część z nich mogła zostać zmodyfikowana celem zachowania poufności danych klienta).
• System Google Ads naliczył 1832 konwersje po obejrzeniu reklamy.
• Dodatkowo odnotowano 635 konwersji wśród użytkowników, którzy pominęli lub przerwali oglądanie reklamy.
• Konwersji po kliknięciu było jedynie 16 (wg danych Google Analytics).

W zestawieniu z kosztami kampanii efekt post-click był mizerny. Z drugiej strony, konwersji post-view było bardzo dużo. Kilkumilionowy zasięg kampanii wskazywał jednak, że prawdopodobnie dotarła ona również do wielu użytkowników, którzy już wcześniej byli na ścieżce konwersji (np. kliknęli reklamę w wyszukiwarce lub po prostu znali markę i była ona dla nich pierwszym wyborem przy zakupie biletów lotniczych).

Rzeczywiście, kampania YouTube była jedyną interakcją zaledwie u 4% użytkowników, którzy mieli ją na swojej ścieżce konwersji. Pozostali mieli interakcje również z innymi kanałami reklamowymi. Jest zatem prawdopodobne, że konwersje te w znacznej mierze uzyskano nie w wyniku kampanii YouTube, ale dzięki pozostałym działaniom reklamowym. Jaka część tych klientów dokonałaby zakupu bez obejrzenia filmu YouTube?

Odpowiedzi na to pytanie mógł dostarczyć jedynie eksperyment conversion lift. Jego wyniki były następujące:

• W grupie testowej odnotowano 2495 konwersji.
• W grupie kontrolnej zarejestrowano 1831 konwersji.

Różnica to 664 konwersje. O tyle właśnie zwiększyła się sprzedaż dzięki inwestycji w tę kampanię YouTube. Dla celów porównawczych wykonano również analizy z zastosowaniem różnych modeli atrybucji, w tym modelu opartego o łańcuchy Markowa.

Rys. 7. Wyniki kampanii YouTube. Conversion lift wykazał, że oddziaływanie kampanii YouTube jest znacznie większe niż efekt post-click, ale prawie dwukrotnie niższe niż wynika to z algorytmicznych modeli atrybucji.

Eksperyment wykazał, że kampania YouTube miała dużą skuteczność i przyczyniła się do wzrostu sprzedaży wielokrotnie bardziej, niż wynika to z nielicznych konwersji po kliknięciu. Z drugiej strony, potwierdziły się obawy, że wpływ kampanii jest znacznie niższy, niż wynika to z konwersji po obejrzeniu reklamy (trzykrotna różnica). Eksperyment wykazał też ułomność modeli algorytmicznych (model Markowa wykazał o 87% więcej udziału w konwersjach niż pomiar conversion lift).

Conversion lift dla każdego

Badanie przyrostu konwersji dostarcza twardych dowodów na skuteczność (lub nieskuteczność) kampanii reklamowych. Co prawda możliwość stosowania eksperymentów conversion lift jest jeszcze dość ograniczona, ale wprowadzenie tej metodologii stanowi przełom. Jeśli zostanie ona zaadoptowana na szerszą skalę przez algorytmy optymalizacyjne, umożliwi to im realne weryfikowanie hipotez o znaczeniu poszczególnych kanałów dla generowania konwersji. Miejmy nadzieję, że nastąpi to już w niedalekiej przyszłości.

Chciałbyś dowiedzieć się więcej o modelowaniu atrybucji i optymalizacji konwersji? Sprawdź szkolenie Witolda Wrodarczyka!