O krok przed Facebookiem, czyli o takim jednym zastosowaniu modelu regresyjnego.

O krok przed Facebookiem, czyli o takim jednym zastosowaniu modelu regresyjnego.
Oceń artykuł!

Właśnie policzyłeś średnią ruchomą i jesteś z siebie dumny. My też jesteśmy z Ciebie dumni
🙂 Jednak, jeśli to koniec Twoich obliczeń, to jesteś statystykiem w 2%. Spokojnie, my też nie jesteśmy nimi na maksa. Statystyka, choć to tylko jeden z działów matematyki, jest potężnym zbiorem twierdzeń i ciągle prowadzonych badań. Ważne, by złapać bakcyla, ciągle testować, nie zniechęcać się, aż zobaczymy realny efekt, który z kolei przyczyni się do złapania jeszcze większego bakcyla. 🙂
Bakcyla mamy od zawsze, dlatego zdecydowaliśmy się posunąć z analizami dalej.
Jeden z naszych Klientów – duże przedsiębiorstwo piwowarskie – zawierzył naszym wnioskom budżet potrzebny na wprowadzenie badań w życie, bo prowadzanie kampanii powierzył już dawno. Dzięki temu my zyskaliśmy dane do testowania oraz pewność, że nasze analizy przyniosły rezultaty, a Klient zyski w postaci zoptymalizowanych wydatków. Na czym polegało badanie?

Predykcja optymalnego poziomu inwestycji na wsparcie postów Facebook.

W przypadku standardowej licytacji (CPM, CPC) możemy ustalić maksymalną stawkę i wziąć udział w licytacji. W przypadku oCPM płacimy za 1000 wyświetleń, nie ma tutaj możliwości ustalenia maksymalnej stawki – system ustala ją automatycznie. W zamian za to, algorytm wyświetla reklamy tym użytkownikom, którzy są potencjalnie najbardziej zainteresowani spełnieniem celu kampanii. Przykładowo – jeśli celem kampanii jest zaangażowanie pod postem, system będzie wyświetlał reklamę tym użytkownikom, którzy historycznie często angażowali się w treści marek. Efekt można zwiększyć poprzez odpowiednie targetowanie (demografia, zainteresowania, połączenia społecznościowe). Podczas kampanii prowadzonych stosowaliśmy właśnie ten model rozliczenia. Za przeznaczoną kwotę uzyskujemy odpowiedni zasięg, wyświetlenia, kliki oraz najważniejsze – zaangażowanie użytkownika (może to być like, komentarz, udostępnienie czy wyświetlenie zdjęcia).

Pytanie, jaką kwotę przeznaczyć, by uzyskać odpowiednie i większe zaangażowanie użytkownika? Postanowiliśmy przewidzieć te kwoty. To zmienna, którą objaśnialiśmy. Nie posłużyła nam do tego wbrew pozorom szklana kula, a odpowiednio zbudowany model regresyjny.

Dla niewtajemniczonych, analiza regresji to zaawansowane metody statystyczne badające zależności pomiędzy zmiennymi i pozwalające na ich podstawie na przewidywanie nieznanych wartości zmiennych ciągłych dla ustalonych wartości innych zmiennych.
Przykładowo wiedząc, że trzy lata pod rząd 7 lipca w Islandii o 10 nad ranem było +10stopni, na pytanie o temperaturę 7 lipca o 10 nad ranem w Islandii za rok model odpowiedziałby, że 10 stopni. Tym razem udało się znaleźć odpowiedź gołym okiem, ale jaka temperatura byłaby 8 kwietnia o 17? Z mniejszym lub większym prawdopodobieństwem modele statystyczne są w stanie takie rzeczy przewidzieć.

Zebraliśmy więc maksymalnie wiele informacji, które mogłyby pokazywać zależności w stosunku do zmiennej objaśnianej oraz maksymalnie wiele obserwacji historycznych. Obserwacje to rzecz jasna pakiet informacji o publikowanych wcześniej postach wraz z informacją o przeznaczonej na nie kwotą. W przypadku modeli regresyjnych moc statystyczna modelu jest większa, im więcej obserwacji mamy do nauczenia modelu. Jest też pewna zależność związana z ilością uwzględnionych zmiennych. Tu kolejna ważna kwestia, czyli jakie zmienne w modelu uwzględnić? Szereg procesów służy określeniu tego: badanie korelacji, współczynniki istotności w dopasowanym modelu, kryteria eliminacji wstecznej… Nie tylko zmienne włożone do modelu są niewiadomą. Także zależność występująca między zmienną objaśnianą a zmiennymi objaśniającymi nie jest znana. Jak dobrać odpowiedni model?

Screen poniżej przedstawia dane na początku procesowania.

Najłatwiej jak można – podzielić zbiór w stosunku 2:1. Na większej części należy model budować, na mniejszej zaś testować (nigdy nie należy testować modelu na obserwacjach, na których się uczył). R^2, czyli współczynnik determinacji jest wyznacznikiem dopasowania modelu. Im wartość bliższa 1, tym lepszy model. Następnie na zbiorze testowym staraliśmy się uzyskać jak najmniejszy błąd predykcji. Udało nam się osiągnąć R^2 na poziomie 87%, co jest bardzo satysfakcjonującym wynikiem oraz najmniejszy błąd predykcji na poziomie średnio 19% błędu.

Nauczeni doświadczeniem oraz mając na uwadze przeszkody napotkane podczas zbierania i obróbki zbioru danych, wiemy że jest to poziom satysfakcjonujący. Testy błędów predykcji były procesem długim, opiewającym na wiele statystycznych metod. Wszystko po to, by mieć jak największa pewność, że w sposób optymalny zarządzimy budżetem Klienta.

Przygotowaliśmy, więc dla Klienta klika wersji przewidywanych kosztów z ustalonymi na różnych poziomach wartościami zaangażowaniem, wyświetleniami itd. Tym razem nie było to tylko przeczucie, że „na oko najlepiej przeznaczyć kwotę X zł”, choć nadal zgodnie z intuicją, że im większa przeznaczona kwota, tym lepsze efekty. Tym razem wiedzieliśmy więcej na temat tego jak zarządzać zaangażowaniem, jakimi kwotami dysponować, by wydawać pieniędzy w okresie nas nieinteresującym.
Objaśniliśmy Klientowi istotę funkcjonowania całego systemu, po czym dostaliśmy zielone światło do działania.

Częstotliwość publikowania postów zmusiła do trzymiesięcznego oczekiwania na pełną listę wyników, co zmniejszyło wpływ ewentualnej sezonowości. Nie omieszkaliśmy jednak monitorować sytuacji już wcześniej. Po tym czasie można było podsumować przedsięwzięcie. W trakcie trwania analizy nie zmienialiśmy wcześniej ustalonego targetowania użytkowników. Nie chcieliśmy by ten aspekt miał wpływ na rezultaty badania.

Oczywiście, tak jak było wspomniane na początku, nie może powiedzieć Facebook’owi: ‘chcę mieć tyle i tyle zasięgu’, czy wyświetleń. Nadal jedynym polem do wypełnienia jest przeznaczona na wsparcie postu kwota. Dlatego nie łatwo też było efektywność tego modelu zmierzyć w praktyce.

Postanowiliśmy jednak spojrzeć jak przy dokładnie przez nas rekomendowanej kwocie układa się współczynnik Zaangażowanie / Przeznaczona kwota. Dla przypomnienia zaangażowaniem były wszystkie możliwości wejścia w interakcję z postem: like, komentarz, udostępnienie czy wyświetlenie zdjęcia.
Średnio dla danych historycznych wynosił on około 8.04 akcji na 1EUR, teraz wynosi 11.46 akcji za 1EUR, co daje około 42,5% lepsze wyniki.

Nie było problemem bowiem uzyskać większe zaangażowanie za większą kwotę. Ważne, by to zaangażowanie było kupione taniej. Oczywiście w jakimś stopniu rozjechały się przewidywane wartości zasięgu, czy wyświetleń, jednak takich różnic nie da się uniknąć nigdy. Te wyniki usatysfakcjonowały zarówno nas jak i Klienta.
W naszej ocenie cały przedstawiony powyżej proces można zastosować do innych usług jak np. kampanie Adwords.

Redaktor