By podejmować decyzje o rozwoju produktu warto mierzyć wpływ wprowadzanych zmian na zachowania klientów. By to robić dobrze, trzeba znaleźć relację między opisującymi je metrykami a wynikami biznesu.

Idealna miara produktowa jest prosta w interpretacji, daje się obserwować niemal codziennie a jej zmiana ma związek z wynikami firmy. Takie cechy mają metryki wyprzedzające zwane też kierunkowymi.

Miary kierunkowe

Dla właścicieli firm ważne są zyski i dywidendy. Wyniki finansowe są zrozumiałe dla wszystkich, ale nawet gdy sprzedaż da się monitorować każdego dnia, trudno powiedzieć w jakim stopniu wpływają na nią zmiany w produkcie. Żeby znaleźć powiązania, można przyjąć, że każda miara ma dwie składowe poziom niżej.

Zysk to przychody minus koszty. Przychody to liczba użytkowników razy sprzedaż na użytkownika. Liczba użytkowników to suma pozyskanych i powracających. Pierwsza część zależy od skuteczności marketingu. Dopiero na drugą ma wpływ sam produkt.

To już trzeci poziom poniżej wyniku: Powracalność > Popularność > Przychody > Zysk. Wymienione dotąd miary to tzw. wskaźniki opóźnione – każda ma wiele składowych i zwykle znana jest dopiero po jakimś czasie. Powracalność mówi np. czy w produkcie wszystko w sumie ma dla użytkowników sens. Nie daje informacji o pojedynczej, właśnie wprowadzonej zmianie. Do tego potrzebne są tzw. miary kierunkowe lub wyprzedzające. Nie ma wśród nich prostych i uniwersalnych metryk.

Metryki zdrowia

Gdy w 2008 Google wprowadzało na rynek Chrome zespół rozwijający produkt znalazł parametr, który wpływał na lojalność użytkowników: czas w jakim program pokazuje ściągniętą stronę. Udało się ustalić, że użytkownicy wolą szybsze przeglądarki i da się w tym temacie sporo poprawić. Programiści dostali miarę, która ma wpływ na sukces produktu, jest łatwa w pomiarze i zależy tylko od ich pracy. Takie cechy ma Święty Graal metryk produktowych.

Ta opisana w książce “Measure what matters” historia pokazuje kategorię miar, które mówią czy produkt robi dobrze to, co powinien. Dotyczą technicznej doskonałości. Na najniższym poziomie jest tu awaryjność. Wyżej – najczęściej parametr związany z czasem. Pokazywanie stron jest kluczową funkcją przeglądarek. Mogą to robić lepiej (szybko) lub gorzej, a w pewnym zakresie różnica może decydować o wyborze produktu.

Gdy poprawa jest możliwa i opłacalna trzeba się nią zająć w pierwszej kolejności. Warto w nią inwestować do pewnego poziomu. Powyżej zmiana będzie trudna do osiągnięcia, a użytkownicy nie odczują efektu. Taki poziom może stać się wskaźnikiem KPI mówiącym o “zdrowiu” produktu. Będzie służył do weryfikacji, czy wdrażane zmiany nie powodują, że program działa wolniej. Nie pokaże, czy poprawiły jakość produktu w oczach użytkownika.

Nie powie tego również sam NPS, który daje najwięcej informacji, gdy dzieje się źle. Sama niezawodność i brak powodów do niezadowolenia to za mało by zdobywać rynek i poprawiać produkt. By poznać efekt wprowadzanych zmian trzeba mierzyć jak wpływają na zachowanie użytkowników.

Sukces produktu – przykłady metryki North Star

Firmy coraz częściej stosują metrykę znaną jako “Gwiazda północna” (NS, North Star). Z założenia jest ona główną liczbą łączącą zachowanie użytkownika z wynikami biznesu, dotyczy użycia najważniejszych funkcji produktu, odzwierciedla jego wartość i potwierdza, że produkt rozwija się w pożądany sposób.

Netflix za North Star uznał “procent użytkowników, którzy w czasie pierwszej wizyty dodali przynajmniej trzy filmy do kolejki”, Spotify – czas spędzony na słuchaniu muzyki, Burger King – mierzył liczbę transakcji na użytkownika aplikacji natomiast AirBnb – liczbę zarezerwowanych nocy. Mamy tu dość proste miary biznesowe (AirBnb) i bardzo złożone metryki zachowania użytkownika (Netflix).

Obietnica jaka stoi za NS jest duża a jej identyfikacja tylko pozornie łatwa. Czasem kończy się ustalaniem wymyślnego algorytmu. Nie trzeba tego robić, bo Gwiazda Północna nadal jest miarą opóźnioną i potrzebuje kilku miar wyprzedzających. Lepiej zacząć od nich i tak będą potrzebne. Sama koncepcja NS może ułatwić poszukiwanie, ale jak przekonał się Amazon (przy innej okazji), proste metryki składowe są bardziej użyteczne niż złożone.

By je znaleźć trzeba poznać użytkownika, jego potrzeby i drogę przez produkt. Założenie jest takie: jeśli produkt dobrze się rozwija, zadowolenie użytkowników rośnie i w efekcie korzystają z niego częściej i chętniej. Trzeba znaleźć miary zachowań stojących za tymi słowami. Można się wspierać frameworkiem miar produktowych z Google: HEART (Happiness, Engagement, Adoption, Retention, Task Success / Task Completion). Kolejność zdarzeń jest inna niż w skrócie. Sprawdzamy jak szybko użytkownicy znajdują daną funkcję (Adoption), czy robi to co powinna (Task Success / Task Completion) i jak jest to wygodne (Happiness). Zadowolenie będzie wpływać na statystyki wykorzystania (Engagement, Retention). Już weryfikacja częstotliwości użycia może pokazać, że z funkcjonalności prawie nikt nie korzysta.

Metryki produktowe

W produktach cyfrowych niemal wszystko da się zmierzyć, co nie oznacza, że trzeba to robić. Bardzo łatwo zakopać się w próbach stworzenia “pełnej analityki”. Lepiej zacząć od priorytetów – określać w OKR co trzeba poprawić i szukać wskaźników pokazujących sukces i postęp. Często taka podróż zaczyna się od miar zdrowia, ponieważ problemy z nimi związane są ewidentne, ich znalezienie jest dość łatwe a związki z wynikiem proste.

Ustalanie zestawu miar produktowych trwa. Każdą trzeba przetestować potwierdzając jej związek z wynikami. Nawet znanym firmom proces zajął lata, na szczęście można skorzystać z ich doświadczeń. Na koniec w produkcie powinien funkcjonować zestaw metryk, które mówią, czy wszystko dobrze działa (KPI) oraz okresowo dobierane KR, które dotyczą postępu aktualnie wprowadzanych zmian.

Temat metryk w produkcie technologicznym jest względnie nowy. Mówi się o tym na konferencjach, ukazują się kolejne książki, ale praktyka nie jest powszechna. Tymczasem bez dobrych miar w rozwoju produkuje się głównie straty.