By podejmować lepsze decyzje o rozwoju produktu warto mierzyć wpływ wprowadzanych zmian na zachowanie użytkowników. Trzeba też ustalić relacje między opisującymi je metrykami a wynikami biznesu.

Większości funkcjonalności w produktach nikt nie używa, a w firmach, które niemal wszystko testują tylko połowa wprowadzanych zmian daje oczekiwane rezultaty. Dlatego dziś lepiej nie rozwijać produktów bez użycia metryk.

Idealna miara produktowa jest prosta w interpretacji, daje się obserwować niemal codziennie a jej zmiana ma związek z wynikami firmy. Żeby ją znaleźć trzeba zbudować drzewo wskaźników schodząc od finansów do zachowania użytkowników.

Miary kierunkowe

Dla właścicieli firm ważne są zyski i dywidendy. Wyniki finansowe są zrozumiałe, ale nawet gdy sprzedaż da się monitorować każdego dnia, trudno powiedzieć w jakim stopniu wpływa na nią produkt.

Możemy przyjąć, że każda miara ma dwie składowe. Zysk to przychody minus koszty. Przychody to – upraszczając – liczba użytkowników razy średni przychód na użytkownika. Liczba użytkowników to suma pozyskanych i powracających. Pierwsza część zależy od głównie od marketingu. Dopiero na drugą ma wpływ sam produkt.

To już trzeci poziom w dół: Powracalność < Popularność < Przychody < Zysk.

Wszystkie wymienione dotąd metryki to tzw. wskaźniki opóźnione – każdy ma wiele składowych i znany jest dopiero po jakimś czasie. Powracalność mówi np. czy w produkcie wszystko w sumie ma dla użytkowników sens. Nie daje informacji o pojedynczej zmianie. Do tego potrzebne są tzw. wskaźniki kierunkowe lub wyprzedzające. Nie ma tu już prostych i uniwersalnych metryk.

Miary pracy zespołu

Autorzy książki “4DX czyli 4 dyscypliny realizacji” opisują historię załóg samolotów, w których “sprawdzanie checklisty” użyte jako KPI (Kluczowy Wskaźniki Wydajności) przyczyniło się do poprawy bezpieczeństwa lotów. Zachowanie pracowników może więc wpływać na wyniki. Prowadzi to czasem do pomysłów w stylu “uśmiechy pracowników” jako wskaźnik kierunkowy dla sprzedaży w sklepie. Zanim ktoś zdecyduje się je monitorować powinien przetestować, czy naprawdę działa.

Podobnie jest z metrykami pracy zespołu, który rozwija produkt. Firmy próbują mierzyć tempo wprowadzania zmian przez programistów. To może prowadzić do szybkiego dostarczania rzeczy niepotrzebnych. Żeby było trudniej, sprawdzanie checklist i liczba wdrażanych zmian w czasie mają znaczenie. Pracę projektantów można monitorować za pomocą miary “data ostatniej rozmowy z użytkownikiem”. Są takie KPI, choć na pierwszy rzut oka wygląda to absurdalnie. Wymuszenie regularności rozmów produktowców z użytkownikami może mieć tylko dobre skutki. W rozwoju oprogramowania większa liczba wdrożeń na tydzień dobrze świadczy o zespole i procesie, jednak tylko połączona ze wskaźnikiem pokazującym jak wiele z nich nie powodowało błędów.

Najlepiej jednak gdy te miary monitoruje sam zespół by poprawiać swoją pracę. Nawet gdy wyglądają dobrze, to nie oznacza, że każda zmiana w produkcie ma sens. Choć często jest to skorelowane, miar pracy zespołu nie da się użyć do mierzenia jakości produktu. O niej można się dowiedzieć tylko obserwując co robią użytkownicy.

Metryki zdrowia

Gdy użytkownicy produktu są zadowoleni regularnie korzystają, skłonni są płacić i polecają produkt. By poznać zadowolenie klientów firmy stosują ankiety Net Promoter Score (NPS), w których użytkownicy deklarują czy poleciliby produkt. To nie oznacza, że rzeczywiście to robią. Bliższe prawdy są napisane opinie (np. w sklepie z aplikacjami) a najwięcej mówią rzeczywiste rekomendacje. Opinie i polecenia to zachowania. Są ważniejsze niż deklaracje, jednak również one pojawiają się późno i rzadko dotyczą jednej zmiany (chyba, że wywołuje ona niezadowolenie). Dlatego ciągle są to miary opóźnione.

Gdy w 2008 Google wprowadzało na rynek Chrome zespół rozwijający produkt znalazł parametr, który wpływał na lojalność użytkowników: czas w jakim program pokazuje ściągniętą stronę. Udało się ustalić, że użytkownicy wolą szybsze przeglądarki i da się w tym temacie sporo poprawić. Programiści dostali miarę, która ma wpływ na sukces produktu, jest łatwa w pomiarze i zależy tylko od ich pracy. Takie cechy ma Święty Graal metryk produktowych.

Ta opisana w książce “Measure what matters” historia pokazuje kategorię miar, które mówią czy produkt robi dobrze to, co powinien. Dotyczą technicznej doskonałości. Na najniższym poziomie jest tu awaryjność. Wyżej – najczęściej parametr związany z czasem. Pokazywanie stron jest kluczową funkcją przeglądarek. Mogą to robić lepiej (szybko) lub gorzej, a w pewnym zakresie różnica może decydować o wyborze produktu.

Gdy poprawa jest możliwa i opłacalna trzeba się nią zająć w pierwszej kolejności. Warto w nią inwestować do pewnego poziomu. Powyżej zmiana będzie trudna do osiągnięcia, a użytkownicy nie odczują efektu. Taki poziom może stać się wskaźnikiem KPI mówiącym o “zdrowiu” produktu. Będzie służył do weryfikacji, czy wdrażane zmiany nie powodują, że program działa wolniej. Nie pokaże, czy poprawiły jakość produktu w oczach użytkownika.

Nie powie tego również sam NPS, który daje najwięcej informacji, gdy dzieje się źle. Sama niezawodność i brak powodów do niezadowolenia to za mało by zdobywać rynek i poprawiać produkt. By poznać efekt wprowadzanych zmian trzeba mierzyć jak wpływają na zachowanie użytkowników.

Sukces produktu – przykłady metryki North Star

Firmy coraz częściej stosują metrykę znaną jako “Gwiazda północna” (NS, North Star). Z założenia jest ona główną liczbą łączącą zachowanie użytkownika z wynikami biznesu, dotyczy użycia najważniejszych funkcji produktu, odzwierciedla jego wartość i potwierdza, że produkt rozwija się w pożądany sposób.

Netflix za North Star uznał “procent użytkowników, którzy w czasie pierwszej wizyty dodali przynajmniej trzy filmy do kolejki”,

Spotify – czas spędzony na słuchaniu muzyki,

Burger King – mierzył liczbę transakcji na użytkownika aplikacji,

AirBnb – liczbę zarezerwowanych nocy.

Mamy tu dość proste miary biznesowe (AirBnb) i bardzo złożone metryki zachowania użytkownika (Netflix).

Obietnica jaka stoi za NS jest duża a jej identyfikacja tylko pozornie łatwa. Czasem kończy się ustalaniem wymyślnego algorytmu. Nie trzeba tego robić, bo Gwiazda Północna nadal jest miarą opóźnioną i potrzebuje kilku miar wyprzedzających. Lepiej zacząć od nich i tak będą potrzebne. Sama koncepcja NS może ułatwić poszukiwanie, ale jak przekonał się Amazon (przy innej okazji), proste metryki składowe są bardziej użyteczne niż złożone.

By je znaleźć trzeba poznać użytkownika, jego potrzeby i drogę przez produkt. Założenie jest takie: jeśli produkt dobrze się rozwija, zadowolenie użytkowników rośnie i w efekcie korzystają z niego częściej i chętniej. Trzeba znaleźć miary zachowań stojących za tymi słowami. Można się wspierać frameworkiem miar produktowych z Google: HEART (Happiness, Engagement, Adoption, Retention, Task Success / Task Completion). Kolejność zdarzeń jest inna niż w skrócie. Sprawdzamy jak szybko użytkownicy znajdują daną funkcję (Adoption), czy robi to co powinna (Task Success / Task Completion) i jak jest to wygodne (Happiness). Zadowolenie będzie wpływać na statystyki wykorzystania (Engagement, Retention). Już weryfikacja częstotliwości użycia może pokazać, że z funkcjonalności prawie nikt nie korzysta.

Metryki produktowe

W produktach cyfrowych niemal wszystko da się zmierzyć, co nie oznacza, że trzeba to robić. Bardzo łatwo zakopać się w próbach stworzenia “pełnej analityki”. Lepiej zacząć od priorytetów – określać w OKR co trzeba poprawić i szukać wskaźników pokazujących sukces i postęp. Często taka podróż zaczyna się od miar zdrowia, ponieważ problemy z nimi związane są ewidentne, ich znalezienie jest dość łatwe a związki z wynikiem proste.

Ustalanie zestawu miar produktowych trwa. Każdą trzeba przetestować potwierdzając jej związek z wynikami. Nawet znanym firmom proces zajął lata, na szczęście można skorzystać z ich doświadczeń. Na koniec w produkcie powinien funkcjonować zestaw metryk, które mówią, czy wszystko dobrze działa (KPI) oraz okresowo dobierane KR, które dotyczą postępu aktualnie wprowadzanych zmian.

Temat metryk w produkcie technologicznym jest względnie nowy. Mówi się o tym na konferencjach, ukazują się kolejne książki, ale praktyka nie jest powszechna. Tymczasem bez dobrych miar w rozwoju produkuje się głównie straty.