Większości funkcjonalności w produktach prawie nikt nie używa. Każda linijka kodu napisanego by działały kosztuje. Najpierw płacimy za jej stworzenie, potem komplikuje system zwiększając koszty rozwoju. By lepiej podejmować decyzje produktowe warto mierzyć wpływ wprowadzanych zmian na zachowania klientów.
Idealna miara produktowa jest prosta w interpretacji, daje się obserwować niemal codziennie a jej zmiana ma związek z wynikami firmy. Żeby ją znaleźć trzeba pokonać kilka poziomów kaskady wskaźników schodząc od finansów do zachowania użytkowników.
Miary kierunkowe
Dla właścicieli firm ważne są zyski i dywidendy. Inwestorów startupów interesuje wzrost liczby klientów czy stałego miesięcznego przychodu (MRR). Wyniki finansowe są zrozumiałe, ale nawet gdy sprzedaż da się monitorować każdego dnia, trudno powiedzieć w jakim stopniu wpływa na nią produkt.
Każda miara ma dwie składowe poziom niżej. Zysk to przychody minus koszty. Przychody to – upraszczając – liczba użytkowników razy sprzedaż na użytkownika. Liczba użytkowników to suma pozyskanych i powracających. Pierwsza część zależy od skuteczności marketingu. Dopiero na drugą ma wpływ sam produkt.
To już trzeci poziom poniżej wyniku: Powracalność > Popularność > Przychody > Zysk. Wymienione dotąd miary to tzw. wskaźniki opóźnione – każda ma wiele składowych i zwykle znana jest dopiero po jakimś czasie. Powracalność mówi np. czy w produkcie wszystko w sumie ma dla użytkowników sens. Nie daje informacji o pojedynczej, właśnie wprowadzonej zmianie. Do tego potrzebne są tzw. miary kierunkowe lub wyprzedzające. Nie ma tu już prostych i uniwersalnych metryk.
Miary pracy zespołu
Autorzy książki “4DX czyli 4 dyscypliny realizacji” opisują historię załóg samolotów, w których “sprawdzanie checklisty” użyte jako KPI (Kluczowy Wskaźniki Wydajności) przyczyniło się do poprawy bezpieczeństwa lotów. Zachowanie pracowników może więc wpływać na wyniki. Prowadzi to czasem do pomysłów w stylu “uśmiechy pracowników” jako wskaźnik kierunkowy dla sprzedaży w sklepie. Zanim ktoś zdecyduje się je monitorować powinien przetestować, czy naprawdę działa.
Podobnie jest z metrykami pracy zespołu, który rozwija produkt. Firmy próbują mierzyć tempo wprowadzania zmian przez programistów. To może prowadzić do szybkiego dostarczania rzeczy niepotrzebnych. Żeby było trudniej, sprawdzanie checklist i liczba wdrażanych zmian w czasie mają znaczenie. Pracę projektantów można monitorować za pomocą miary “data ostatniej rozmowy z użytkownikiem”. Są takie KPI, choć na pierwszy rzut oka wygląda to absurdalnie. Wymuszenie regularności rozmów produktowców z użytkownikami może mieć tylko dobre skutki. W rozwoju oprogramowania większa liczba wdrożeń na tydzień dobrze świadczy o zespole i procesie, jednak tylko połączona ze wskaźnikiem pokazującym jak wiele z nich nie powodowało błędów.
Najlepiej jednak gdy te miary monitoruje sam zespół by poprawiać swoją pracę. Nawet gdy wyglądają dobrze, to nie oznacza, że każda zmiana w produkcie ma sens. Choć często jest to skorelowane, miar pracy zespołu nie da się użyć do mierzenia jakości produktu. O niej można się dowiedzieć tylko obserwując co robią użytkownicy.
Miary zdrowia
Gdy użytkownicy produktu są zadowoleni regularnie korzystają, skłonni są płacić i polecają produkt. By poznać zadowolenie klientów firmy stosują ankiety Net Promoter Score (NPS), w których użytkownicy deklarują czy poleciliby produkt. To nie oznacza, że rzeczywiście to robią. Bliższe prawdy są napisane opinie (np. w sklepie z aplikacjami) a najwięcej mówią rzeczywiste rekomendacje. Opinie i polecenia to zachowania. Są ważniejsze niż deklaracje, jednak również one pojawiają się późno i rzadko dotyczą jednej zmiany (chyba, że wywołuje ona niezadowolenie). Dlatego ciągle są to miary opóźnione.
Gdy w 2008 Google wprowadzało na rynek Chrome zespół rozwijający produkt znalazł parametr, który wpływał na lojalność użytkowników: czas w jakim program pokazuje ściągniętą stronę. Udało się ustalić, że użytkownicy wolą szybsze przeglądarki i da się w tym temacie sporo poprawić. Programiści dostali miarę, która ma wpływ na sukces produktu, jest łatwa w pomiarze i zależy tylko od ich pracy. Takie cechy ma Święty Graal metryk produktowych.
Ta opisana w książce “Measure what matters” historia pokazuje kategorię miar, które mówią czy produkt robi dobrze to, co powinien. Dotyczą technicznej doskonałości. Na najniższym poziomie jest tu awaryjność. Wyżej – najczęściej parametr związany z czasem. Pokazywanie stron jest kluczową funkcją przeglądarek. Mogą to robić lepiej (szybko) lub gorzej, a w pewnym zakresie różnica może decydować o wyborze produktu.
Gdy poprawa jest możliwa i opłacalna trzeba się nią zająć w pierwszej kolejności. Warto w nią inwestować do pewnego poziomu. Powyżej zmiana będzie trudna do osiągnięcia, a użytkownicy nie odczują efektu. Taki poziom może stać się wskaźnikiem KPI mówiącym o “zdrowiu” produktu. Będzie służył do weryfikacji, czy wdrażane zmiany nie powodują, że program działa wolniej. Nie pokaże, czy poprawiły jakość produktu w oczach użytkownika.
Nie powie tego również sam NPS, który daje najwięcej informacji, gdy dzieje się źle. Sama niezawodność i brak powodów do niezadowolenia to za mało by zdobywać rynek i poprawiać produkt. By poznać efekt wprowadzanych zmian trzeba mierzyć jak wpływają na zachowanie użytkowników.
Sukces produktu – Gwiazda Północna
Firmy coraz częściej stosują miarę znaną jako “Gwiazda północna” (NS, North Star). Z założenia jest ona główną liczbą łączącą zachowanie użytkownika z wynikami biznesu, dotyczy użycia najważniejszych funkcji produktu, odzwierciedla jego wartość i potwierdza, że produkt rozwija się w pożądany sposób.
Netflix za swoją Gwiazdę Północną uznał “procent użytkowników, którzy w czasie pierwszej wizyty dodali przynajmniej trzy filmy do kolejki”. Spotify – czas spędzony na słuchaniu muzyki. Burger King w aplikacjach mierzył liczbę transakcji na użytkownika natomiast AirBnb – liczbę zarezerwowanych nocy. Mamy tu dość proste miary biznesowe (AirBnb) i bardzo złożone metryki zachowania użytkownika (Netflix).
Obietnica jaka stoi za NS jest duża a jej identyfikacja tylko pozornie łatwa. Czasem kończy się ustalaniem wymyślnego algorytmu. Nie trzeba tego robić, bo Gwiazda Północna nadal jest miarą opóźnioną i potrzebuje kilku miar wyprzedzających. Lepiej zacząć od nich i tak będą potrzebne. Sama koncepcja NS może ułatwić poszukiwanie, ale jak przekonał się Amazon (przy innej okazji), proste metryki składowe są bardziej użyteczne niż złożone.
By je znaleźć trzeba poznać użytkownika, jego potrzeby i drogę przez produkt. Założenie jest takie: jeśli produkt dobrze się rozwija, zadowolenie użytkowników rośnie i w efekcie korzystają z niego częściej i chętniej. Trzeba znaleźć miary zachowań stojących za tymi słowami. Można się wspierać frameworkiem miar produktowych z Google: HEART (Happiness, Engagement, Adoption, Retention, Task Success / Task Completion). Kolejność zdarzeń jest inna niż w skrócie. Sprawdzamy jak szybko użytkownicy znajdują daną funkcję (Adoption), czy robi to co powinna (Task Success / Task Completion) i jak jest to wygodne (Happiness). Zadowolenie będzie wpływać na statystyki wykorzystania (Engagement, Retention). Już weryfikacja częstotliwości użycia może pokazać, że z funkcjonalności prawie nikt nie korzysta.
Miary produktowe
W produktach cyfrowych niemal wszystko da się zmierzyć, co nie oznacza, że trzeba to robić. Bardzo łatwo zakopać się w próbach stworzenia “pełnej analityki”. Lepiej zacząć od priorytetów – określać w OKR co trzeba poprawić i szukać wskaźników pokazujących sukces i postęp. Często taka podróż zaczyna się od miar zdrowia, ponieważ problemy z nimi związane są ewidentne, ich znalezienie jest dość łatwe a związki z wynikiem proste.
Ustalanie zestawu miar produktowych trwa. Każdą trzeba przetestować potwierdzając jej związek z wynikami. Nawet znanym firmom proces zajął lata, na szczęście można skorzystać z ich doświadczeń. Na koniec w produkcie powinien funkcjonować zestaw metryk, które mówią, czy wszystko dobrze działa (KPI) oraz okresowo dobierane KR, które dotyczą postępu aktualnie wprowadzanych zmian.
Temat metryk w produkcie technologicznym jest względnie nowy. Mówi się o tym na konferencjach, ukazują się kolejne książki, ale praktyka nie jest powszechna. Tymczasem bez dobrych miar w rozwoju produkuje się głównie straty.
