Измерение эффективности мобильного приложения

Definition: What is user engagement?

Lets start by defining what User Engagement is and User Engagement Actions and why you should care.

Lincoln Murphy says user engagement is «when your customer is realising value from your SaaS.» More generally you can say «user engagement is when your customer is realising value from your product/service/website/app».

A good way to measure the value customers gain is their use of key User Engagement Actions. If a user is consistently performing key User Engagement Actions it is a good indication of engagement.

Key User Engagement Actions are specific to each product, so you’ll need to decide for your own business, but to give you an idea here are a few examples of certain types of User Engagement Actions for some different online businesses:

• Team Collaboration APP: Add Task, Complete Task, Invite Team Members
• A/B Test SaaS App: Create Test, Start Test, End Test, Share Results
• Online Billing APP: Create Invoice, Send Invoice, Receive Payment
• Publish an Event: For our own product our Key User Engagement Action is when users Publish a User Tracking Event.

So if you can measure your User Engagement by tracking User Engagement Actions, and then use that data to test and improve your user engagement, you are on the road to growth.

Что такое Ежемесячные активные пользователи (MAU)?

Ежемесячно активных пользователей (MAU) – это ключевой показатель эффективности (KPI), используемый социальными сетями и другими компаниями для подсчета количества уникальных пользователей, посетивших сайт за последний месяц. Веб-сайты обычно распознают активных пользователей за месяц по идентификационному номеру, адресу электронной почты или имени пользователя.

Ключевые моменты

• Ежемесячно активные пользователи (MAU) отслеживают количество уникальных пользователей, которые посещают веб-сайт или платформу за определенный период времени.
• Он используется в качестве эталона для определения производительности, роста или популярности интернет-сайтов.
• Проблема с MAU в том, что компании не используют одни и те же параметры при расчете MAU.
• Кроме того, нет отраслевых стандартов для определения ключевых терминов, таких как «пользователь» и «активный».

В каких случаях рекомендуется анализ

Проверить наличие микроальбуминурии стоит, если:

• проводится диагностика заболеваний почек любого генеза;
• доказано наличие сахарного диабета;
• у пациента есть признаки патологий сердечно-сосудистой системы;
• обнаружены аутоиммунные процессы (например, системная красная волчанка).

Лабораторное тестирование позволяет:

1. Провести раннюю диагностику поражения почек при артериальной гипертензии, сахарном диабете и иных потенциально значимых патологиях.
2. Оценить уровень риска для здоровья пациента.
3. Понять, эффективна ли терапия и требуется ли ее коррекция.

Важно знать! Микроальбуминурия – это ранний признак нарушения функции почек. Выявление на начальной стадии развития дает шансы на высокую результативность лечения

На что влияет Retention

Удержание — эта та метрика, показатели которой нужно отслеживать и по возможности повышать, потому что:

• Она влияет на размер аудитории. В целом, приток новых пользователей должен быть больше, чем отток. 

• Она влияет на доход от приложения. Чем дольше срок, на который нам удаётся удерживать в нём пользователя, тем он лояльнее, а, значит, тем выше вероятность того, что он совершит платёж. Если проект монетизируется при помощи подписной модели (регулярные платежи за пользование), то выгода ещё более прямолинейна — чем больше месяцев человек остаётся подписан, тем больше платежей от него мы получим. Большая, и при этом стабильная аудитория, зачастую является ключом к успеху.

Показатели этой метрики удобно сравнивать для разных когорт. Например, можно анализировать поведение пользователей после того, как в продукт были внесены изменения.

Она используется для расчёта Lifetime и LTV, которые также входят в список самых важных метрик проекта. При помощи их можно находить самые финансово привлекательные сегменты пользователей и выявлять их источники.

Common App and Website Engagement Metrics

Every business is different, and your users will behave differently from those of other businesses. Don’t just blindly adopt the following metrics, instead think about how useful they may be, or how there my be something similar in your business, and then focus in on one (or two) to measure.

You may try a few metrics until you find the best one for your business, but it’s totally worth it.

CASE STUDY: How one website used User Engagement Metrics to increase Sales 14.3%

Learn how marketer and growth hacker Rosanne used engagement and conversion data to grow sales 14.3% in 24 weeks.

Read the Case Study

USER ENGAGEMENT METRIC 1: DAU, WAU, MAU

DAU, WAU, MAU stand for Daily, Weekly, and Monthly Active Users, that is the unique amount of users who are «active» within a given amount of time.

DAU and MAU metrics have been used for years by websites and reflect the most basic way of measuring user engagement.

To use them well, you need to pay attention to the following:

(1) How you define Active User

The key lies in how you define «active» user. Is «user signed» in enough to define a user as «active»? Perhaps its better to to measure a more valuable action like «Update a Task», «Invite Collaborator», «Share Content» (see above). Lincoln Murphy goes into more detail on this here and its worth reading to better define your active users.

(2) By ignoring the absolute numbers and looking at the ratio

Some folks think DAU and MAU are pseudo vanity metrics and many have rejected them as meaningless. (Mixpanel calls them «bullshit metrics’). But, you can take more value by not looking at the absolute numbers, but by comparing the Daily Active Users with Monthly Active Users to calculate «stickiness» which is a measure of how much users are engaging with the product.

USER ENGAGEMENT METRIC 2: Stickiness, The DAU/MAU Ratio

Stickiness is generally calculated as the ratio of Daily Active Users to Monthly Active Users. A DAU/MAU ratio of 50% would mean that the average user of your app is using it 15 out of 30 days that month.

USER ENGAGEMENT METRIC 3: D1, D7, D30 User Retention

D1, D7 and D30 retentions are calculated as the percentage of users who are active at any time after 1 day, 7 days and 30 days of signing up or installing your app.

This is often shown in tabular form in tools like Woopra, Mixpanel and KISSmetrics cohorts analysis, but the most useful way to model the data though is as a Retention Curve.

Take a look at the sample Retention Curve shown below. This curve shows the percent of users that remain active after a period of time.

The retention curve has two key features:

• it tends to drop off really fast at the start (more later on this)
• the curve then (hopefully) tends to flatten out over time. If instead of flattening it hits hit zero, its a strong signal you urgently need to improve user engagement.

This is an incredibly useful way to measure your user engagement, and the aim over time is to move the curve upwards by working to improve your user engagement, both at the start when new users signup, as well as over time.

UPDATE (1): Amplitude is the only tool I’m aware of where you can quickly see the curve (please correct me if you know other tools that generate these curves!).

UPDATE (2): I wrote this article to show you how to create Retention Curves using Mixpanel Cohorts Data and Google Sheets.

USER ENGAGEMENT METRIC 4: Focus on W1 User Retention

Most new users are lost at the beginning, a short time after signup. For website and web-apps, typically 60-80% of new users are lost within the first week of signup. In mobile it can be 70-80% users lost after the first day.

Brian Balfour (Hubspot) says that 7 day, or «Week 1 Retention (W1)» «has one of the biggest impacts on your retention over time» because improvements that you make in week 1 retention carry through the entire retention curve.

Basically if you can get more people to engage early with your product, that will have a a ripple effect pulling the entire curve upwards (as shown in the arrow), so you’ll keep more customers, and hence grow faster. Nice!

Improving this metric is all about figuring out how to quickly get new users to experience the core value of the product in that critical first week. And the more people you get to experience that core value really quickly the more those users will tend to engage and retain with your product.

If you want to use Retention Curves Demonstrate how your Retention is improving via Engagement messages, here’s an earlier the article I wrote to show you how to create User Retention Curves using Mixpanel Cohorts Data and Google Sheets so you can see the improvement.

Сдаем урину на исследование правильно

Как сдавать анализ мочи МАУ? От правильности действий пациента при сборе выделений для этой диагностики многое зависит. Как и при других обследованиях, взятую для определения микроальбумина урину, нужно поместить в стерильный контейнер. Перед тем, как собирать выделяемую жидкость, человек должен обязательно проследить за гигиеной своих гениталий и при необходимости тщательно подмыться. Женщинам во время месячных запрещается сдавать мочу на исследование МАУ.

Забор выделений для подобной диагностики следует выполнять согласно следующему плану:

• Определяют концентрацию альбумина в урине, собранной в течение суток (24 часа). Эту процедуру принято начинать в 8 часов утра первого дня, а заканчивать в 8 утра второго.
• Анализ мочи на МАУ иногда требует забора средней порции выделяемой жидкости. Это значит, что сначала нужно помочиться в унитаз, затем небольшим количеством урины наполнить баночку (не до краев, примерно 50-60 мл).
• Если же для исследования собирается суточная моча, то весь объем выделений помещается в общую посуду (обязательно стерилизованную). Содержат данный биоматериал в темном и достаточно прохладном месте.
• Вся урина, выделенная за сутки пациентом, измеряется в миллилитрах. Результаты подсчетов вносятся в специальную графу на бланке с направлением.
• Затем весь биологический материал перемешивается, чтобы осевшие на дне резервуара белковые вещества распределились в ней равномерно. В чистую посуду отливают до 80-100 мл жидкости, необходимой для проведения анализа МАУ.
• Подготовленный непосредственно для исследования контейнер должен отправиться в лабораторию как можно быстрее. Оставшиеся выделения можно вылить – они больше не нужны.
• Также на бланке с направлением указывают массу тела пациента и его рост, так как эти показатели влияют на количество альбумина в моче. Специалист учитывает их при выполнении диагностики.

How to calculate daily active users (DAU)

Daily active users are calculated using the total number of unique users on a given day. These calculations take into account any new users who have downloaded the app, and any existing users who have logged in or taken an action within the app.

DAU is a popular metric, especially in the IPO technology sector, where daily user counts can cause shares to plummet or skyrocket on any given day.

For DAU to provide value for your SaaS startup, it should be looked at in combination with a wider range of measurements that give you insights into how engaged and how valuable users are finding your product.

Daily active users shouldn’t be relied on as a standalone metric

Relying on your daily active user count as a growth indicator can give you a wildly misleading picture of your SaaS business. Say, for example, your product gets media coverage that results in 500 new signups every day for a week. It’s cause for celebration when you look at your business growth from this perspective.

What the DAU doesn’t show you in cases like this is the percentage of those same users who sign up and forget about your product on day one, or the users who sign up but get no value from using it and eventually churn out. Unless you can sustain this level of new user sign-ups organically, your DAU metrics will eventually plummet again as they correct themselves against outside drivers such as PR, media coverage, and advertising campaigns.

Основные факторы, способные повлиять на установление уровня белка

На сегодняшний день основными факторами, позволяющими определить точное количество альбумина в урине, являются различные методы исследований. Прежде всего, для получения правильного результата потребуется получить мочу, собирать нужно в течение суток. При этом чаще всего за основу берется только утренняя порция. Может использоваться та, которую собрали на протяжении 4 часов до обеда. Это позволит в случае необходимости выявить выводимые пропорции белка и креатинина.

Во время исследования применяются специальные тестовые полоски, используя которые позволяют в значительной степени ускорить получение информации. Это связано с тем, что у них имеется определенный предел чувствительности, позволяющий осуществлять различные виды исследований. Особенно если потребуется провести повторное исследование урины на объем мау.

В ряде случаев, следует учитывать, что выделение альбумина будет полностью зависеть от того, в какое время суток был взят анализ. К примеру если его взяли ночью, то уровень будет значительно ниже. Это связано с тем, что тело находится в горизонтальном положении, а значит более низкое давление. Зато после физических нагрузок, уровень белка в моче значительно увеличивается. А при приеме противовоспалительных лекарственных средств – наоборот падать.

На качество собранного материала могут повлиять различные факторы, такие как:

• возраст пациента;
• его физическая масса;
• расовая принадлежность;
• текущее артериальное давление;
• имеются ли вредные привычки, такие как курение.

Все это особенно важно учитывать, если необходимо получить качественные данные относительно состава урины. Такое правило было разработано на основе многолетних проведенных исследований

При правильном соблюдении всех условий, есть возможность определить и своевременно начать лечение различных видов почечных болезней.

Installs

Количество установок приложения.

Как и с чем считать

Чтобы посчитать количество переходов в стор и установок, трекер не нужен: эти данные можно посмотреть в самом магазине приложений.

Если вы хотите оценить эффективность платного трафика, то здесь необходимо ориентироваться на рекламную метрику Conversion Rate (CR). Если 100 пользователей кликнули по объявлению, но только 10 из них в итоге скачали приложение, то CR будет равен 10%.

Данные об установках приложения в интерфейсе myTracker.Данные об установках приложения в интерфейсе myTracker.

Средние показатели

По установкам все индивидуально, в зависимости от жанра. Для общего понимания, можно посмотреть данные других похожих приложений в магазинах.

Четыре разновидности Retention

1. Day N Rolling Retention (повторяющееся удержание N-го дня) — это процент пользователей, которые вернулись в приложение в N день с момента установки или позже. Например, если один пользователь вернулся в приложение на 14 день и на 45 день, а второй пользователь — на 44 день, то при расчёте Day 14 Rolling Retention, они будут считаться двумя пользователями, вернувшимися на 14 день.

2. Day N Return Retention (возвратное удержание N-го дня) – это процент пользователей, которые вернулись хотя бы один раз за N дней. Например, при расчёте Day 21 Return Retention, будут учитываться все пользователи, зашедшие в приложение хотя бы один раз в любой из дней с первого по двадцать первый.

3. Day N Bracket-Dependent Return Retention (диапазонное удержание N-го дня) — это процент пользователей, хотя бы один раз вернувшихся в приложение в промежуток со дня M до дня N, где параметр M ограничивает временной диапазон для возврата пользователей. Например, M — 14, тогда Day 20 Bracket-Dependent Return Retention покажет процент пользователей, которые запускали приложение с 14 по 20 день с момента установки. Фактически, это частный случай возвратного удержания N-го дня.

4. Day N Full Retention (полное удержание N-го дня) — это процент пользователей, которые заходили в приложение каждый день до дня N. Например, Day 5 Full Retention — это процент пользователей, которые заходили в приложение в 1, 2, 3, 4 и 5 дни с момента установки.

Проходите наши бесплатые онлайн-курсы, раскрывающие разные стороны геймдева и аналитики

Правила

В игре обычно используется 32-карточный колода, либо колода французских мастеров, из которой удалены двойки, тройки, четверки, пятерки и шестерки, либо, особенно в Европе, 32-карточная немецкая колода . Для более чем 5 игроков могут использоваться 2 колоды карт.

Цель состоит в том, чтобы первым избавиться от всех своих карт. В большинстве случаев победитель должен будет что-то сказать в этот момент, обычно «Мау». Если они не говорят этого, они не выигрывают и вместо этого должны взять штрафные карточки. Если последней картой игрока является валет, он должен ответить иначе, обычно говоря «Мау-Мау».

Перед началом игры игрок, не являющийся дилером, срезает колоду 4 раза. Если они вырезают 1-3 важные карты, им разрешается оставить их, если они захотят. Однако, если четыре карты, на которых вырезаны карты, являются картами силы, колоду необходимо перетасовать, и разрезание повторяется. Каждому игроку сдается по руке карт (обычно 5 или 6). Остальные кладутся лицевой стороной вниз в виде ложи или стопки. В начале игры открывается самая верхняя карта и кладется лицом вверх на стол, после чего игроки по очереди разыгрывают свои карты.

Карту можно сыграть только в том случае, если она соответствует масти или достоинству открытой карты. Например, если это 10 пик, можно сыграть только другую пику или еще одну 10 (но см. Ниже о валетах). Если игрок не может этого сделать, он берет одну карту из стопки; Если они могут разыграть эту карту, они могут это сделать; в противном случае они оставляют вытянутую карту и пасуют в свой ход. Когда стопка для вытягивания пуста, игровая стопка (за исключением самой верхней карты) перемешивается и переворачивается, чтобы служить новой стопкой для вытягивания.

7, 8, валет и туз всех мастей являются важными картами:

• Если разыгрывается 7, следующий игрок должен взять две карты, но может сыграть. (Вариант игры позволяет игроку, стоящему лицом к 7, сыграть еще 7, и в этом случае игрок слева от него должен взять 4 карты из колоды, если у него тоже нет 7, затем 6, затем 8.)
• Любая 8 заставляет следующего игрока пропустить свой ход. (Вариант игры позволяет игроку, стоящему лицом к 8, сыграть еще 8, и в этом случае следующий игрок после него должен сыграть еще 8 или пропустить ход и т. Д.)
• Валет любой масти эквивалентен джокеру, и его можно сыграть на любой карте. Затем игрок, который ее разыгрывает, выбирает масть карты. Затем следующий игрок играет так, как если бы валет был выбранной масти.
• Если разыгрывается туз, с ним должна быть сыграна еще одна карта . Если у игрока нет другой карты, или он не может следовать по масти или номеру, то игрок должен взять карту из колоды. Если последняя карта игрока — туз, он не может выиграть в этот ход.
• Когда у игрока осталась только одна карта, он должен сказать «Мау» (даже если это туз); если эта карта — валет, они должны сказать «Мау-Мау». Неудача означает, что игрок должен взять карту.
• Если игра засчитана и выигрышная карта — валет, то все очки проигравшим удваиваются.

Активные пользователи (Active Users)

Количество человек, загрузивших приложение, не обязательно равняется числу реальных пользователей

Поэтому важно отслеживать активность пользователей. Есть две метрики, которые помогут посчитать, сколько людей на самом деле используют приложение

Ежедневно активные пользователи (DAU). Это число покажет, сколько людей не могут обойтись ни дня без приложения.

Метрика отражает, именно сколько человек пользуется приложением, а не количество сессий. Каждый пользователь учитывается системой только один раз, независимо от того, сколько раз в день он запускает приложение.

DAU можно рассчитать для конкретного дня или посчитать среднее значение за определенный период.

Другая метрика — ежемесячно активные пользователи (MAU) — количество пользователей, которые взаимодействовали с приложением в течение месяца или периода 30 дней.

Например, если 10000 человек пользовались приложением 20000 раз за последние 30 дней — показатель MAU равен 10000.

Чтобы отследить эти метрики, можно использовать Google Analytics, где активный пользователь — это человек, который открыл и взаимодействовал с приложением в течение последних 30 дней. Всего четыре сегмента: уникальные пользователи, открывшие сессии в течение 1 дня, 7 дней, 14 дней и 30 дней.

DAU и MAU можно также использовать, чтобы рассчитать метрику Stickiness — лояльность — она оценивает, как часто пользователи возвращаются в приложение. Лояльность вычисляется путем деления DAU на MAU и измеряется в процентах.

Чем выше процент, тем чаще пользователи используют приложение. Если процент увеличивается со временем — еще лучше. Чем ближе значение DAU к MAU, тем выше уровень лояльности. Это значит, что ежемесячно активные пользователи возвращаются чаще.

Например, DAU — 5000, а MAU — 10000:

5000/10000 = лояльность 50%.

Категории отчетов

Финансовые (Financial & Audience)

• Revenue – выручка проекта.
• MAU, DAU – объем активной аудитории (за месяц, за день).
• LTV – Live Time Value, пожизненный доход с одного игрока (самый простой критерий окупаемости: LTV > CPI, количество заработанных с игрока денег превысило затраты на привлечение этого игрока).
• ROI – Return On Investment, показатель возврата инвестиций (сколько долларов заработали за каждый вложенный в проект доллар). Часто под ним понимают ROMI – возврат маркетинговых вложений, т.к. затраты на разработку продукта обычно фиксированы, а маркетинг тратит огромные средства ежемесячно.

Classic ROI Rolling ROI

Привлечение (Acquisition)

• CPI, CPA – Cost Per Install, Cost Per Action, стоимость привлечение (за инсталл, за некое оговоренное действие).
• CAC – Customer Acquisition Cost – сумма, которую платят для привлечения нового клиента
• Conversions – конверсии продвижения по вехам игры.
• Day by day Retention by channels – удержание по сегментам и различным каналам привлечения (источники трафика, рефералы, органика).

Хороший пример – закупка трафика в RJ Games. Коллеги ежедневно анализируют долгосрочное предсказание ROI, которое строит аналитическая система по первым дням закупки. В итоге они оптимизируют рекламные компании так, чтобы максимизировать выручку, ROI и LTV.

Вовлечённость (Engagement)

• Когортный Rolling Retention – ключевая метрика удержания. Подробнее расскажу ниже.
• Sticky Factor – насколько игрок «залипает» в игре, отношение DAU/MAU.
• PU, PPU – Paying Users (количество платящей аудитории), Percentage of Paying Users (доля платящей аудитории относительно DAU).
• APRU, ARPDAU – Average Revenue per User, количество денег в среднем, которое приносит активный пользователь (за месяц, за день). В этом блоке также смотрят ARPPU –среднемесячную выручку с одного платящего игрока.

А теперь пример использования этих показателей на практике. Мне повезло принимать участие в разработке мобильной игры «Эволюция: Герои Утопии» (My.Com). Запустив проект в Soft Launch, мы внимательно следили за его метриками. Некоторое время процент платящих игроков был близок к постоянной величине. И это было хорошо. Но в один момент он начал падать, хотя мы не заливали в стор никаких апдейтов. Что произошло? Мы выдвинули две гипотезы:

1. Кончился контент для высокоуровневых игроков.
2. В трафике стало меньше платящей аудитории.

До того, как смотреть сложные отчёты о поглощении контента игроками, и сегментировать аудиторию на когорты по источникам трафика и датам заливки, мы провели очень простое наблюдение. Я наложил динамику DAU на график падения PPU по дням и увидел чёткую корреляцию: чем больше росло DAU, тем сильнее падал PPU (даже с учётом запаздывания). Верный признак того, что заливка даёт трафик с меньшим процентом платящих, нежели они заливали раньше. Более сложный анализ подтвердил эту версию. Конкретно, в случае «Эволюции», это было правильное с точки зрения закупки решение, позволившее оптимизировать расходы. Дело в том, что основной задачей тестирования был анализ динамики retention и sticky-factor, а монетизационные показатели проекта анализировались уже позже.

Виды Retention

• Classic Retention – процент людей, которые начали игру, например, неделю назад, зашли в конкретный день. Этот показатель сильно зависит от игры: её жанра и платформы. Так, например, для клиентских игр месячный ретеншн может достигать 40%. У мобильных и социальных игр это показатель обычно значительно меньше – 2-5%.
• Rolling Retention – доля людей, вернувшихся в игру в выбранный день или любой последующий.Такой показатель точнее отражает удержание, т.к. охватывает весь временной интервал. К примеру, Rolling Retention 28-го дня учтём в расчёте людей, которые не заходили в игру на 28-й день, но вернулись в 35-й. Тонкость в расчёте данной величины заключается в выборе интервала, в течение которого мы отнесём пользователя к категории вернувшихся самостоятельно. Дело в том, что возврату могли поспособствовать специальные акции, ивенты или особая маркетинговая компания. В этом случае пользователь должен быть отнесён к категории reengagement, т.к. на его решение о возврате были затрачены средства, и они должны быть учтены при расчёте ROI.
• Full Retention – процент людей, заходящих в игру каждый день начиная со дня регистрации.
• Return Retention – обратный от rolling, сколько людей заходили в любой из дней до определенного включительно.
• Bracket-dependent Return Retention – определяет пользователей, заходивших в игру в определенном интервале.

Похожие записи:

Федеральная служба по регулированию алкогольного рынка Бизнес-план создания интернет-магазина одежды Уставный капитал: назначение, проводки, особенности отражения в учете Медведев избран главой попечительского совета фонда «сколково». выручка за год превысила 100 миллиардов Эффективное коммерческое предложение: от написания до сделки Какие положительные и отрицательные качества назвать на собеседовании