Метрики SAFe: результаты, поток, компетенции

Три области измерения SAFe определены так:

• Результаты: Отвечают ли наши решения потребностям наших клиентов и бизнеса?
• Поток: Насколько эффективна организация в предоставлении ценности клиенту?
• Компетентность: Насколько хорошо организация владеет методами, обеспечивающими гибкость бизнеса?

Эти измерения применимы на каждом уровне организации: портфель, программа, команда. Они могут использоваться для измерений в рамках портфеля, программы (поезда решения, поезда релизов, ART) и отдельной Agile-команды.

Наборы конкретных показателей каждой из областей описаны ниже.

Измерение результатов (outcomes) помогает определить, приносят ли усилия организации желаемую выгоду бизнесу. Измеряться могут:

• внешние вызовы, такие как увеличение выручки, удержание клиентов и др.,
• внутренние, такие как вовлеченность сотрудников.

Далее будет рассмотрено измерение результатов с помощью:

1. KPI
2. OKR
3. Цели итерации и Цели инкремента
4. Вовлеченность сотрудников

На уровне портфеля результаты измеряются в первую очередь посредством определения ключевых показателей эффективности (КПЭ, KPI). Каждый KPI – конкретный и поддающийся количественной оценке показатель бизнес-результатов от потока создания ценности (VSM) в рамках этого портфеля. Показатели результатов такого рода, как правило, зависят от компании, контекста, бизнес-модели и типа предоставляемых заказчику решений. Например,

• коэффициент конверсии клиентов может быть значимым показателем для электронной коммерции, но неприменим к производителю микрочипов.
• Тогда как некоторые показатели могут быть успешно применены в разных контекстах, например, оценка Net Promoter Score.

Статья "Ключевые показатели эффективности потока создания ценности" содержит рекомендации по определению соответствующих КПЭ, основанных на Стратегических темах для конкретного портфеля SAFe. Примеры ключевых показателей эффективности приведены на рис. 3.

1. KPI представляют собой текущие метрики «здоровья» для измерения общей эффективности бизнеса.
2. При этом KPI частично зависят от стратегических тем портфеля.
3. В свою очередь, стратегические темы сформулированы в формате OKR – определяют цели (Objectives) и ключевые результаты (Key Results), на достижение которых направлен портфель ради успеха в будущем.

Таким образом, ключевые результаты (KRs) формируют другой набор критически важных метрик, которые обычно измеряются ежеквартально, как показано на рис. 4 ниже.

В большом портфеле – отдельные OKR для каждого Value stream

В большом портфеле, состоящем из нескольких Потоков создания ценности (VS), может быть полезно создать для каждого потока отдельные OKR, согласованные со стратегическими темами портфеля.

В большом Value stream – отдельные OKR для каждой программы

В больших потоках создания ценности, состоящих из нескольких программ (поездов релизов, ART), этот процесс можно повторить – создать набор OKR, определяющих цели для каждой конкретной программы.

Такой подход позволяет сотрудникам на каждом уровне организации видеть прямое влияние своей работы на ключевые результаты (KR). Этот вариант подробнее описан в статье “OKR”.

Команды и программы (команды команд, поезда релизов) могут использовать локальные метрики результатов:

• цели итерации,
• цели инкремента программы (PI Objectives).

Они гарантируют, что усилия сосредоточены на потребностях клиента и бизнеса, обеспечивают обратную связь о прогрессе в достижении бизнес-результатов, информируют о процессе определения приоритетов, упрощают приемку работы.

Вовлеченность сотрудников измеряет степень, в которой люди чувствуют себя мотивированными и активно вовлеченными в поддержку достижения целей и ценностей организации. Более высокий уровень вовлеченности сотрудников приводит к более высокой эффективности, производительности и уровню инноваций. Верно и обратное – более низкий уровень вовлеченности сотрудников может привести к низкой мотивации и качеству работы, и высокой текучести кадров.
Существуют разные методы измерения вовлеченности сотрудников, и каждая организация должна определить, что подходит именно им. 

• Некоторые организации будут использовать ежегодное исследование вовлеченности сотрудников.
• Другие используют показатель Net Promoter Score сотрудников (eNPS), получая ответы по 10-балльной шкале на вопрос: «Насколько вероятно, что вы порекомендуете своего работодателя другим людями в качестве места работы?»

Какой бы подход ни был выбран, полученные данные должны использоваться для инициатив по повышению уровня вовлеченности сотрудников.

Выбор и настройка эффективных метрик результатов должны происходить в тесном сотрудничестве представителей портфелей и потоков создания ценности (VS) с бизнес-партнерами, поскольку именно они могут определить бизнес-выгоды, которые должны быть получены в результате инвестиций в решения.

Поток – это показатель того, насколько эффективно организация создает ценность. Созданный Миком Керстеном Flow Framework предлагает 5 показателей для измерения различных аспектов потока [Kersten, Mik. Project to Product. IT Revolution Press, 2018]. SAFe добавляет в этот перечень шестую метрику – предсказуемость потока – для измерения достижения запланированных целей.

Достижение гибкости бизнеса требует значительного уровня знаний по 7 ключевым компетенциям SAFe. Каждая компетенция может приносить пользу независимо, однако они взаимозависимы в том смысле, что истинная гибкость бизнеса проявляется только тогда, когда компания достигает существенного уровня владения всеми семью.

Измерение уровня организационной компетентности осуществляется с помощью 2 отдельных механизмов оценки, предназначенных для существенно разных аудиторий и целей:

• Оценка гибкости бизнеса по всем 7 компетенциям.
• Оценка каждой из 7 ключевых компетенций SAFe.

Механизм 1. Оценка гибкости бизнеса предназначена для заинтересованных лица от бизнеса и портфеля, чтобы они могли оценить свой общий прогресс в достижении конечной цели – истинной гибкости бизнеса.

Механизм 2. Оценки 7 ключевых компетенций SAFe предназначены для команд и программ (поездов релизов), чтобы им было понятнее, как улучшаться в части технических и бизнес-практик, необходимых для достижения портфелем более масштабной цели.
Для каждой компетенции – отдельная оценка. Для примера ниже показан результат оценки по компетенции “Agile уровня команд и техническая гибкость.” 

Каждая оценка проводится по стандартной схеме: сбор и анализ результатов, принятие мер, празднование успехов. Кроме того, возможен сравнительный анализ с конкурентами с помощью онлайн-инструментов оценки, доступных членам сообщества SAFe. Дополнительную информацию и доступ к оценкам можно найти в статье Measure & Grow.

Измерение эффективности организации – одна из наиболее чувствительных областей любого бизнеса, часто подверженная влиянию политики и различных дисфункций. Кроме того, поскольку измерение неизбежно включает в себя интерпретацию данных, оно подвержено когнитивным искажениям, коммуникационным проблемам и сбоям синхронизации. Все это приводит к рискам негативных последствий в любой системе метрик:
при неправильном внедрении некоторые измерения могут принести больше вреда, чем пользы.

1. Используйте метрики в сочетании с другими инструментами прояснения ситуации.
2. Применяйте метрики только там, где они помогают улучшать процесс принятия решений.
3. Принимайте во внимание влияние метрик на изменение поведения людей и организации.
4. Аккуратно интерпретируйте значения метрик.

Эти факторы успеха помогут направить компанию в сторону более эффективных метрик и, что более важно, в сторону лучших бизнес-результатов.

Любая измерительная система, как бы хорошо она ни была спроектирована, дает лишь частичную картину реальности, и простое добавление дополнительных метрик не обязательно улучшает прозрачность. За каждым числом стоит история, и эта история часто содержит больше важной информации, чем может передать само число. Мощным инструментом, который можно использовать в сочетании с метриками, является Gemba – непосредственное, прямое наблюдение за реальной средой: где ценность создается и где она используется потребителем. Формальные измерения и неформальные наблюдения усиливают друг друга. А если использовать их изолированно, то "управление только по цифрами" может привести к неважных результатам и понизить моральный дух сотрудников.

Распространенная ловушка, в которую можно попасть при применении метрик – слишком большое количество метрик. В нее попадают из-за боязни измерить недостаточно. Хотя многие показатели могут быть автоматизированы, по мере увеличения количества показателей и частоты измерений возрастут и усилия, необходимые для сбора и анализа данных.

При рассмотрении вопроса о том, следует ли включать дополнительную метрику в вашу систему измерений, будем полезным задать вопросы:

• Какие решения поможет принять эта новая метрика?
• Для принятия этих решений существующих метрик недостаточно?

Если новая метрика помогает лучше принимать решения, то она – кандидат на добавление в систему метрик. Если нет – оставьте ее.

Еще один полезный уточняющий вопрос:

• Нужно ли нам измерять это прямо сейчас?

В этом вопросе признается тот факт, что используемые метрики будут и должны со временем меняться, поскольку и принимаемые решения меняются на протяжении всего процесса разработки.

В позитивной культуре работниками умственного труда движет внутренняя мотивация предлагать выигрышные решения, использовать свою экспертизу, работать целеустремленно и автономно.
Однако, когда слишком много внимания уделяется конкретному числовому показателю, и когда этот показатель напрямую связан с компенсацией или возможностями карьерного роста, тогда не создание эффективных решений, а достижение этого показателя становится целью.

Кроме того, стремление преуспеть в этом часто приводит к неправильному использованию метрик. Например, эффективность потока может использоваться не для выявления системных проблем, требующих решения, а чтобы возложить вину за пропущенную дату поставки на конкретную команду или программу (поезд релизов), в работе которой произошла задержка. Возможно, первопричиной была нехватка ресурсов или изменение приоритетов, которые находились вне зоны контроля.

В любом случае, SAFe-ценности прозрачности и согласованности призваны обеспечивать хорошую основу для эффективной системы метрик наряду с созданием среды, в которой факты всегда доброжелательны.