Журнал Пилота: недельные сводные показатели
Журнал ведётся по неделям и когортам, без отдельных строк на каждую продуктовую задачу. Данные берутся из существующих трекера, Git, журналов платформы и наблюдаемых действий людей. Детальная форма учёта задач пока не вводится.
Пилот начинается по чек-листу готовности. Правила показателей — в метриках, организация мониторинга — в гайде РП, настройка сбора — в гайде ИИ-инженера. Каждая запись содержит текущие недельные итоги, сводку созревшей когорты и следующий план.
Агент заполняет блоки по выбранным показателям проекта; неподключённые показатели помечаются явно. Источники, алгоритмы и проверки находятся в навыке, который настраивает ИИ-инженер сопровождения. N, исходы и ограничения данных сохраняются при любом выборе показателей.
Ведение журнала, подготовку общего отчёта/презентации и представление показателей организует РП внедрения. РП клиента предоставляет факты и обязательства своей команды, проверяет аномалии оценок; ИИ-инженер обеспечивает работу автоматического сбора. Решения принимаются на общих встречах, каждый РП обеспечивает их исполнение своей стороной.
Контекст записи
- Проект, поток, версия правил и ответственные за сводку: …
- Выбранные показатели и версия навыка сборки: …
- Неделя отчёта: год, номер, даты, часовой пояс: …
- Когорта результата: год, неделя запуска, даты и отсечка: …
- Статус когорты: предварительный / итоговый / исправленный, версия: …
- Рабочий календарь людей и интервалы дня/ночи для инференса: …
- Ссылки на источники, пробелы данных и изменения условий: …
- Ежедневный сбор: охваченные даты …; пропущенные/частично собранные даты …; ссылки на запуски и пересборки …; версии процесса, плана мониторинга и навыка … .
- Запуски, для которых не установлена передача готовых требований и когорта: число …; причины и уточнения …
Когорта определяется первым подтверждённым допуском готовой задачи через чат или заданный статус трекера по маршруту агента, а не датой любого вызова агента, создания MR или завершения задачи. События всех выбранных показателей относятся к этой когорте.
Рекомендация: окно оценки когорты — неделя формирования плюс период наблюдения за когортой: две следующие недели. В начале недели 28 публикуется итог когорты 25. Текущие когорты показываются предварительно, отдельно от итоговых. Повторить блоки 1–5 для каждой рассматриваемой когорты; не смешивать разные окна оценки когорт.
1. Состав когорты
| Показатель | Число | Доля от всех запусков N | Изменение к предыдущей сопоставимой когорте / пояснение |
|---|---|---|---|
| Всего задач в когорте N | … | 100%, если N > 0 | … |
| Решено агентом S | … | S/N | … |
| Не решено агентом — передано человеку H | … | H/N | … |
| Отменено C | … | C/N | Причины |
| Просрочено P: к отсечке нет решения, передачи или отмены | … | P/N | Причины процесса |
| Отменено или просрочено C+P | … | (C+P)/N | Сводный показатель с сохранением двух составляющих |
| Ещё открыто U — только для предварительной когорты | … | U/N | До отсечки это не просрочка |
Для итоговой когорты N = S + H + C + P; предварительно N = S + H + C + U. Передача человеку должна быть фактической, с принятым продолжением работы; намерение передать не считается. Ручное завершение после передачи не превращает H в S. Поздний исход P не меняет итоговую группу.
2. Замечания по решённым задачам
Три распределения по одним и тем же S решённым задачам. В каждом канале задача учитывается один раз. Между каналами задачи пересекаются — складывать их количества нельзя.
| Канал | Без замечаний | С одним | С двумя и более | Не проверено / нет данных | Неприменимо | Всего |
|---|---|---|---|---|---|---|
| К коду | … | … | … | … | … | S |
| К автотестам | … | … | … | … | … | S |
| По результатам тестирования человеком | … | … | … | … | … | S |
«Без замечаний» означает, что соответствующая проверка проведена и замечаний не было, а не отсутствие комментариев. Доли 0/1/2+ считать от проверенных применимых задач в своём канале; рядом показать этот знаменатель. Отсутствие обязательных тестов — пробел или замечание, а не автоматическая неприменимость.
- Единица — отдельное содержательное замечание, требующее исправления. Повтор того же замечания не увеличивает счётчик.
- Учитываются замечания людей обеих сторон к предъявленному результату; собственная отладка агента не пополняет эти счётчики автоматически.
- Количество замечаний не равно количеству циклов доработки: в одном цикле их может быть несколько.
- Необоснованные замечания и новые требования отделяются от дефектов исходного результата.
- Метод человеческой проверки: собственное тестирование / проверка доказательств / сочетание — …; изменения режима — …
- Существенные дефекты, в том числе при небольшом числе замечаний: …
3. Трудозатраты и время решения
Объём и оценка экономии
| Показатель | Значение | Полнота и основание |
|---|---|---|
| P1: объём N в идеальных человеко-часах | … | Способ: агент / команда; предварительных оценок … / итоговых …; если не все N оценены — известная сумма отдельно, полный объём н/д |
| Объём S / H / C / P (или U до отсечки) | … / … / … / … | По последним доступным версиям оценок переданного объёма; предварительные и итоговые оценки различаются, история и причины изменений сохраняются; суммы сверяются при полном покрытии |
| P3: оценка экономии на S, часы и доля | … / …; диапазон … | E − H по одному составу работ; обе оценки доступны для … из S |
| P4: автономность по трудозатратам, если выбрана | … % / н/д | Выполненный принятый объём E …; труд людей по всем задачам H …; факт / оценка; покрытие …; HOTL и доделки учтены …; расчёт по P4 |
| Дополнительно: эффект потока Vₛ − Hₙ | … | Только при полном учёте; не подменяет экономию на S |
| Подготовка до передачи, если вне границ E/H | … | Отдельно от TTM и экономии после готовых требований |
Исходная оценка обычной человеческой работы не меняется задним числом ради результата. Неоценённое и неучтённое — «н/д», отрицательная экономия сохраняется. Объём N не является завершённым объёмом агента. Формулы — в мониторинге.
Оценённые затраты и TTM
| Показатель | Значение | Объём данных / ограничение |
|---|---|---|
| Оценённые трудозатраты людей на задачи когорты, человеко-часы | …; диапазон … | Достаточно данных по … из N; версия навыка …; без времени работы платформы, токенов и стоимости платформы |
| Из них по исходам S / H / C / P | … / … / … / …; диапазоны … | Сумма совпадает с общим итогом; при пробелах известная часть отдельно, полный итог н/д |
| На решённую задачу S: среднее / медиана человеко-часов | … / … | Число задач с данными |
| P2: TTM решённых S, медиана / среднее календарного времени | … / … | От передачи готовых требований до выбранного конца; число наблюдений и покрытие S |
| База сравнения и изменение к цели | … | Сопоставимая группа, размер выборки, качество |
Учитываются оценённые трудозатраты людей, в том числе по переданным, отменённым и просроченным задачам; они не входят в метрику успешного решения S, но видны в трудозатратах потока. Передача человеку завершает агентский результат H; оценённые затраты наблюдаемой дальнейшей ручной работы в окне оценки когорты показываются в H отдельно от затрат до передачи. Неизвестные затраты отмечаются как пробел.
Проверка аномалий оценённых трудозатрат
Сводку и список аномалий агент формирует автоматически по правилам оценки. В недельный список входят только аномалии идеальных часов и оценок участия людей, с источником (агент / команда), основанием отбора и статусом разбора. РП клиента проверяет только этот список. Обычные оценки используются без индивидуального подтверждения; очереди всех задач на проверку и запросов часов участникам нет.
Согласование оценок независимо от их источника выполняется по общему порядку.
-
Согласование сводки: версия …; дата …; РП клиента …; РП внедрения … / не назначен; результат и ограничения …
-
По видам оценок: аномалии идеальных часов …; аномалии участия людей …; ссылки на основания отбора …
- Автоматическая сводка и список аномалий: ссылка …; версия правил …; обнаружено …, ещё не разобрано …
- Недельная проверка РП клиента: кто …; дата …; либо ещё не проведена.
- По разобранным случаям: ссылка на основание …; оставить оценку / поправка … с причиной … / недостаточно данных …
- Исправления навыка: задача ИИ-инженеру сопровождения …; новая версия …; какие сводки пересчитаны …
4. Работа агента: токены и стоимость
Данные когорты от запуска задач до отсечки, включая повторы и неудачные запуски. Одна таблица на модель/провайдера и версию тарифа, затем при необходимости итог стоимости.
| Период тарификации | Вход без кэша | Выход | Чтение из кэша | Запись в кэш, если тарифицируется отдельно | Стоимость / валюта |
|---|---|---|---|---|---|
| День | … | … | … | … | … |
| Ночь | … | … | … | … | … |
| Не удалось распределить | … | … | … | … | … |
| Всего | … | … | … | … | … |
- Вход всего: …; включает ли источник кэш и как выполнен пересчёт: …
- Границы дня/ночи, часовой пояс, тарифы и источник: …
- Если ночной тариф дешевле: фактический расход и расчёт экономии при тех же объёмах по дневному тарифу: …
- Покрытие учёта: доля запусков/событий с usage, отсутствующие данные: …
Токены кэша не прибавляются второй раз к общему входу. Нет данных — «н/д», а не ноль. Если стоимость ещё не определена, сравниваются объёмы, без выдуманного ночного коэффициента.
5. Ожидание реакции человека
| Канал ожидания | Ответственный | Завершённых интервалов | Среднее, рабочие часы | Медиана, рабочие часы | Ещё открытых запросов | Возраст открытых: медиана / максимум в рабочих часах |
|---|---|---|---|---|---|---|
| Вопросы по требованиям | Аналитик клиента | … | … | … | … | … |
| Продуктовые решения | Владелец продукта клиента | … | … | … | … | … |
| Архитектурные решения | Архитектор клиента | … | … | … | … | … |
| Ревью кода | Разработчик клиента | … | … | … | … | … |
| Ревью автотестов | Тестировщик клиента (автотесты) | … | … | … | … | … |
| Проверка результата человеком | Тестировщик клиента (ручное тестирование) | … | … | … | … | … |
| Среда и подключения | DevOps клиента | … | … | … | … | … |
Считается от доставленного явного запроса нужному человеку до содержательного ответа или действия. Автоподтверждение и «посмотрю позже» не завершают ожидание. Учитывается пересечение с рабочими часами адресата, с выходными и праздниками. Каждая строка рассчитывается по интервалам только одной роли; общей медианы разных ролей нет. При передаче другой роли прежний участок показывается отдельно как переданный, для нового адресата открывается новый интервал. Это скорость реакции, не длительность всей человеческой работы.
Снятые без ответа запросы: …; причины: … . Они не входят в завершённые интервалы реакции и не считаются нулевым ожиданием.
Переданные другой роли участки: исходная роль, количество, длительность и следующий адресат — … . Участки с неизвестным ответственным: количество, длительность и причина неполноты — … .
Медианы выбранных этапов задачи
По правилам этапов. Одна строка на этап, версию границ и одну ответственную роль. Учитывается только время этой роли; работа другого участника выделяется отдельно. Основная единица — задача, для реакции человека интервальная статистика показана выше. Открытые ожидания не включаются в медиану завершённых.
| Этап / версия | Ответственный | Единица времени | Применимых задач с начавшимся этапом | Завершённых наблюдений | Медиана | Открытых / прерванных / с неполными данными | Возраст открытых: медиана / максимум |
|---|---|---|---|---|---|---|---|
| M1: подготовка результата агента | ИИ-инженер | Календарные часы | … | … | … | … / … / … | … / … |
| M2: ревью кода | Разработчик клиента | Календарные часы | … | … | … | … / … / … | … / … |
| M2-Т: ревью автотестов | Тестировщик клиента (автотесты) | Календарные часы | … | … | … | … / … / … | … / … |
| M3: исправления агента | ИИ-инженер | Календарные часы | … | … | … | … / … / … | … / … |
| M5: проверка результата человеком | Тестировщик клиента (ручное тестирование) | Календарные часы | … | … | … | … / … / … | … / … |
| M5-G: отдельная проверка агентом | ИИ-инженер | Календарные часы | … | … | … | … / … / … | … / … |
| Другой выбранный этап | Одна роль из плана мониторинга | … | … | … | … | … / … / … | … / … |
Категории полноты могут пересекаться: например, открытая задача также имеет пропущенное событие. Не складывать их без разбора. Этапы могут перекрываться; сумма медиан не является TTM. Завершённые интервалы H/C/P анализируются с явным указанием исхода, чтобы не ограничивать диагностику только успешными задачами.
- Подозреваемое узкое место и подтверждающие события: …
- Предложение ИИ-инженера сопровождения и ИИ-инженера клиента: …
- Изменение процесса или новый этап наблюдения, ответственный, срок и когорты проверки эффекта: …
6. Итоги и план недели
Передача знаний и обязанностей: совместные действия и результаты за неделю …; фактические изменения обязанностей …; помощь … . Можно дать ссылку на записи в журнале передачи, без дублирования. Если событий не было, запись не требуется. Инженерная часть отчёта к ближайшему статусу: ответственный …; срок …; ссылка … .
Текущая рабочая неделя может отличаться от недели созревшей когорты.
Журнал одновременно служит планом и фактом ритмичной работы. До начала недели заполняются ожидаемые действия, исполнители и сроки; по мере выполнения в тех же строках добавляются результат и отклонения. Регулярные циклы и отчёты не выделяются строками общего плана внедрения.
| Регулярная работа | План: результат и дата / периодичность | Ответственный | Факт: дата и ссылка на результат | Отклонение / следующее действие |
|---|---|---|---|---|
| Ежедневная сверка | … | … | Решения и изменения обязательств; можно одной сводкой за неделю | … |
| Подготовка отчёта и статус | Публикация отчёта …; встреча … | … | Отчёт и запись решений; созревшие когорты отдельно от предварительных | … |
| Недельные итоги и следующий план | … | … | Результаты недели, бэклог и обязательства следующей недели | … |
Совмещённые встречи не дублируются. Достаточно ссылок на уже существующие отчёты и решения; отдельный протокол каждого дейлика не требуется.
Проектные вехи Пилота, на которые влияет работа недели: … . Достигнутые результаты, прогноз дат и изменения отражаются в общем плане; детальные работы остаются в своих источниках.
| Направление | Результат недели | Следующий результат / объём | Ответственный и срок |
|---|---|---|---|
| Продуктовый поток | Сводный объём и ссылка на бэклог | Типы задач, план запусков и ограничения | … |
| Требования, спецификации, тесты и миграции БД | Что улучшено, ссылки | Приоритетные пробелы, включая автоматизацию ручных изменений БД | … |
| Работа агента и инфраструктуры | Исправленные причины ошибок, настройки | Гипотеза и способ проверки | … |
| Процесс команды | Реакция людей, передачи, причины C/P | Конкретное изменение | … |
Обязательства участников сохраняются поимённо, без копирования карточек продуктовых задач:
| Участник | Ожидалось / сделано | Помощь и препятствия | Следующее обязательство и срок |
|---|---|---|---|
| … | … | … | … |
- Общие затраты внедрения за календарную неделю отдельно от затрат задач: …
- При необходимости — календарный расход агента, отдельно от когортных итогов: …
- Следующий бэклог в трекере, изменения плана и основания: …
- Решения, требуемая помощь и дата следующей встречи: …
Проверка улучшения
Запись создаётся при выбранном изменении и дополняется после проверки по циклу PDSA.
- Изменение, область и версия, ответственный, срок: …
- До проверки: ожидаемый эффект, метрики результата / процесса / баланса, условия остановки: …
- После проверки: фактические результаты, побочные эффекты, наблюдения участников и ограничения данных: …
- Решение: сохранить / доработать / отказаться; основания, следующая проверка: …
7. Вывод и завершение Пилота
- Какие когорты созрели, что изменилось по целям и качеству, как влияют доли H/C/P: …
- Что ещё предварительно, каких данных не хватает и когда они появятся: …
- Результат: цели достигнуты / пока не достигнуты / данных недостаточно: …
- Дальнейшие действия, ответственные и сроки: …
Если принимается решение о завершении, подтверждается одно из двух оснований:
- Целевые трудозатраты и время достигнуты на сопоставимых созревших когортах; качество, размер выборки и полный состав исходов позволяют сделать вывод.
- Цели пока не достигнуты, но вся рабочая команда клиента и сопровождения, включая стейкхолдера, поимённо поддерживает план их достижения с действиями, сроками, ресурсами и следующим измерением.
Поддержка и возражения фиксируются по форме плана. Молчание не считается поддержкой. Самостоятельность клиента не является условием завершения; инженерное сопровождение может продолжаться.
Дата, принявшие решение, основание, ограничения и следующее измерение: …
Исправление ранее опубликованной сводки: версия, причина, что изменилось и кто проверил: …