Обучение · Урок 3

Какие данные собирать и где они должны лежать?

Собирать данные кажется простым: ещё один столбец, ещё один вопрос. Проблема приходит позже. Исправлять неверно собранные данные обходится куда дороже, чем неверно написанное правило, потому что правило лежит в одном месте, а данные накапливаются повсюду.

Чему вы научитесь в этом уроке

Этот урок берётся за почву, на которой строится автоматизация: за клиентские данные. В прошлом уроке вы увидели, что большая часть неисправностей выходит со стороны входа. Здесь мы ставим эту сторону верно с самого начала: какие поля собираются, как они записываются и где лежат.

Когда данные собраны неверно, беда видна не сразу. Она выходит месяцы спустя, разом, и требует уборки назад. Цель урока в том, чтобы вы выстроили порядок, при котором такая уборка изначально не нужна.

Цели урока

  • Выбирать собираемые поля по тому, как они используются
  • Для каждого поля записать имя, тип, обязательность и вид записи
  • Выбрать ключ, который держит клиента одной строкой
  • Проверять данные в момент ввода
  • Определить единственный верный источник и вести копии
  • Поставить уход, который держит данные чистыми со временем

Предварительных условий нет, но с картой процесса из первого урока под рукой легче увидеть, какое поле действительно используется.

Почему данные — это почва автоматизации?

Автоматизация работает с теми данными, что до неё доходят. Насколько верно ни было бы записано правило, если входящие данные испорчены, испорчен и выходящий результат. Поэтому сбор данных не часть автоматизации, а почва, на которой она стоит.

Цена испорченных данных растёт со временем. Когда на первой неделе одна запись заходит криво, поправить её недолго. Когда та же ошибка тянется год, поправка требует пересмотра всех записей, и эта работа часто остаётся несделанной, а доверие к данным падает.

Неверные данные расходятся тихо

Когда поле заходит криво, задеты все потоки, идущие по этому полю. Сообщение, отчёт, счёт и напоминание питаются из одного источника.

Недостающие данные останавливают поток

Когда обязательное поле приходит пустым, поток либо встаёт, либо тихо пропускает этот шаг. Второе опаснее, потому что никто не замечает.

Разбросанные данные не дают решений

Если одно и то же лежит в трёх местах в трёх видах, какое из них верное, остаётся спорным. Отчёт не снять, а снятому доверия мало.

Три правила

Весь порядок данных держится на трёх правилах. Где эти три соблюдены, остальные подробности управляемы; где нет, смена инструмента ничего не спасает.

1 Одна строка

Клиент хочет быть в системе одной строкой. Когда одного человека заводят дважды, история раскалывается, какая запись свежая становится неясно, и сообщения уходят дважды.

2 Один вид записи

Одна и та же сведение хочет писаться везде одинаково. Для телефона, даты, названия города и валюты выбирается одно написание и применяется в каждой точке ввода.

3 Один источник

У каждого поля хочет быть одно верное место. Если одно и то же хранится в двух системах, пишется, какая из них обновляется, а вторая питается от неё.

Три правила держат друг друга. Без одного вида записи склейка дублей не работает, потому что один человек под двумя написаниями выглядит как двое. Без одного источника не удерживается и одна строка, потому что каждая система обновляет свою копию.

Какие поля собирать и где они лежат

Мерило при выборе полей — использование, а не любопытство. Прежде чем собирать поле, спросите: в какой задаче, на каком шаге эти сведения понадобятся? Поля без ответа не собираются. Поля, собранные на всякий случай, обычно остаются пустыми, а где не остаются, становятся ненадёжными.

Каждое собранное поле несёт нагрузку: его надо заполнять, проверять, держать свежим, а его хранение рождает ответственность. Поэтому список полей держат коротким и расширяют по мере надобности.

Прежде чем внести поле в список

  • В каком потоке, на каком шаге это поле будет прочитано?
  • Должно ли оно попадать в отчёт, хотя и не читается?
  • Обязательное оно или может остаться пустым?
  • Кто заполняет: клиент, сотрудник или система?
  • Что ломается, когда оно введено неверно?
  • Рождает ли его хранение ответственность?

Последний вопрос важен. Поля вроде удостоверения, здоровья или финансов собираются лишь там, где они действительно нужны; где не нужны, отказ от них может облегчить и ответственность, и нагрузку по уходу.

Шаг 1: составьте словарь полей

Словарь полей — это список, где каждое собираемое поле определено в одном месте. Его назначение в том, чтобы одно поле не значило для двух людей разное. Если одни пишут в поле «имя клиента» полное имя, а другие только имя, это поле больше не измеряет одно и то же.

Словарь не технический документ. Хватает таблицы или одной страницы. Важно, чтобы каждое поле было определено по шести заголовкам и чтобы это определение было открыто всем, кто вводит данные.

Шесть заголовков для каждого поля

  • Имя: единственное имя, которым поле называют все
  • Смысл: что именно это поле держит и чего не держит
  • Тип: текст, число, дата, список значений
  • Обязательность: может ли быть пустым, в каком случае обязательно
  • Вид записи: как пишется, вместе с примером значения
  • Источник: кто заполняет, из какой системы приходит

В полях со списком значений выпишите и значения. Там, где оставлен свободный текст, одно и то же пишется десятью способами, и поле становится непригодным для отчёта.

Шаг 2: запишите правила вида

Правило одного вида записи применимо только тогда, когда вид записан. Чтобы в каждой точке ввода использовалось одно написание, сначала решают, какое именно, и вносят его в словарь вместе с примером.

Решения о виде записи кажутся мелочью, но именно из них выходит большинство тихих неисправностей. Ведущий ноль в номере, порядок дня и месяца в дате, город заглавными буквами — такие подробности ломают сопоставление.

Поля, где обычно нужно решение о виде записи

  • Телефон: есть ли код страны, используются ли пробелы и скобки
  • Дата: порядок и разделитель, нужен ли часовой пояс
  • Имя и фамилия: одно поле или два, как с заглавными буквами
  • Адрес: приходят ли город и район из списка значений
  • Деньги: единица и десятичный разделитель
  • Номер удостоверения и налоговый номер: длина и проверка

Оставьте вид записи форме, а не человеку. Список значений, выбор даты и поле с маской способны остановить расхождение уже при вводе; это обходится дешевле поздней уборки.

Шаг 3: выберите ключ склейки

Чтобы применить правило одной строки, нужен ключ, отвечающий на вопрос: эти две записи об одном человеке? Ключ — это поле, отделяющее человека от прочих и не меняющееся со временем.

Хороший ключ хватает сам по себе. Если такого нет, соединяют два поля. Имя и фамилия сами по себе ключом не станут, потому что одно имя может принадлежать нескольким людям, а написание гуляет.

Кандидаты в ключ

Номер телефона, почтовый адрес, номер клиента, налоговый номер или номер удостоверения. Кандидат тот, что заполнен у каждого клиента вашего дела.

Как выбирают ключ

Он должен быть заполнен у каждого клиента, быть единственным, не меняться со временем и писаться в одном виде. Поле, у которого сходятся все четыре свойства, и есть ключ.

Как решается столкновение

Когда приходит вторая запись с тем же ключом, система не заводит новую, а обновляет существующую и вписывает затронутые поля в историю.

Здесь же решите, что будет, когда один клиент пишет по двум каналам. Если канал хранится в отдельном поле, клиент остаётся одной строкой и история не раскалывается.

Шаг 4: проверяйте данные при вводе

Самое дешёвое место для чистоты — точка ввода. Поправлять поле после того, как оно зашло криво, дороже, чем остановить его при вводе. Поэтому проверка переносится в форму.

Проверка работает в два слоя: проверка вида и проверка смысла. Вид смотрит, следует ли написание правилу; смысл — осмысленно ли значение. Когда есть оба, число записей, которые придётся чистить потом, заметно падает.

Что можно сделать в точке ввода

  • Не принимайте запись, пока обязательное поле пусто
  • Дайте список значений, уменьшите свободный текст
  • Используйте поле с маской для телефона и даты
  • Если ключевое поле уже есть, покажите предупреждение и откройте существующую запись
  • Проверяйте бессмысленные значения: например, день рождения в будущем
  • Записывайте сами, кто и когда завёл запись

Шаг 5: определите единственный верный источник

Если одно и то же лежит более чем в одном месте, надо записать, какое из них считается верным. Без этого решения каждая система обновляет свою копию, и через некоторое время неизвестно, какая свежая.

Единственный источник не значит, что сведения лежат в одном месте. Это значит, что они обновляются в одном месте и оттуда текут в остальные. Копии читают, а не обновляют.

Когда записывается решение об источнике

  • Для каждого поля называется система источник
  • Определяется, с какого экрана делается обновление
  • Решается, как часто обновляются копии
  • Определяется, что происходит с правкой, сделанной в копии
  • Пишется, какая запись побеждает при столкновении

Это решение помещается в одну таблицу и лежит рядом со словарём полей. Пока оно не записано, спор начинается заново каждый раз.

Шаг 6: поставьте уход

Данные не чистят один раз и оставляют. Люди переезжают, меняют номера, названия компаний меняются. Поэтому чистка не проект, а маленькая и регулярная работа по уходу.

Уход можно поручить самой автоматизации. Простая проверка, перечисляющая пустые обязательные поля, предупреждающая о двух записях с одним ключом и помечающая значения не по виду, годится большинству дел.

Регулярный список ухода

  • Перечислите записи с пустым обязательным полем
  • Прощупайте записи, заведённые с одним ключом
  • Пометьте значения, не соответствующие виду
  • Пересмотрите записи, которых давно не касались
  • Соберите свободный текст, попавший позже в списки значений
  • Посмотрите, не завели ли новое поле без записи в словаре

Согласие, хранение и доступ

Сбор клиентских данных — не только техническое решение. Клиент хочет знать, что собирается, для чего будет использовано и сколько будет храниться. Этот урок не даёт юридических советов; его цель — помочь вам встроить тему в процесс.

На практике работу облегчают три вещи: записанная цель сбора, отметка в записи о том, где и как было получено согласие, и заранее решённый срок хранения. Все три можно держать рядом со словарём полей.

Что встроить в процесс

  • Пусть цель сбора будет записана для каждого поля
  • Пусть момент, канал и текст согласия лежат в записи
  • Пусть будет задан срок хранения и записано, что делать с истёкшей записью
  • Пусть будет определено, кто может добраться до данных
  • Пусть будет понятен путь при запросе на удаление или исправление
  • Если данные уходят наружу, пусть будет записано куда и зачем

Подробности могут различаться по стране и отрасли. Ограничение числа собираемых полей теми, что действительно используются, способно облегчить и нагрузку под этим заголовком.

Разобранный пример: форма заявки

Разберём метод на одной форме от начала до конца. Пример идёт по форме заявки сервисного дела.

От выбора полей до ухода

Выбор полей: дело думает поставить в форму семь полей. По каждому полю задаётся вопрос, на каком шаге оно будет прочитано. Дата рождения и род занятий оказываются не читаемыми ни в одном потоке и уходят из списка. Остаются: имя, телефон, почта, район, тема заявки и описание.

Словарь полей: каждое поле определяется по шести заголовкам. Тема заявки перестаёт быть свободным текстом и становится списком значений, потому что по ней нужен отчёт.

Вид записи: для телефона выбирается одно написание, и в форму ставится поле с маской. Район приходит из списка значений. Имя и фамилия держатся в одном поле и приводятся к заглавным первым буквам.

Ключ: ключом выбирается номер телефона, потому что он заполнен в каждой заявке и держится в одном виде. Когда с того же номера приходит вторая заявка, новая запись не заводится, а заявка добавляется к существующей.

Проверка: форму нельзя отправить, пока обязательные поля пусты. Если номер уже записан, на экране показывается существующий клиент.

Один источник: источником клиентских сведений выбирается одна система. Остальные экраны читают из неё, обновление делается только в источнике.

Уход: простая проверка, идущая раз в неделю, перечисляет записи с пустым обязательным полем и пары, заведённые с одним ключом.

Упражнение: ваш словарь полей

Отдача этого урока приходит от составления собственного словаря полей. Работа достаточно короткая, чтобы закончить её за один присест, и дальше она облегчает каждое решение по автоматизации.

Сделать на этой неделе

  • Выпишите в один список все поля, которые собираете сейчас
  • Напишите, в каком потоке читается каждое поле, и отметьте нечитаемые
  • Заполните шесть заголовков: имя, смысл, тип, обязательность, вид записи, источник
  • Выберите ключ склейки и запишите его
  • Определите, какие из полей со свободным текстом могут стать списками значений
  • Один раз перечислите записи с пустым обязательным полем и отметьте число

Список из последнего пункта — это сегодняшний снимок вашего порядка данных. После постановки ухода можно снять тот же список снова и сравнить.

Скачать инвентарь данных (xlsx) · какое поле, что оно значит, кто его вводит, где оно лежит и сколько хранится; правила формата и сверка тоже внутри.

Частые ошибки

Собирать про запас

Неиспользуемое поле не заполняют, а где заполняют, точность его не проверяют. Остаётся поле и пустое, и ненадёжное, а ответственность за хранение продолжается.

Оставлять свободным текстом

Всякое поле, оставленное свободным текстом, со временем расходится по разным написаниям. Отчёт не снять, и сопоставление не работает.

Работать без ключа

Там, где ключ склейки не выбран, один клиент заводится несколько раз. История раскалывается, сообщения повторяются, и клиент это замечает.

Тихо переименовывать поле

Когда имя поля меняется, привязанные к нему потоки тихо начинают читать пустое значение. Изменение сначала делается в словаре, затем обновляются потоки.

Обновлять копию

Правка, сделанная в копии вместо источника, пропадает при следующем обновлении. Человек видит, что его правка исчезла, и доверия к системе становится меньше.

Считать чистку разовой

Однажды вычищенные данные со временем расходятся снова. Маленький и регулярный уход идёт легче, чем большой отложенный проект по чистке.

Контрольный список

Прежде чем заводить новую форму или новое поле, стоит уметь сказать «да» пунктам ниже.

Список порядка данных

  • Словарь полей существует и открыт всем, кто вводит данные
  • Цель использования записана для каждого поля
  • Правила вида записи определены вместе с примерами
  • Ключ склейки выбран и держится в одном виде
  • Обязательные поля проверяются при вводе
  • Для каждого поля определён единственный верный источник
  • Регулярный список ухода работает
  • Цель сбора, срок хранения и права доступа записаны

Словарь

Термины, звучащие в разговорах о данных. Когда команда делит этот язык, споры о полях становятся короче.

Что дальше

В этом уроке вы составили словарь полей и решили, где лежат данные. В руках у вас теперь измеримая задача, записанный процесс и определённые поля. Следующий урок посвящён тому, каким инструментом это собирать.

В четвёртом уроке готовый пакет, no-code и своя разработка оцениваются по семи критериям; словарь полей отсюда становится основой критерия владения данными.

Урок 4: Выбор инструмента

Оценка готового пакета, no-code и своей разработки по семи критериям. Со скачиваемой таблицей сравнения.

Урок 2: Записать процесс

Граница, шаги, точки решения и исключения. Поля этого урока отмечаются на той карте.

Все уроки

Раздел обучения целиком и добавленные позже модули.

Мы можем вместе пересмотреть, оправдывают ли себя собираемые поля. Достаточно написать нам.

Запросить через WhatsApp

Часто задаваемые вопросы

Собрать сейчас на случай, если понадобится позже?
Обычно это не лучшая мысль. Поле, которое понадобится позже, покрывает только время после дня его добавления; сбор с сегодняшнего дня прошлое тоже не заполняет. Зато нагрузка по заполнению и ответственность за хранение начинаются сразу.
Что будет, если тот же клиент напишет из двух каналов?
Без устойчивого поля, узнающего человека, появятся две отдельные записи, и в отчёте окажется два клиента. Если канал хранится в собственном поле, а запись обновляется в одной строке, такого раздувания не происходит.
Что делать, если поле нужно переименовать?
Сначала составьте список мест, читающих это имя: отчёты, шаги автоматизации, выгрузки. Переименование без такого списка может дать результат, который возвращает пустоту, не выдавая ошибки.
Как быть со старыми записями другой формы?
Два пути: перевести старые записи в новую форму или научить отчёт узнавать обе. Пока записей мало, подойдёт первый; когда их стало много, второй может нести меньше риска.
Нужна ли такая дисциплина маленькому делу?
Подходящее время, это начало, потому что при малом числе записей и цена невелика. Наводить тот же порядок позже означает исправлять ещё и накопленные записи.