培训 · 第 3 课

该收哪些数据,它们应该放在哪里

收集数据看着简单:多加一列,多问一句。问题在后面。修正收错的数据,代价远高于修正写错的规则,因为规则待在一个地方,数据却到处累积。

这一课您将学到什么

这一课处理的是自动化所立足的地面:客户数据。上一课您看到,很大一部分故障出在输入这一侧。这里我们把那一侧从一开始就搭对,也就是采集哪些字段、怎么写、放在哪里。

数据采集得不对时,问题不会立刻显出来。它会在几个月后成批冒出来,并且要求往回清理。这一课的目的,是让您建立起一开始就不需要那种清理的秩序。

本课目标

  • 按用途挑选要采集的字段
  • 为每个字段写下名称、类型、是否必填和格式
  • 挑出让一位客户保持为一行的键
  • 在录入的那一刻就校验数据
  • 定下唯一正确来源,并管住副本
  • 建立让数据随时间保持干净的维护机制

没有前置要求。不过手边有第一课的流程图,会更容易看清哪个字段是真的在用。

数据为什么是自动化的地面?

自动化靠送到它面前的数据运转。规则写得再对,进来的数据是坏的,出去的结果也是坏的。所以数据采集不是自动化的一个部分,而是它站立的地面。

坏数据的代价随时间变大。第一周有一条记录进错了,改起来一会儿就好。同一个错误持续一年,改动就成了要逐条复核所有记录的事,而这件事往往没人去做,对数据的信任也就往下掉。

错的数据会悄悄扩散

一个字段进错了,所有走这个字段的流都会被牵动。消息、报表、账单和提醒都从同一处取水。

缺的数据会让流停住

必填字段空着进来时,流要么停住,要么悄悄跳过那一步。第二种更危险,因为没人察觉。

散的数据产不出判断

同一条信息以三种样子存在三处,哪个才对就一直可以被争论。报表拿不出来,拿出来了也不可信。

三条规则

整套数据秩序都落在三条规则上。这三条守住了,其余细节就还管得住;守不住,换工具也救不回来。

1 一行

一位客户在系统里应当是一行。同一个人被开了两次,历史就裂开,哪条记录是最新的变得含糊,消息也会发两遍。

2 一种写法

同一条信息应当在各处写成一个样子。电话、日期、地名和币种各选定一种写法,并在每个录入点执行。

3 一个来源

每个字段应当只有一个正确的位置。同一条信息存在两套系统里,就写明更新哪一套,另一套从它取数。

三条规则互相支撑。没有一种写法,去重就不成立,因为同一个人在两种写法下看着像两个人。没有一个来源,一行也保不住,因为每套系统都会更新自己的副本。

采集哪些字段,放在哪里

挑字段的尺子是用途,不是好奇。采集一个字段之前先问:这条信息将在哪件事、哪一步被用到?答不上来的字段就不采。为了以后可能用得上而采的字段,通常一直空着;不空着的时候,也变得不可信。

每采一个字段都带来负担:要填、要校验、要保持最新,而保存它会产生责任。所以字段清单要保持短,按需要再往上加。

把一个字段放进清单之前

  • 这个字段将在哪条流、哪一步被读取?
  • 即便不被读取,是否也需要出现在报表里?
  • 是必填,还是可以留空?
  • 谁来填:客户、员工,还是系统?
  • 进错时会弄坏什么?
  • 保存它是否产生某种责任?

最后一问很要紧。身份、健康、金融这类字段只在真正需要时采集;不需要时不采,既可以减轻责任,也可以减轻维护负担。

第一步:建立字段词典

字段词典是把您采集的每个字段在一处定义清楚的清单。它的用意是不让同一个字段在两个人那里有两种含义。如果客户姓名这个字段里,有人写全名,有人只写名,那这个字段就不再衡量同一件事了。

词典不是技术文档。一张表或者一页纸就够。要紧的是每个字段都在六个标题下被定义,并且这份定义对所有录入的人都是打开的。

每个字段要写的六项

  • 名称:所有人都使用的那一个字段名
  • 含义:这个字段究竟装什么,不装什么
  • 类型:文本、数字、日期、选项列表
  • 必填:可以空着吗,什么情况下必填
  • 格式:怎么写,并附一个示例值
  • 来源:谁来填,从哪套系统来

有选项列表的字段,把选项也写下来。留成自由文本的地方,同一件事会被写成十种样子,这个字段也就没法出报表了。

第二步:写下格式规则

一种写法这条规则,只有在写法被写下来之后才谈得上执行。为了在每个录入点都用同一种写法,先决定那是什么写法,再连同示例一起写进字段词典。

格式上的决定看着小,可无声故障多半就出在这里。电话号码开头的零、日期里日与月的次序、地名是否全大写,这类细节会把匹配弄坏。

通常需要定格式的字段

  • 电话:带不带国家码,是否使用空格和括号
  • 日期:次序与分隔符,是否需要时区
  • 姓名:一个字段还是两个,大小写怎么处理
  • 地址:省市区是否来自选项列表
  • 金额:单位与小数分隔符
  • 证件号与税号:位数与校验

把格式交给表单,而不是交给填写的人。选项列表、日期选择器和带掩码的输入框,能在录入这一步就挡住差异;这比事后清理便宜。

第三步:挑出去重键

要执行一行这条规则,需要一个能回答这两条记录是不是同一个人的键。键是一个把这个人与别人分开、并且不随时间改变的字段。

好的键单独就够用。找不到就把两个字段合起来。姓名单独当不了键,因为同一个名字可能属于好几个人,写法也会变。

候选的键

电话号码、邮箱地址、客户编号、税号或证件号。在您公司里每位客户都填了的那个,就是候选。

怎样挑键

它要在每位客户身上都有值、要唯一、要不随时间改变、还要以一种写法保存。四条都占的那个字段就是键。

撞上了怎么办

同一个键来了第二条记录时,系统不新开记录,而是更新已有记录,并把动过的字段写进历史。

同一位客户从两个渠道联系时怎么办,也在这里定下来。把渠道放在单独一个字段里,客户就仍是一行,历史也不会裂开。

第四步:在录入的那一刻校验

保持干净最便宜的位置是录入点。等到进错了再改,比在录入时挡住要贵。所以把校验搬进表单。

校验分两层:格式校验和含义校验。格式看写法有没有依着规则;含义看这个值说不说得通。两层都在,事后需要清理的记录就会少很多。

在录入点可以做的事

  • 必填字段为空时,不要接受这条记录
  • 给出选项列表,减少自由文本
  • 电话和日期使用带掩码的输入框
  • 如果键字段已经存在,弹出提示并打开已有记录
  • 排查说不通的值:比如出生日期落在未来
  • 自动记下是谁、在什么时候录入的

第五步:定下唯一正确来源

同一条信息存在不止一个地方时,必须写明哪一个算作正确。没有这个决定,每套系统都会更新自己的副本,过一段时间就没人知道哪个是最新的。

唯一来源不是说信息只存在一个地方,而是说它只在一个地方被更新,再从那里流向其他地方。副本是拿来读的,不是拿来更新的。

写来源决定时

  • 为每个字段写明来源系统
  • 定下从哪个界面进行更新
  • 决定副本多久刷新一次
  • 定义在副本上做的改动会怎样
  • 写明冲突时哪条记录胜出

这个决定装得进一张表,就放在字段词典旁边。没有写下来的时候,同一场讨论每次都要从头再来。

第六步:建立维护机制

数据不是清一次就放着的东西。人会搬家、会换号码,公司名字也会变。所以清理不是一个项目,而是一件小而规律的维护工作。

维护可以交给自动化自己做。一个简单的检查,把留空的必填字段列出来、在同一个键开出两条记录时提醒、并标出不合格式的值,对多数公司就够用了。

定期维护清单

  • 列出必填字段为空的记录
  • 排查用同一个键开出的记录
  • 标出不合格式的值
  • 复看很久没被动过的记录
  • 归拢后来混进选项列表里的自由文本
  • 看看有没有新字段在词典之外被开出来

同意、留存与访问

采集客户数据不只是技术决定。客户需要知道采集了什么、将用于什么、会保存多久。这一课不提供法律建议;它的目的是帮您把这件事安放进流程里。

实务上有三样东西让事情好办:把采集目的写下来、把在何处以何种方式取得同意留在记录里、以及事先定好留存期限。三样都可以放在字段词典旁边。

要安放进流程的

  • 让每个字段的采集目的都写下来
  • 让取得同意的时间、渠道和文本留在记录里
  • 定下留存期限,并写明期限到了的记录怎么处理
  • 定义谁可以接触这些数据
  • 把收到删除或更正请求时要走的路写清楚
  • 如果数据会送到外部,写明送到哪里、为什么送

细节会因国家和行业而不同。把采集的字段数量限制在真正会用到的那些,也可以让这一节的负担变轻一些。

完整示例:咨询表单

我们把方法放在一份表单上,从头走到尾。例子走的是一家服务型公司的咨询表单。

从挑字段到维护

挑字段:公司打算在表单上放七个字段。对每个字段都问一句会在哪一步被读取。出生日期和职业在任何一条流里都没有被读取,于是从清单上去掉。剩下的是:姓名、电话、邮箱、区域、咨询主题和说明。

字段词典:每个字段按六项定义。咨询主题不再是自由文本,改成选项列表,因为它需要出报表。

格式:电话选定一种写法,表单上放带掩码的输入框。区域来自选项列表。姓名放在一个字段里,并统一为首字母大写。

键:选电话号码作为键,因为每条咨询都填了它,而且以一种写法保存。同一个号码来了第二条咨询时,不开新记录,而是把新咨询加到已有记录上。

校验:必填字段为空时表单发不出去。号码若已在册,屏幕上会显示已有客户。

一个来源:选定一套系统作为客户信息的来源。其他界面从它读取,更新只在来源处进行。

维护:一个每周跑一次的简单检查,列出必填字段为空的记录,以及用同一个键开出的成对记录。

练习:您自己的字段词典

这一课的回报来自建立您自己的字段词典。这件事短到一次坐下来就能做完,之后它会让每一个自动化决定都更容易。

这一周要做的

  • 把眼下采集的所有字段写进一张清单
  • 写明每个字段在哪条流里被读取,并标出没有被读取的
  • 填好六项:名称、含义、类型、必填、格式、来源
  • 挑出您的去重键并写下来
  • 判断哪些自由文本字段可以改成选项列表
  • 把必填字段为空的记录列一次,记下数量

最后一项列出的清单,就是您数据秩序今天的照片。维护机制建好之后,可以再列一次同样的清单来对照。

下载数据清单(xlsx) · 哪个字段、是什么意思、谁来录入、放在哪里、保存多久;格式规则与去重也在里面。

常见错误

为了以后可能用得上而采集

用不到的字段不会被认真填,填了也没人核对准确性。最后留下一个既空又不可信的字段,而保存它的责任还在继续。

留成自由文本

任何留成自由文本的字段,时间久了都会散成不同写法。报表拿不出来,匹配也不成立。

不设键就上路

没有挑去重键的地方,同一位客户会被开出好几次。历史裂开,消息重复,而客户会察觉到。

悄悄改字段名

字段名一变,挂在它上面的流就会悄悄开始读到空值。改动要先在词典里做,然后再更新各条流。

更新副本

在副本而不是来源上做的更新,会在下一次刷新时消失。使用者看见自己的改动不见了,对系统的信任就少一分。

把清理当成一次性的事

清理过一次的数据,时间久了还会再散开。小而规律的维护,比一个大而拖延的清理项目更跑得动。

检查清单

在开出新表单或新字段之前,最好对下面每一条都能说是。

数据秩序检查清单

  • 有一份字段词典,并且对所有录入的人开放
  • 每个字段的用途都写了下来
  • 格式规则连同示例一起定义好了
  • 去重键已挑定,并以一种写法保存
  • 必填字段在录入时得到校验
  • 每个字段都定了唯一正确来源
  • 定期维护清单正在运行
  • 采集目的、留存期限和访问权限都写了下来

术语表

数据讨论里会用到的术语。团队共用这套说法之后,关于字段的争论会变短。

接下来是什么

这一课里您建起了字段词典,并定下了数据放在哪里。现在手上有一件可衡量的活儿、一条写下来的流程和定义好的字段。下一课讲的是用哪个工具来搭。

第四课里,成品套装、无代码和定制搭建会按七条标准打分;这里建的字段词典,正是数据归属那条标准的底子。

第 4 课:工具选择

用七条标准给成品套装、无代码和定制搭建打分。附可下载的比较表。

第 2 课:把流程写下来

界线、步骤、决策点和例外。这一课的字段就标在那张图上。

全部课程

整个培训板块,以及之后新增的模块。

我们可以一起过一遍,看看您收的这些字段是不是都值。写信给我们就行。

通过WhatsApp获取报价

常见问题

现在用不上,先收着以防将来要用,行吗?
通常不是好主意。将来要用的字段,只覆盖添加那天之后的时间,从今天开始收也填不回过去。可是填写负担和保管责任,从今天就立刻开始了。
同一位客户从两个渠道来问会怎样?
没有能认出这个人的固定字段,就会出现两条记录,报表上就成了两位客户。把渠道放在单独的字段里,记录在同一行更新,这种虚高就不会出现。
如果必须改字段名怎么办?
先把读这个名字的地方列出来:报表、自动化步骤、导出。没有这份清单就改名,可能造出一个不报错却返回空值的结果。
旧记录是另一种样子怎么办?
两条路:把旧记录转成新样子,或者让报表两种样子都认。记录还少时前一条合适;已经积多了,后一条的风险可能更小。
小生意也需要这么讲规矩吗?
合适的时机就是一开始,因为记录少的时候代价也小。同样的秩序放到后面再建,还得连带把积下来的记录一起修。