客服数据最大的浪费,是它沉在工单系统里、从不被分析。这篇记录我们怎么把会话事件接到数据湖。
01板块
为什么不直接查工单库
工单系统是 OLTP,不适合跑分析查询。每次取数都拖慢生产库,也限制不了字段。我们需要一份"为分析而生"的副本。
02板块
管道长这样
工单系统的 webhook 把事件推到队列,一个轻量消费者做清洗、打标,再写进数据湖的分区表(按日期)。上游分析直接读湖,生产库零压力。
webhook → queue → transform → lake (partitioned by date)03板块
踩过的坑
乱序事件。网络重试会让事件迟到,必须用事件时间而非到达时间分区,否则当天数据会"消失"到昨天。
字段漂移。工单系统升级后字段改名,消费者要带 schema 校验,坏数据落"死信"而非污染主表。
04板块
收获
接好之后,第一次能在十分钟内回答"哪类问题最近在涨""哪个套餐的客诉最多"。数据从负担变成了资产。