← 返回文章
工程笔记

把客服会话接入数据湖:一次架构记录

把客服会话接入数据湖:一次架构记录

客服数据最大的浪费,是它沉在工单系统里、从不被分析。这篇记录我们怎么把会话事件接到数据湖。

01

为什么不直接查工单库

工单系统是 OLTP,不适合跑分析查询。每次取数都拖慢生产库,也限制不了字段。我们需要一份"为分析而生"的副本。

02

管道长这样

工单系统的 webhook 把事件推到队列,一个轻量消费者做清洗、打标,再写进数据湖的分区表(按日期)。上游分析直接读湖,生产库零压力。

webhook → queue → transform → lake (partitioned by date)
03

踩过的坑

乱序事件。网络重试会让事件迟到,必须用事件时间而非到达时间分区,否则当天数据会"消失"到昨天。

字段漂移。工单系统升级后字段改名,消费者要带 schema 校验,坏数据落"死信"而非污染主表。

04

收获

接好之后,第一次能在十分钟内回答"哪类问题最近在涨""哪个套餐的客诉最多"。数据从负担变成了资产。

工程笔记

关于作者

更多文章

李晨与马局
随想

李晨与马局

我与她没有时差,隔着的只是山水的路程。一个被认认真真叫了一周的错误名字,一段从掰手腕、送校门口开始的少年心事,一条很长的二号线,和一句"苟富贵,勿相忘"。掐指一算,已是快十多年的朋友了。

致Will徐
随想

致Will徐

出学校后的初代同事,深圳室友、武汉夜街的游荡搭子。善良老实却天马行空,被骗过、也当过舔狗,却用那份不肯先怀疑别人的善,悄悄松开了我这个"极致理性者"的绑。如今他上岸事业编,祝他如鱼得水。

我与河南人
随想

我与河南人

饭搭子