← 返回文章 工程笔记

把客服会话接入数据湖:一次架构记录

J Jeff · 2026-06-24 · 1 分钟阅读
把客服会话接入数据湖:一次架构记录

客服数据最大的浪费,是它沉在工单系统里、从不被分析。这篇记录我们怎么把会话事件接到数据湖。

01板块

为什么不直接查工单库

工单系统是 OLTP,不适合跑分析查询。每次取数都拖慢生产库,也限制不了字段。我们需要一份"为分析而生"的副本。

02板块

管道长这样

工单系统的 webhook 把事件推到队列,一个轻量消费者做清洗、打标,再写进数据湖的分区表(按日期)。上游分析直接读湖,生产库零压力。

webhook → queue → transform → lake (partitioned by date)
03板块

踩过的坑

乱序事件。网络重试会让事件迟到,必须用事件时间而非到达时间分区,否则当天数据会"消失"到昨天。

字段漂移。工单系统升级后字段改名,消费者要带 schema 校验,坏数据落"死信"而非污染主表。

04板块

收获

接好之后,第一次能在十分钟内回答"哪类问题最近在涨""哪个套餐的客诉最多"。数据从负担变成了资产。

工程笔记

关于作者

更多文章

乱世情书:胡兰成与张爱玲,一场来不及收尾的爱
随想

乱世情书:胡兰成与张爱玲,一场来不及收尾的爱

一段被时代碾过的爱情,与两个人在取舍之间的浮沉。

用 Zendesk 搭建支持工作流:三个被低估的设置
Zendesk

用 Zendesk 搭建支持工作流:三个被低估的设置

触发器、宏与 SLA 的组合,往往比换工具更能提升团队效率。

为什么我把
随想

为什么我把"慢"写进了工作流

更快不等于更好。在支持团队里,刻意留出思考的缝隙反而更稳。