上周帮我姐整理抽屉，翻出来三个皱巴巴的笔记本。
封皮上分别写着”奶茶积分””健身卡次””宠物医院会员”。
她蹲在地上翻了十分钟，想找上次攒的多少杯奶茶能换免费中杯，翻得手指上都是灰，突然吐槽：”要是这些破积分能像我家冰箱似的，啥都能塞，拉开门就能看见就好了。”
我当时正在啃桃子，脑子里突然冒出来个词——数据湖。
别再把数据湖当成装数的大柜子了
好多人第一次听数据湖，第一反应就是”不就是个超大号的移动硬盘？”
真不是。
你家的衣柜其实就是最典型的传统数据库。袜子在左边抽屉，外套挂在中间杆上，牛仔裤叠在最下层格子，每样东西的位置、尺寸、分类在你放进去之前就定死了，找的时候快得很。但你要是突然想把露营天幕、折叠滑板、刚买的猫爬架塞进去？要么拆得七零八落，要么根本塞不下，对吧。
传统结构化数据库的核心规矩就是，你存的每一样东西，都得先按定好的模板整理得整整齐齐，不然连入库的资格都没有。
之前跟个做电商运营的朋友聊，说前几年他们想做用户偏好分析，想把用户写的长评价、拍的餐品返图、甚至打给客服的语音吐槽全算进去，结果光把这些乱七八糟的内容统一格式，就耗了俩程序员三周。等格式刚整完，夏天的冰粉促销活动都结束了，数据早凉透了。
我第一次听”数据湖”这个概念的时候，还以为是哪个程序员喝多了编的浪漫比喻，真的像个公园的湖，有锦鲤有垂柳那种。
后来才知道，最早提这个词的人，就是被之前的”大衣柜”给逼疯的。
上次跟个做了五六年数仓的朋友吃烧烤，他说之前他们公司做用户画像，光凑齐各部门的数据就开了四次跨部门会。销售部的客户记录存在本地Excel，运营部的活动数据在云文档，客服部的工单存在独立系统里，每个部门对”用户ID”的命名规则都能差三个版本，拼到一起的时候，连哪个手机号对应哪个用户都能搞混。他说那天烤串都没吃两口，盯着满屏对不上的数，真想找个大池子，把所有不管啥格式的数全倒进去，用的时候再捞。
你看，哪有什么高大上的起源啊。说白了，就是之前的存储方式太笨了，逼得人想找个更省心的法子而已。
真把所有数全倒进去就完事了？那是污水坑
不过话说回来，也真有人把这事给做歪了。
我见过最离谱的一个创业团队，刚从行业分享会上听说数据湖好，当天就把公司所有的历史文件、团建拍的照片、HR存的几百份简历扫描件，全一股脑往存储池里塞。塞完爽了三个月，老板突然要去年双十一的退款率数据，几个人翻了俩礼拜都没找着，最后拍桌子说这数据湖根本就是个垃圾场。
哈哈，这哪是数据湖啊。
真正靠谱的数据湖，从来不是无差别收纳的垃圾桶，是带分层的活水湖。
最浅的那层是靠近岸边的浅滩，放的是刚从各个渠道收上来的原始数据——不管是表格、照片、语音、甚至是用户点小程序按钮的点击记录，啥格式都行，先存着，不用急着整理。中间那层是经过初步清洗的，把重复的、错漏的、测试用的假数据筛掉，比如同一个用户用两个手机号注册的记录合并，把录错的门店地址改过来。最深的那层是加工好的成品区，运营、市场的同事直接过来拿就行，不用自己再费劲翻原始数据。
对，就像你去家附近的湖边玩，浅滩上飘的落叶你不用管，中游的水是能直接洗个手的，最深的地方是能直接捞水喝的。要是啥脏东西都往湖里倒，时间长了臭烘烘的，那可不就是污水坑嘛。
你平时根本感觉不到它，但它已经替你省了好多麻烦
说真的，很多人总觉得数据湖是离普通人八丈远的大厂技术，其实根本不是。
你现在打开常点的奶茶店小程序，刚点进去就给你推上次买的三分糖杨枝甘露，甚至记得你上次说过”少放西米”。你以为是店员特意记着你？哪能啊，连锁品牌那么多顾客，托尼老师都记不住常客的刘海长度，奶茶店员哪能记得你喝啥。
这些零散的偏好记录，全存在他们的合规数据湖里。系统不用每次把你所有的历史记录重新翻一遍，直接从深层的加工区捞到对应的标签，几毫秒就把推荐弹出来了。
之前我每次去连锁理发店，都要跟托尼老师重复一遍”不打薄，不要齐刘海，长度到肩膀下面两厘米”，说了快三年。上次去的时候，前台直接把我的历史偏好调出来给托尼看，我当时差点感动得当场充卡——哦不对，后来想想要是没有统一的存储池，每家店的托尼都靠脑子记，哪能记那么清楚啊。
还有我姐那堆攒了三年的积分，上周突然发现，同集团下的奶茶店、咖啡店、宠物店、超市，积分居然能通用了。奶茶店攒的积分，能换咖啡店的中杯美式，能换宠物店的驱虫折扣，甚至能换超市的满减券。搁以前，每个品牌的积分都是各管各的，谁也不跟谁通，现在为啥能通？就是因为这些积分数据都存在同一个合规的数据湖里，系统自动就能算清楚你有多少积分，能换啥。她上周直接把那三个写满积分的笔记本塞到了储物箱最上层，说再也不用翻半天找哪个店积了多少分了。
上周又跟那个做数仓的朋友吃烧烤，他说他们最近给合作的连锁品牌搭完了新的数据湖，刚把全部门店的用户评价导进去，现在系统能自动从几百条评价里筛出来大家最近吐槽最多的”杨枝甘露太甜””出餐太慢”，比之前人工翻评价快了不知道多少倍。最开始老板还觉得这是花冤枉钱，直到系统提前筛出来大家对冰饮温度的吐槽，提前调整了出餐的冰量标准，当月的好评率涨了快两成，老板现在逢人就夸这池子建得值。
哪有什么玄乎的技术啊。
说白了，就是之前大家存数据的方式太笨了，跟老一辈把私房钱塞在不同的抽屉、罐子里似的，找的时候翻得满头汗。现在有了个能把所有零散的东西都归置好的池子，用的时候方便点而已。
哦对，我姐昨天还跟我说，她昨天用奶茶店攒的积分，换了一袋同集团超市的洗衣液，省了三十多块。
你看，这就是数据湖最实在的用处。