适用项目：线上商品的销售与运营平台
复习状态：已复习 1 次 (2026-05-22T08:19:30)
大数据架构是一种面向海量数据处理场景的软件架构设计方案，最典型的是 Lambda 架构。它将数据处理的职责分为批处理层、实时处理层和服务层，批处理层负责对全量历史数据进行高延迟、高准确率的计算，实时处理层负责对增量数据进行低延迟处理，服务层负责合并结果并向外部提供统一查询和可视化接口。线上商品的销售与运营平台在日常运营中产生了大量的订单、流水、浏览、评论、库存变更和营销活动数据，如果仅靠传统的关系数据库直接统计，无法高效支撑经营分析、用户画像、实时监控和异常检测等数据需求。因此，在本项目中，我采用 Lambda 架构构建数据处理体系，将业务库数据同步到大数据平台，通过批处理和实时处理相结合的方式满足不同的分析场景。
首先，我在批处理层负责历史数据聚合和离线分析。批处理层的主要任务是对 T+1 或 T+0 的业务数据进行全量抽取、清洗、转换和聚合，生成准确的统计结果。在本项目中，我使用 Sqoop 和 DataX 将订单表、支付流水表、商品表和会员表等业务数据从 MySQL 抽取到 HDFS 上，然后通过 Spark SQL 进行每日的订单金额汇总、商品销量排名、用户购买频次分析、优惠券使用率统计和商家经营报表生成。为提高数据处理效率，我将订单表按日期分区存储，每日凌晨定时执行批处理任务。通过批处理层，平台每天可完成约 12 个离线报表的计算，单日数据处理量约 800 万条记录，数据聚合准确率达到 100%，为运营团队提供了稳定的经营决策依据。
其次，我在实时处理层负责流式数据处理和即时监控。实时处理层的主要任务是对业务系统中持续产生的增量事件进行低延迟处理，以满足实时大屏、秒杀监控和异常告警等场景。在本项目中，我通过 Canal 监听 MySQL binlog，将订单创建、库存变更、支付回调和优惠券核销等事件实时推送至 Kafka 消息队列，再通过 Flink 对不同的数据流进行消费和处理。例如，针对秒杀活动，实时处理层每 5 秒统计一次各商品的库存消耗速率和订单生成速率，当库存使用率超过 80% 时自动触发预警；针对支付回调，实时处理层识别重复回调和异常退款模式，辅助风控人员快速响应。通过实时处理层，平台能够实时监控核心交易指标，异常场景的识别延迟由离线 T+1 缩短到 30 秒以内，秒杀活动期间未出现因库存数据滞后导致的超卖。
最后，我在服务层负责数据查询和可视化展示。服务层的主要任务是将批处理和实时处理的结果进行合并，通过统一接口对外提供结构化查询、报表导出和可视化看板。在本项目中，我将批处理生成的离线统计结果存入 MySQL 报表库，将实时处理结果存入 Redis 或 Elasticsearch，对外提供数据查询接口和 Grafana 看板。运营人员通过后台可以查看商品销量排名、用户活跃趋势、优惠券转化率和商家成交额等指标，营销团队可以在大促期间通过实时大屏观察订单趋势和库存变化。通过服务层，每日约 200 人次的运营人员及商家使用数据服务，核心报表查询响应时间控制在 600 毫秒以内，平台数据驱动运营的能力显著增强。