文章目录

• 前言
• 项目整体介绍
• • 项目主要模块
  • 数据源解析
  • 热门时事商品统计
  • • 基本需求
    • 解决思路
    • 按照商品id进行分区
    • 设置时间窗口
    • 窗口聚合
  • 实时流量统计–热门页面
  • • 基本需求
    • 解决思路
  • 市场营销分析–APP市场推广统计
  • • 基本需求
    • 解决思路
  • 市场营销分析–页面广告统计
  • • 基本需求
    • 解决思路
• 项目编写
• • 热门商品统计
  • • 数据分析
    • 定义数据输入输出的结构
    • WATERMARKS
    • AGGREGATEFUNCTION自定义聚合规则
    • WINDOWFUNCTION自定义窗口处理元素的规则
    • 处理函数（PROCESSFUNCTIONS）
    • 完整代码如下
    • 数据源改为KAFKA
    • 自定义KAFKA生产者
  • 实时流量统计
  • • 页面浏览量统计
    • 网站浏览总量(PV)
    • 独立访客数统计(UV)
    • • 方法一
      • 方法二
      • 方法三 布隆过滤
  • 市场营销商业指标
  • • APP市场推广统计
    • 页面广告分析
    • 过滤黑名单
    • 恶意登录监控
    • • 方法一
  • FLINKCEP - COMPLEX EVENT PROCESSING FOR FLINK
  • • • 方法二 CEP
    • 订单支付实时监控
    • • 方法一 CEP
      • 方法二 直接使用状态编程
    • 来自两条流的订单交易匹配
    • • 方法一：CONNECT + COPROCESS
      • 方法二：JOIN