Blog

  • 封面

    基于Flink流处理的动态实时超大规模用户行为分析

    2017年11月28日 作者:瀚思科技

    传统的用户行为分析系统通常以离线批处理模式根据既定规则对用户数据进行分析。规则相对简单,且更新规则需要重启系统。而在安全领域,许多安全场景要求能够 7/24 小时实时监测威胁、作出报警。 因此我们需要一个高吞吐量的实时计算框架来满足对实时性的需求。在这里我们将介绍网络安全中基于流式计算框架 Flink 并搭载机器学习算法的超大规模用户行为分析系统(UBA)的实践经验。看瀚思科技如何利用 Flink 的高效流式处理框架,承载 UBA 核心计算任务,并融合批处理和流处理模式,如何定义完备易用的场景规则语法,并利用 Flink 对复杂事件处理(CEP)的原生支持,实现规则的动态更新的实战经验。[本文根据瀚思科技高级软件架构师吴昊先生在InfoQ AI前线社区技术分享整理]