返回
2022年08月13日
-
Spark Streaming编程模型
本节将介绍 Spark Streaming 的编程模型，包括 DStream 的操作流程和使用方法。
DStream 的操作流程
DStream 作为 Spark Streaming 的基础抽象，它代表持续性的数据流。这些数据流既可以通过外部输入源来获取，也可以通过现有的 DStream 的 Transformation 操作来获得。
在内部实现上，DStream 由一组时间序列上连续的 RDD 来表示。如图 1 所示，每个 RDD 都包含了自己特定时间间隔内的数据流。
