欢迎光临
我们一直在努力

Spark Streaming编程模型

本节将介绍 Spark Streaming 的编程模型,包括 DStream 的操作流程和使用方法。

DStream 的操作流程

DStream 作为 Spark Streaming 的基础抽象,它代表持续性的数据流。这些数据流既可以通过外部输入源来获取,也可以通过现有的 DStream 的 Transformation 操作来获得。

在内部实现上,DStream 由一组时间序列上连续的 RDD 来表示。如图 1 所示,每个 RDD 都包含了自己特定时间间隔内的数据流。

DStream中在时间轴下生成离散的RDD序列
图 1  DStream中在时间轴下生成离散的RDD序列

赞(0) 打赏
未经允许不得转载:hosteons中文网 » Spark Streaming编程模型

评论 抢沙发

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

登录

找回密码

注册