橙子不吃葱-CSDN博客

原创 Spark Streaming 计算窗口的理解

spark streaming 窗口操作

2024-03-21 20:43:52 972

1.Spark保存文件并设置文件压缩格式2.Spark Streaming窗口窗口大小（Window Length）：Durations.seconds(interval + 10)。由于interval = 300，窗口大小就是300 + 10 = 310秒。这意味着每个窗口将覆盖310秒（即5分钟零10秒）的数据。滑动间隔（Slide Interval）：Durations.seconds(interval)。这里的滑动间隔是300秒，即5分钟。滑动间隔定义了窗口操作执行的频率。

2024-01-15 10:56:29 356

原创 flume异常

flume channel配置配置checkpoint异常

2023-02-23 14:39:49 117

原创 Spark动态资源调度

Spark动态资源调度

2021-12-23 19:44:15 1480

原创 SparkRDD操作之aggregate

SparkRDD操作之aggregate看代码最好解释package cn.sparkdemo.coreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext, TaskContext}object RDDAggregate { def main(args: Array[String]): Unit = { //1、创建上下文对象 val sparkConf: Spar

2021-11-29 20:19:33 1637

原创 sparkRDD操作之ReduceByKey和GroupByKey比较

sparkRDD操作之ReduceByKey和GroupByKey比较直接看代码package cn.sparkdemo.coreimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object TestRDDFuctions { def main(args: Array[String]): Unit = { //1、创建上下文对象 val sparkConf: Sp

2021-11-29 20:06:50 252

原创归档中找不到

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2021-10-20 13:55:58 2021

操作系统课程设计-进程状态模拟转换

进程状态模拟转换课程设计代码，使用python编写，设计要求：模拟两种系统资源，每种资源的初始数目有自己设定有进程的标识、进程的具体数据结构由自己设定利用队列的概念。设置就绪队列和阻塞队列至少模拟四种条件下的进程状态转换，即进程调度、时间片用完、I/O请求和I/O完成等四种条件

2019-07-20

进程状态模拟转换.docx

操作系统课程设计文档，内容为进程状态转换模拟，设计技术参数1）系统中进程的数目；（2）系统资源的种类和数目；（3）系统作业或进程的对每类资源的需求数目；（4）进程运行所需的时间片大小设计要求：模拟两种系统资源，每种资源的初始数目有自己设定有进程的标识、进程的具体数据结构由自己设定利用队列的概念。设置就绪队列和阻塞队列至少模拟四种条件下的进程状态转换，即进程调度、时间片用完、I/O请求和I/O完成等四种条件

2019-07-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_38174815的博客

原创 Spark作业执行过程中日志重复打印的问题