- 博客(24)
- 收藏
- 关注
RSS订阅原创 Hadoop-HA无需记忆配置搭建【大数据比赛长期更新】
本人精通大数据比赛相关知识，了解比赛环境，已辅导N+职业学院，欢迎咨询wx：18233661567。
2023-11-14 12:06:39
481
原创 hudi搭建【大数据比赛长期更新】
hudi搭建题目分析本任务需要使用root用户完成相关配置，具体要求如下：1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）并配置maven本地库为/opt/software/RepMaven/，远程仓库使用阿里云镜像，配置maven的环境变量，并在/opt/下执行mvn-v，将运行结果截图粘贴至客户端桌面【Release\任务A提交
2023-05-24 10:56:04
2162
原创 springMVC的执行流程
代码尽头谁为峰SpringMvc核心组件流程SpringMvc核心组件前端控制器：DispatcherServlet处理器管理映射：HandlerMapping适配器：HandlerAdapter执行器：HandlerExecutionChain渲染视图解析：ViewResolver国际化： LocaleResolver,LocaleContextResolver个性化：ThemeResolver异常处理：HandlerExceptionResolver流程客户端发送请求被MVC的
2022-05-19 10:10:39
110
原创 大数据分析（随机森林）
随机森林什么是随机森林spark代码实现什么是随机森林随机森林是多个决策树集成算法，树多了也就成了森林，随机森林包含多个决策树来降低过拟合，那随机2字又该怎么解释呢？？随机体现在：每次迭代时，对原始数据进行二次抽样来获得不同的训练数据。对于每个树节点，考虑不同的随机特征子集来进行分裂。spark代码实现spark.ml支持二分类、多分类以及回归的随机森林算法数据采用https://archive.ics.uci.edu/ml/machine-learning-databas
2022-05-19 09:37:28
651
原创 数据结构【红黑树(理论铺垫)】
红黑树一、什么是红黑树？平衡树2-3-4树到红黑树的转换红黑树的特征红黑树的旋转和变色变色左旋右旋二、结论一、什么是红黑树？我们可能总是听说JDK1.8HashMap为了解决长链表而使用了红黑树，那到底什么是红黑树？它到底有什么特性呢？接下来我们详细的分析红黑树是在1972年由Rudolf Bayer发明的，当时被称为平衡二叉B树（symmetric binary B-trees）。后来，在1978年被 Leo J. Guibas 和 Robert Sedgewick 修改为如今的“红黑树”我们想要
2022-05-18 14:17:26
2612
原创 java自定义注解实现IOC
自定义注解实现简单的IOCIOCIOC一般实现IOC使用的是java的反射技术，IOC和反射的概念再次不做赘述1.首先我们需要自定义注解本次是对ioc容器的简单实现，所以定义了3个用的最多的注解Autowired ，依赖注入import java.lang.annotation.*;@Target({ElementType.FIELD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface Autowired
2022-05-17 16:06:35
3862
原创 web程序安全策略
web安全策略-java初级拦截器数据加密请求限制拦截器 该拦截器实现HandlerInterceptor接口，可根据业务重写方法实现请求拦截，这里我的代码采用的是对一个自定义 请求头拦截 preHandle：在服务层处理之前被调用，一般用户鉴权，token验证，uri或者ip拦截 postHandle：服务层调用之后，返回视图之前被调用 afterCompletion：在DispatcherServlet完全处理完请求后被调用import org.springframework.web
2022-05-06 10:42:55
121
原创 flink时间语义
flink的时间语义Event TimeProcessing TimeIngestion TimeEvent Time事件发生的时间，通常在实际应用中，都是来源于数据本身自带的时间字段的，也是我们经常使用的，不过，要想使用，前提一定要设置水位线，表示当前事件运行进度，不管是否排序还是延迟到达，最后处理 Event Time 将产生完全一致和确定的结果性 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)Process
2022-05-06 09:34:05
708
原创 docker之大数据平台搭建
docker搭建hadoop-HA集群docker环境安装安装dockerdocker镜像虚拟网络设置启动和运行容器hadoop-HA搭建配置centos初始化配置hadoop-HA配置docker环境安装安装docker博主使用的是centos7，docker支持centos7和8，其他系统安装参照https://www.runoob.com/docker/ubuntu-docker-install.htmlcurl -fsSL https://get.docker.com | bash -s
2022-05-05 20:34:22
1441
原创 scala中的xml解析
xml解析xml加载xml获取元素xml获取子元素获取所有的元素获取属性获取元素的值xml加载XML.loadFile("C:/Users/dkh/Desktop/spark/spark/pom.xml")<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSche
2022-05-05 20:01:28
323
原创 大数据分析（降维）
数据降维1. 降维方法的种类 MLLIB中提供了两种密切相关的降维模型：主成分分析（PCA）和奇异值分解（SVD）（1）主成分分析 主成分分析（PCA） 是一种对数据进行旋转变换的统计学方法，其本质是在线性空间中进行一个基变换，使得 变换后的数据投影在一组新的“坐标轴”上的方差最大化，随后，裁剪掉变换后方差很小的“坐标轴”，剩下的新“坐标 轴”即被称为 主成分（Principal Component） ，它们可以在一个较低维度的子空间中尽可能地表示原有数据的 性质主成分分析被广泛应用在各种
2022-04-28 10:58:11
564
原创 Servlet(二)
Servlet（二）七、请求对象和响应对象生命周期八 、欢迎资源文件九、多个servlet之间调用规则9.1重定向解决方案9.2、请求转发解决方案七、请求对象和响应对象生命周期在Http服务器接收到浏览器发送的【Ettp请求协议包】之后，自动为当 前的【请求协议包】生成一个【请求对象】和一个【响应对象】在Http服务器调用doGet/doPost方法时，负责将【请求对象】和【响应对象】作为实参传递到方法,确保正确执行在Http服务器准备推送Http响应协议包之前，负责将本次请求关联
2021-06-12 14:19:15
101
原创 Servlet规范（一）
Servlet一、Servlet规范1.1、介绍1.2 作用二、Servlet接口实现类三、Servlet接口实现类开发步骤3.1、Tomcat调用Servlet实现类的规则3.2、开发步骤一、Servlet规范1.1、介绍Servlet规范来自于JAVAEE规范中的一种1.2 作用在Servlet规范中，指定动态资源文件开发步骤在Servlet规范中，指定Http服务器调用动态资源文件规则在Servlet规范中，指定Http服务器管理动态资源文件实例对象规则二、Servlet接口实现
2021-06-10 14:07:41
241
原创 Mysql基础+JDBC
mysql一、连接数据库1.1、常见的数据库管理系统1.2、sql、DB、DBMS1.3、表1.4、sql语句的分类1.5、连接数据库二、mysql基础语法2.1、数据库操作2.1.1、创建数据库并指定字符集和校对规则2.1.2、查数据库2.1.3、查数据库创建语句2.1.4、改数据库选项2.1.5、删库2.1.6、进库2.2、表操作2.2.1、建表2.2.2、查表2.2.3、删表2.2.4、改表2.3、数据操作2.3.1、插入数据2.3.2、查数据2.3.3、删除数据2.3.4、修改数据三、约束四、JDB
2021-05-27 10:10:45
1679
1
原创 javaweb基础了解
javaWeb基础部分1.基本概念1.1 web：1.2 web应用程序1.3 静态web1.4动态web1.基本概念1.1 web：网页的意思，例如www.baidu.com静态web： html，css动态web： 技术栈：Servlet/jsp, asp,php1.2 web应用程序web应用程序：可以提供浏览器访问的程序web应用组成部分： 1.html css 2.jsp，servlet 3.java程序 4.jar 5.配置文件（properties）web
2021-05-08 15:59:23
1728
原创 迭代器不用愁之小白篇
迭代器的扩展四种迭代器首先创建一个Map容器，添加3个键值对1.第一种迭代器第二种迭代器第三种迭代器（我认为最好的，因为代码少）第四种迭代器（只能获取value值不好用）四种迭代器迭代器介绍：见list分析中首先创建一个Map容器，添加3个键值对Map<String, Integer>map=new HashMap<String,Integer>(); map.put("年龄", 12); map.put("身高", 182); map.put("体重", 170
2021-05-05 21:59:21
2393
原创 萌新爬虫欢乐多
爬51job随手笔记目标：51job1.先看看这个网站有啥有用的信息吧。2.分析一下源码吧3.上代码开爬。4.爬取效果5.总结目标：51job不要问我为什么爬这个，因为技术能力有限。很有限。非常有限。1.先看看这个网站有啥有用的信息吧。地区，肯定是需要的，要不去哪找工作啊。找工作为了啥，你说呢。直接爬5万以上的，手动滑稽。总页数和总招聘信息数量。（一开始忽略了）每条招聘信息有用的信息。2.分析一下源码吧最先看到的，就是这个东西。随便点开一个瞧一瞧，发现一下找到了有用的信息。这行
2021-04-28 12:51:52
2739
2
原创 线程
多线程一、进程、线程1.1 进程1.2 线程1.3 java程序的进程和线程1.4 主线程、子线程一、进程、线程java语言之所以有多线程，目的是提高程序的运行效率。1.1 进程 进程是一个应用程序（一个进程是一个软件）。1.2 线程线程是一个进程中的执行场景、执行单元。一个进程可以启动多个线程1.3 java程序的进程和线程对于java程序来说，当在DOS命令窗口中输入：java HelloWorld 回车之后。会先启动JVM，而JVM就是一个进程。
2021-04-22 16:52:50
4315
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人