- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据面试题总结
1.Spark运行原理启动一个driver进程 ，用于控制整个流程当任务提交，首先会去向资源管理器–yarn,申请Executor资源，根据sparkContext获取运行环境，然后Driver会从程序倒着构建成DAG图，在将按照宽窄依赖减DAG图分解成stage，然后将Taskset发送给Task Scheduler 会将task 分给每一个stage ,最后将task发送给exec...
2019-10-21 13:40:11
733
原创 azkaban的安装教程！！
简单来说直接上步骤！第一步！首先你得有三个小小的安装包！如果没有加我 qq 我分享一下 1572095709第二步！上传虚拟机！用tar -zxvf的命令去解压！然后去重命名mv一下就成了这个样子第三步！然后在任意目录下执行以下命令 并完成填写到此azkaban安装完毕...
2019-08-30 21:29:32
415
原创 flume+kafka+flink整合消费数据 scala语言
首先启动zookeeperzkServer.sh start在启动kafkabin/kafka-server-start.sh config/server.properties创建主题bin/kafka-topics.sh -create --bootstrap-server 192.168.35.125:9092,192.168.35.126:9092,192.168.35.127:9...
2019-08-22 11:49:45
1283
原创 Spark Streaming整合kafka实战简单 一看就会
首先新建一个由maven管理的scala的项目在pom文件中添加以下依赖 <properties> <scala.version>2.11.8</scala.version> <hadoop.version>2.7.4</hadoop.version> <spark.versio...
2019-07-19 14:39:18
482
原创 spark-streaming整合flume实战poll方式 简单流程详细
6.1 Poll方式（1）安装flume1.6以上（2）下载依赖包spark-streaming-flume-sink_2.11-2.0.2.jar放入到flume的lib目录下（2）写flume的agent，注意既然是拉取的方式，那么flume向自己所在的机器上产数据就行（3）修改自己的scala-library版本，pom里面什么版本，找到地址传到flume/lib/这里我pom...
2019-07-19 14:26:44
337
原创 spark RDD算子大全
1、RDD操作详解启动spark-shellspark-shell --master spark://hdp-node-01:70771.1 基本转换mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：//设置spark的配置文件信息val sparkConf: SparkConf = ...
2019-07-12 10:11:24
264
原创 scala入门 类、方法、对象、继承、特质
类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1. 类1.1.1. 类的定义package cn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person {//用val修饰的变量是...
2019-07-09 14:06:26
423
1
原创 十年算法工程师分享的Scala语言基础入门！
0.值类型隐式转换1.强制类型装换2.值类型和字符串类型的转换3.判断语句4.循环语句 5.循环跳出语句 6.元祖的介绍和使用7.数组的介绍和使用8.集合的介绍和使用0.隐式转换(高阶隐式转换和隐式函数,这里我们先不讲)当scala程序在进行赋值或者运算的时候,精度小的类型自动转换为精度大的类型,这个就是自动类型转换(隐式转换)//char -> Intvar ...
2019-07-06 11:39:38
344
原创 Scala的简单入门 基础语句的运用
1.为什么要学习scala?2.scala的介绍3.与java语言的对比4.编译工具的安装5.main方法讲解6.常量和变量7.数据类型8.懒加载9.差值器1.为什么要学习scala?我们学习大数据对于数据的相应处理简单地说有两种1)离线计算 它主要是由hadoop来实现 离线计算 就是在数据存储完毕后 对存储好的数据进行处理2)在线计算 spark sc...
2019-07-05 17:19:48
340
原创 hive的安装
首先虚拟机中需要有hadoop安装MySQL1.上传tar包用xftp上传2.解压tar -zxvf hive-1.2.1.tar.gz4.配置hive（a）配置HIVE_HOME环境变量vi conf/hive-env.sh配置其中的$hadoop_home（b）配置元数据库信息 vi hive-site.xml 添加如下内容： <configuratio...
2019-06-24 10:43:59
162
原创 hive 三种表的创建
导入数据：1、load data local inpath ‘本地虚假机文件路径’ into table 数据库（.）表名;将本地的数据导入到hive中从hdfs集群导入数据2、load data inpath ‘hdfs://虚拟机名称:9000/user/tes.txt’ into table test.te;创建表：内部表–删除之后数据全部丢失外部表–删除元数据之后源数据还存...
2019-06-24 10:41:26
584
原创 idea 编程常用快捷键大全
在项目工程名上右键选择refactor–>rename,可以重命名alt+enter 快速补充jar包右键 generate快速生成get/set方法添加try-catch ctrl+alt+t导入maven库：setting —>tools—>maven---->maven下的setting以及maven库IDEA的常用操作（快捷键）Alt+回车 导入包...
2019-06-24 10:37:11
429
原创 springMvc拦截器
一、springMvc访问静态资源配置在项目加载xxxx.min.js二、拦截器所有的拦截器都基于处理器映射器（handlerMapping）拦截器配置拦截器代码
2019-06-15 07:22:59
207
原创 Mapreduce工作流程与简介
最近几天一直在学习关于大数据方面的相关技术，今天学习了MapReduce的工作流程，让我对数据地处理有了新的认识，接下来我分享一下关于MapReduce2.0的工作流程Mapreduce简介Hadoop MapReduce 源于Google发表的 MapReduce论文。Hadoop MapReduce 其实就是Google MapReduce的一个克隆版本。Hadoop 2.0即第二代Had...
2019-06-14 14:43:49
5182
原创 hibernate各种查询
一、hibernate的三种状态1．瞬时状态（transient）-- 没有持久化的标识（OID），没有被纳入到session的管理2．持久状态（persisent）-- 已经有持久化标识（OID）,而且被纳入到session管理3．游离状态/离线状态/托管状态 （detached）-- 已经有持久化标识（OID），但是没有被纳入到session管理二、使对象持久化Save(),upda...
2019-06-13 21:20:49
196
原创 Hibernate入门
一、了解什么是Hibernate1．Ssh（Struts2,Hibernate,Spring）2．简单介绍hibernate（1）Hibernate的创始人Gavin king,是2001的产品（了解）（2）Hibernate是一个开源的对象关系映射框架，其实就是对jdbc的一个轻量级的封装。使得程序员在今后的数据库开发中，不需要写大量的sql语句。也可以说，程序员可 以以面向对象的...
2019-06-13 21:16:46
188
原创 hadoop伪分布式的API编写 与eclipse结合
1.新建一个Java项目将lib包导入将core-site.xml与hdfs-site.xml导入新建的conf文件夹core-site.xml与hdfs-site.xml就是伪分布式虚拟机中的core-site.xml与hdfs-site.xml新建测试类编写代码package com.hpe.test;import java.io.BufferedInputStream;i...
2019-06-13 21:07:05
252
原创 hadoop伪分布式配置外部客户端eclipse
一 下载hadoop包 解压到本地一 环境变量1右键此台电脑 2点击属性 3高级设置 4环境变量 5系统变量1.配置环境变量1.1 配置jdk的环境变量1.2 配置hadoop的环境变量变量名：HADOOP_HOME1.3修改系统用户名在系统变量中新建HADOOP_USER_NAME值为root 1.4在Path中添加%HADOOP_HOME%\bin...
2019-06-13 20:57:27
261
原创 json 介绍
JSON编辑JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Pyth...
2019-06-13 11:06:19
683
原创 Jquery ui插件快速补全 与Jquery ui插件 日期组件
Jquery ui插件中的自动补全组件的关键字是（autocomplete）.自动补全中的事件有哪些(change,close,focus,open,response,search,select)自动补全的属性有哪些（source,delay,minLength,disabled,position）自动补全的（source）属性是用来定义数据源的，对应的属性值格式为（数组）。自动补全的d...
2019-06-13 11:04:28
313
原创 jQuery Validate 插件简介
jQuery Validate 插件为表单提供了强大的验证功能，让客户端表单验证变得更简单，同时提供了大量的定制选项，满足应用程序各种需求。validate()方法中的可以设置的属性 rules规则 messages 自定义错误消息提示 submitHandler 表单提交(当表单验证全部通过时) 一 .默认校验规则required : true 必需的 “必选字段” 必...
2019-06-13 10:55:26
217
原创 城市三级联动代码
1.创建city表 执行mysql_city.sqlselect * from city where pid=1;# 所有省 select * from city where pid=10;# (10是河北省的id)河北省所有市 select * from city where pid=144;# (144是廊坊市的id)廊坊市所有县2.创建项目 city lib导包fastjson...
2019-06-13 10:53:28
520
原创 虚拟机 伪分布式与分布式 搭建
1.伪分布式搭建首先启动一台虚拟机 (确保虚拟机可以联网)用xshell连接 连接成功后使用命令 rz如果没有rz命令输入yum install lrzsz -y 进行下载ftp 使用命令rz-----注：首先下载—yum install lrzsz -y下载完成后在opt下新建一个文件夹使用 rz 将本机中的jdk压缩包发送到opt下的文件下发送完成后进行解压t...
2019-06-13 10:49:47
1061
原创 关于大数据 secondaryNameNode 持久化的简单总结
1.数据需要存储2.NameNode 掌握了一批元数据 什么是元数据呢 就是所谓的描述数据的数据，这些元数据是放在内存中的，我们要做的就是将这些元数据放到磁盘中，让他永久的保存下去数据存储的几种方式1.硬盘 特点：内存大 便宜 但是对于数据的处理比较慢2.内存 特点：内存小 贵 但是对于数据的处理比较快HDFS的主从架构主节点 （Namenode）相当于...
2019-06-12 09:58:25
352
原创 JavaScript的基础语法
RIA（Rich Internet Applications）丰富互联网程序，具有高度互动性、丰富用户体验以及功能强大的客户端。RIA最突出的特点为“Rich”，同时RIA最核心的部分也体现在“Rich”中。“Rich”包含了两层含义。丰富的数据模型：RIA技术提供了多种数据模型来处理复杂的数据操作,如json、xml。使用RIA数据能够被缓存在客户端，从而可以实现一个比基于HTML的响应速度...
2019-06-11 14:10:56
220
原创 Java事件描述
1 事件 通常鼠标或热键的动作我们称之为事件2 事件对象eventevent代表事件状态，例如触发event对象的元素、鼠标的位置、按下的键等等。event对象只在事件发生的过程中才有效。event的某些属性只对特定的事件有意义属性:type：获取事件类型名称target：发生事件的节点clientX/clientY 返回鼠标的X/Y坐标keyCode 按键内码altKey...
2019-06-11 14:10:01
553
原创 jQuery中的html操作
1 查询利用选择器找到要操作的节点之后，获得节点的值、属性值、文本以及 html 内容。1）html()：html 内容:操作双标签中的所有内容，包括文本和子标签，如：alert($('#d1').html())，相当于 innerHTML 属性2）text()：文本:操作双标签中的文本内容(不包括子标签)，如：alert($('#d1').text())，相当于 innerText 属性...
2019-06-11 14:09:15
458
原创 jQuery选择器 与 过滤器
什么是选择器jQuery 模仿 CSS 选择器的语法提供了一种用来方便查找要操作的节点的语法规则。一 基本选择器1 Css选择器1）#id：ID 选择器，如：KaTeX parse error: Expected 'EOF', got '#' at position 3: ('#̲d1') 2）.class：…(’.s1’)3）element：标签选择器，如：(′div′)4）sel...
2019-06-11 14:09:00
272
原创 Java对象描述
1.js组成: ECMAScript :基本语法BOM 浏览器对象模型—>window对象(window窗口、location地址、history历史、event事件、document文档、定时器)DOM 文档对象模型—document对象2.window对象:代表浏览器所开启的视窗,是Javascript中的默认对象，调用其属性或方法时可以省略”window” 这个前缀，直接调用。a...
2019-06-11 14:07:01
399
原创 操作jQuery集合
一、搜索操作1、搜索父元素parents()方法————$("选择器").parents()获取选择器的所有祖先元素（不包含根节点）parent()方法————$("选择器").parent()获取选择器的唯一父元素2、搜索同辈元素next()方法————$("选择器").next()获取选择器的下一个同辈元素prev()方法————$("选择器").next()获取选择器的上一个同辈...
2019-06-11 14:05:16
1946
原创 JQuery入门介绍
JQuery是继prototype之后又一个优秀的Javascript框架。它是轻量级的js库 ，它兼容CSS3，还兼容各种浏览器（IE 6.0+, FF 1.5+, Safari 2.0+, Opera 9.0+），jQuery2.0及后续版本将不再支持IE6/7/8浏览器。jQuery使用户能更方便地处理HTML documents、events、实现动画效果，并且方便地为网站提供AJAX交互...
2019-06-11 14:04:32
313
原创 正则表达式大全
正则是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符串。正则表达式语法格式：/ /. 任意字符(除了\n之外)2)元字符^ 匹配字符串开始的位置，不匹配任何字符$ 匹配字符串结束的位置，不匹配任何字符字符组/自定义字符集可以匹配[ ]中包含的任意一个字符。虽然可以是任意一个，但只能是一个。[0-9] 任意一个数字 相当于0123456789中任意一个[A...
2019-06-11 14:03:57
855
原创 jQuery中的事件处理和分层
事件流模型1 冒泡型事件流（Bubbling）:指由内向外触发事件事件由叶子节点沿祖先节点一直向上传递到根节点取消事件冒泡:使用 event 对象，e.cancelBubble=true;例如：<div id="d1" onclick="f2(event);"> <a href="javascript:;" onclick="f1(event);">Cil...
2019-06-11 14:03:36
325
原创 原生Ajax概述
AJAX = Asynchronous JavaScript and XML（异步的 JavaScript 和 XML（标准通用标记语言的子集））。是指一种创建交互式网页应用的网页开发技术。Ajax通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。这意味着可以在(不重新加载)整个网页的情况下，对网页的(局部)进行更新。传统的网页（不使用 Ajax）如果需要更新内容，必须...
2019-06-11 14:03:15
236
原创 jQuery 对ajax的三层封装
12.1jQuery对Ajax的封装jQuery中的ajax解决了大部分浏览器的兼容性问题javascript使用ajax时，需要使用XMLHttpRequest对象,jQuery使用ajax时，也需要使用XMLHttpRequest对象jQuery对Ajax的第一层次封装 $.ajax()jQuery对Ajax的第二层次封装 $.get() $.post() load()jQuery对...
2019-06-11 14:02:25
956
原创 大数据HDFS入门以及个人见解
很多人会问大数据是什么？其实关于大数据并没有一个特别官方的说法，也没有特别标准的解释。我个人觉得大数据就是短时间快速产生大量多种多样的有价值的真实信息。大家都在淘宝等购物平台上买过东西，广大男性同胞也深知双十一以及双十二这种购物节的恐怖，这不是说女人有多恐怖，站在我们专业的角度上来说在短短时间内所产生的数据就相当恐怖。在这些大量的数据面前，就要应用到大数据关于数据的一些计算，存储，计算等等...
2019-06-11 14:02:00
3003
1
原创 C语言数据的组织与处理 整型数组排序 冒泡排序 穷举算法
1.冒泡排序法现在给大家一个来思考，给你10个质量不同的塑料小球，让你从轻到重依次分开，不用能用称重的方法解决，你能想到用什么办法吗？冒泡排序（BubbleSort）的基本概念是：依次比较相邻的两个数，将小数放在前面，大数放在后面。即在第一趟：首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。...
2019-06-10 14:39:56
659
原创 C语言数据的组织与处理—数组（定义、输入、输出）
注：关于数组的介绍文字较多，你想要的都有，只不过要有耐心去寻找！早日成功！！一、数组的思想及意义：中秋佳节，有贵客来到草原，主人要从羊群中选一只肥羊宴请宾客，当然要选 最肥者，这样就要记录下每只羊的重量。如果有成千上万只羊，不可能用一般变量来记录，要用带有下标的变量。代码如下，大家也可能执行一下，先看下效果/* 找出最重的羊 */#include "stdio.h"void main()...
2019-06-10 14:28:56
9485
1
原创 C语言while循环语句 do while语句 for循环语句
一、循环结构的思想及意义：知道了循环结构，那么在生活中也一样，我们每天都在重复做着相同的事情，例如：吸气呼气的过程；又如夏天开电扇，电扇一圈一圈的转，这都是在重复。现在大家玩个游戏，一个人A来说一个人B来做，一个人A说命令“敬礼，礼毕”，另一人B做动作十遍；第一种思维那就是说一下命令就让B执行动作，B执行完动作后，A再继续说命令，B再继续做动作，同样的事情重复十遍。如果利用所学的知识，让你输出十...
2019-06-10 14:17:53
30919
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人