weixin_44147632的博客

原创 Spark GraphX图形数据分析

为什么需要图计算许多大数据以大规模图或网络的形式呈现许多非图结构的大数据，常会被转换为图模型进行分析图数据结构很好地表达了数据之间的关联性图（Graph）的基本概念图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种网状数据结构。通常表示为二元组：Gragh=（V，E），可以对事物之间的关系建模。一般应用于在地图应用中寻找最短路径、社交网络关系、网页间超链接关系。图的术语顶点和边Graph=(V,E)集合V={v1,v2,v3}集合E={(v1,v2),(v1

原创 Spark练习

数据：班级ID 姓名 年龄 性别 科目 成绩12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7012 赵敏 19 女 chinese 7012 赵敏 19 女 math 9012

原创 Spark入门基础

Spark CoreSpark SQLMLlibGraphxspark和mapreduce的区别、spark运行框架Application：用户编写的Spark应用程序。Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信，进行资源申请、任务的分配和监控等，当Executor部分

原创 scalaOOP编程

Scala面向对象类(class)抽象类（abstract class）单例对象（object）特质（trait）内部类样例类（case class）泛型类类(class)1、类通过class关键字定义2、类通过new关键字创建实例3、类拥有成员变量和方法4、类的成员默认为public，也支持private、protected5、类中无法定义静态成员变量和方法6、类无需明确定义构造方法，通过构造参数列表声明为类的一部分类成员访问修饰符JAVAModifierClassPack

原创 Scala函数

scala函数函数是scala的核心函数定义def 函数名([参数列表]):[返回值]={ 函数体 [表达式]}例如def square(x: Int): Int = { println(x) x * x //不用写return，直接返回x*x}def sayHello(x:String):Unit={//Unit表示无返回值 println("Hello ! "+x)}传值调用传值调用时，参数只在调用时计算一次，后续重复使用计算的结果def

原创 scala数组方法

原创 Scala数组方法大全详情+解析

列表Array[T]++++:+::+/::\addStringaggregateapplyapplyOrElsecanEqualcharAtclonecollectcollectFirstcombinationscontainscontainsSlicecopyToArraycopyToBuffercorrespondscountdiffdistinctdropdropRightdropWhileendsWithexistsfilterfilterNotfindflatMapflattenfoldfold

原创 用scala的for循环打印三角形，菱形，99乘法表

scala的for循环：基本语法：var num1=start_value;var num2=end_value;for(i -> num1 to num2 by step_num [j -> num1 to num2 by step_num] [;condition1;condition2]){ //代码1}step_num：步长condition1：循环守卫（条件，如果有，用;号隔开）<- num1 to num2：范围给定（左右均为闭合）<- num1 u

原创 hive练习题（商店市场调查）

表数据：https://pan.baidu.com/s/1giOajxNUaU_Lc4jzTL2UnA提取码：cba4hive练习题建表：1、找出顾客最常用的信用卡2、找出客户资料中排名前五的的职位名称3、在美国女性最常用的信用卡4、按性别和国家进行客户统计/国家/工作/邮箱/语言/信用卡5、计算每月总收入6、计算每个季度的总收入7、按年计算总收入8、按工作日计算总收入9、按时间段计算总收入10、按时间段计算平均消费11、按工作日计算平均消费12、计算年、月、日的交易总数13、找出交易量最大的10个客户

原创 HBase环境搭建

hbase安装包：https://pan.baidu.com/s/1jLQlOz2VgrwzWSY4hVvOaQ提取码：do01HBase环境搭建1、将压缩包拖入/opt/install/hadoop/目录下2、解压至/opt/bigdata/hadoop/，改名为hbase1203、配置文件vi hbase-env.sh4、配置文件vi hbase-site.xml5、配置文件vi regionservers6、软连接hadoop core-site.xml hdfs-site.xml 到hbase的

原创 HBase数据库原理入门操作

HBase简介

原创 大数据计算，hive出现数据倾斜的问题

hive数据倾斜描述hive 中产生数据倾斜的原因数据倾斜解决办法大小表joingroup bycount(distinct ...)参数调节描述数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行 Hivez 语句或者运行MapReducejob时候，如果遇到一直卡在map100%，reduce99%一般就 是遇到了数据倾斜。在进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，所有很快执行完成，某些节点计算的能力较差或者由于此节点需要计算的数据比较多，导致其他节点的 re

原创 入门级，Hadoop详情教程（二）(hive)

hive概念基于Hadoop得数据仓库解决方案hive的特点和优势1、将结构化的数据库文件映射为数据库表2、提供类sql得查询语言HQL（sql代替mapreduce）3、让更多的人更容易使用hadoop4、可以整合更多的计算框架mapreduce（基于磁盘中间结果存于磁盘）spark（基于内存，减少IO，DAG计算模减少SHUFFLE）tez（也有DAG和container重用，但是部署繁琐）链的概念安全，可追溯，不可篡改全网公开：无用户授权机制的区块链成为共有链信息共享：共有链

原创 hive函数大全+详情

hive函数分类运算符运算符含义实例结果!非，类似notselect !trueFALSE!=不等于，类似<>select 1!=2TRUE%取余，返回a除以b的余数select 40%31&位与操作，返回a和b按位进行与操作的结果select 3&502*乘法select 2*36+加法select 2+46-减法select 2-5-3/除，返回a除以b的结果，

原创 分享MySQL的一个小练习，基础简单题，回顾SQL语句

CREATE DATABASE homework1DROP TABLE IF EXISTS emp;CREATE TABLE IF NOT EXISTS emp(empno INT PRIMARY KEY AUTO_INCREMENT,ename VARCHAR(10) NOT NULL,job VARCHAR(20),salary DOUBLE(8,2),mgr INT(10),bonus DOUBLE(6,2),hiredate DATE,deptno INT(10));INSE

原创 hadoop学习之hive练习题+答案

所用数据：https://pan.baidu.com/s/1XJBCKCMG727XQ6KA1E5Pow提取码：dsdzhadoop学习之hive练习题+答案第一题第二题第三题第四题第一题建表create table visit(user_id STRING,shop STRING)row format delimitedfields terminated by ' ';load data local inpath '/root/kb08/hive/1/jd.txt' into tab

原创 入门级，hadoop ha 安装

在搭建普通的hadoop集群的基础上在hadoop260目录下新建data文件夹，在data文件夹中新建journalnode pids tmp 三个文件夹[root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/[root@vwmaster hadoop]# mkdir data[root@vwmaster hadoop]# cd data/[root@vwmaster hadoop]# mkdir journalnode pids tmp

原创 Hadoop集群下的ZooKeeper配置

ZooKeeper安装zookeeper环境“一键”启动zookeeper脚本zookeeper的主从机选取机制安装zookeeper环境zookeeper安装包：https://pan.baidu.com/s/1fpdBs8kbjPj5rlrwusv1iw提取码：h1wv需要准备号jdk环境：参考：https://blog.csdn.net/weixin_44147632/article/details/107796624解压：tar -zxf zookeeper-3.4.5-cdh5.14.2

原创 入门级，Hadoop详情教程（一）

Hadoop入门一大数据简介HadoopHadoop框架(1)hdfs dfs命令HDFS分布式文件系统YARN资源管理系统关于主机和从机的相关问题读写数据MapReduce大数据简介（1）概念①无法在一定的时间内通过常规软件进行抓取，管理和处理的数据②解决海量数据的存储和计算问题（2）特性数量大Volume，增长快Velocity，种类多Variety，价密低Value（3）固有特性时效性，不可变性（4）分布式计算：①传统分布式：1)多数据节点-copy data->单计算节

原创 入门级，Linux下的Hadoop集群的搭建

hadoop安装包：https://pan.baidu.com/s/1ma4AywSvK4sYHJZ_J40amQ提取码：k91hlinux虚拟机安装及配置参考：Hadoop集群搭建解压文件修改hadoop-env.sh配置文件配置hadoop fs系统文件hadoop replicas 备份hadoop mapreduce 计算框架hadoop yarn 管理调度修改hadoop slaves 主机名环境变量配置hadoop 格式化 HDFShadoop-native库启动 hadoop查看hadoo

原创 linux中的elasticsearch集群的“一键”启动脚本

首先需要搭建集群环境，包括我这里准备一台主机和两台从机做演示：主机：vwmaster；从机vwslave01、vwslave02切换至主机的普通用户，cd至根目录下：[root@vwmaster ~]# su chang[chang@vwmaster root]$ cd ~新建两个.sh脚本文件mkdir elstart.shmkdir remote.sh用chmod命令修改两个文件的用户使用权限chmod u+x elstart.shchmod u+x remote.sh以下是el

原创 linux中的elasticsearch集群环境的搭建

需要准备es安装包：Xshell连接虚拟机，在root用户根目录输入：cd /opt/新建目录install用于存储我们今后要用的安装包：mkdir install

转载 SSM框架——详细整合教程（转载）

（转载自：http://blog.csdn.net/zhshulin）         使用SSM（Spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过

原创 linux的shell编程中的curl，eval命令

也是刚刚无意间看到的一个博客介绍了对于shell编程中的curl命令的使用，就去查了一下，curl的用处还是挺大的curl一个利用URL在命令行下进行工作的文件传输工具例如：curl www.baidu.com对进行访问首先安装curlyum search curlyum -y install curl的版本然后测试脚本#!/bin/bashurl1='需要访问的地址'....n=.... #访问的地址个数num=60 #访问次数for((j=1;j<=$num;j++

原创 linux学习之Shell脚本编程（图文）

shell脚本可以在shell界面执行的命令文剑（命令文件：含有各种命令的文本）第一个shell脚本新建一个shell文件夹（测试方便），在shell文件夹下，新建shell脚本文件shelltest.shmkdir shellcd shell/touch shelltest.sh修改脚本文件的执行权限：chmod u+x shelltest.shvi shelltest.sh进入文件内容编辑界面，输入：#!/bin/bashecho 'hello shell#!是一个约定的标记，

原创 linux权限的简单认知

linux权限什么是权限权限数字化管理修改权限什么是权限如图中的红框选中的位置就是每个文件的权限信息大体上我们可以将它的结构理解为文件类型+所有者权限U+所在分组G+其他O[d、-、l][r、w、x][r、w、x][r、w、x]d： 代表目录-： 代表文件l： 可执行文件文件库所有者： 即创建文件者所在分组： 一般在用户创建了一个文件之后，自然给这个文件生成一个分组其他： 除了文件的所有者和其所在组的用户外，其它用户以及的其它组都属于其他[r、w、x]：r： 读的权限w： 写

原创 Linux下的一些工具安装

Linux下的工具安装相关文件JDK安装tomcat安装mysql安装MySQL服务操作相关文件https://pan.baidu.com/s/1zCpJTPRaofCvv__mqwO6UA提取码：ddpiJDK安装将相关压缩包拖入自己建好的文件夹中：解压tar -zxvf jdk-8u111-linux-x64.tar.gz -C /opt/bigdata/java/(这是自己新建的放工具的文件夹)配置环境变量vi /etc/profile在文件末尾的done后面添加（这里将JD

原创 学习Linux操作系统（1）

Linux操作系统的学习Linux系统安装虚拟机认识Linux系统目录常用命令压缩和解压命令Linux系统安装虚拟机vmware下的安装Xbox下的安装认识Linux系统目录目录名称作用binbinnary二进制文件，普通命令boot系统引导程序存放目录devlinux device设备（磁盘 光驱）etc系统配置文件的路径home普通用户的家目录lib/lib64library库mnt临时挂载点optoption可选

原创 vmware虚拟机安装，网络配置，与xshell和xftp的连接（图文）

安装流程：安装vmware新建虚拟机选择自定义模式下一步下一步将光盘映像文件的位置选中，映像文件地址：https://blog.csdn.net/weixin_44147632/article/details/107298125给虚拟机创建一个文件夹给虚拟机分配处理器，我这里是从机，就给了少点，主机的话给2个处理器4核就行一直下一步内存容量20GB以上，一般给个40就差不多了自定义硬件，移除打印机和声卡（用不到），添加一个网络适配器，并将其设置为主机模式虚拟机

原创 快来看看idea报错Invalid bound statement (not found)的一些原因

1、检查xml文件中的namespace是不是接口所在的路径2、xml文件名与接口文件名是否一致（这里有个疑问，直接用mybatis的时候，xml文件和接口文件名首字母要区分大小写，我这里用小写的xml文件，就会报错，但是改成大写就不报错了，可能是配置文件有问题，还在找）。如果我小写了xml文件的首字母就会报错，这也是这篇博客发出来的原因。3、如果不是上面的问题，可以看看mapper的xml文件配置路径是否正确4、还有就是看看，xml中SQL语句的方法名在接口中是否存在。...

原创 java高级部分之IO流的简单了解

输入输出处理1、File类的使用、方法2、使用输入流以字节为单位从文件读取文件（输入是读）3、使用输出流以字节为单位将数据写入到文件（输出是写）4、注意事项Java程序如何访问文件属性？JAVA API提供了：java.io.File类file类访问文件f属性根据文件所在的磁盘路径创建文件对象File file = new File(String pathname);//pathname是路径File类的常用放法：boolean exists() //判断文件或者目

原创 新手入门教程之Mybatis

什么是MybatisMyBatis是一个持久层框架，它支持SQL、存储过程和映射。是一种半自动化的ORM框架，为什么叫半自动，Mybatis的参数是动态映射，但是其SQL语句是需要我们自己去编写的。Mybatis在idea中的配置导入依赖jar包Mysql driverMybatis核心配置：在idea的setting窗口中选择如果没有user，点击+新建新建一个mbcnf在Template text:中输入：<?xml version="1.0" encoding="UTF-8

原创 学会认识Java中的一些Exception异常

概念：是指在程序的运行过程中所发生的不正常的事件，它会中断正在运行的程序。异常分为Checked异常和运行时异常，Checked异常必须捕获或者声明抛出，运行时异常不要求必须捕获或者声明抛出。异常处理：Java编程语言使用异常处理机制为程序提供了错误处理的能力Java的异常处理是通过5个关键字来实现的：try、catch、 finally、throw、throws。try一定要有，catch和finally至少要有一个。try–>执行可能产生异常的代码。catch–>捕获异常。f

原创 新手入门JAVA基础一

class-file：字节码文件java-file：源文件javac：java的编译功能，对指定的.java后缀的文件进行编译。 生成了jvm可以识别的字节码文件，也就是class文件。java：运行功能，启动jvm加载运行，并运行javac编译的class文件，这个文件执行的起点是main函数。JAVA基础一基本点：语法：数组：基本点：1、关键字： java内已经定义了的单词，具有特殊含义，例如public、class等。2、常量： 一个程序中不变的数据3、变量： 实质上就是内存中的一个存

原创 看看idea+maven打jar包的两种方式

两种打jar包的方法：一、普通jar包的打包方式：在我们的idea工程界面，点击右上角的project structure然后在project setting里面选择Artifacts，点击加号，选择jar，给个包名，然后apply回到我们的工程界面，选择菜单栏中的build，下拉菜单中的build artifacts如果是第一次打包就build，不是就rebuild操作完成之后，我们会发现 jar包出现在工程根目录下新增的out目录中（xxx.jar）二、Maven jar包：通

原创 MAVEN的环境变量配置（win10系统，图）

下载好maven官网：http://maven.apache.org/download.cgi#这边用3.6.1演示右击桌面此电脑，属性 > 高级系统设置 > 在系统属性窗口打开环境变量在系统变量中新建maven——home，变量值是maven安装的目录找到PATH变量，新建%MAVEN_HOME%\bin然后确定。回到桌面win+r呼出运行窗口，cmd回车进入命令窗口，输入mvn -version出现了maven版本信息，则配置成功...

原创 MySQL典型练习题答案

自己敲的，有的做复杂了统计人力资源部(Human Resources)一共有多少人任职(包括在职和离职)，字段包括员工数量(count)。select count(1)fromdept_empinner joindepartmentson dept_emp.dept_no=departments.dept_nowhere departments.dept_name='Human Resources';统计开发部(Development)在1990年，一年里入职又离职的员工信息，字段包括员

原创 简单的maven创建javaweb工程的相关配置

首先打开我们的idea选择MAVEN创建一个javaWeb工程在工程目录下的pom.xml文件中：修改properties与maven版本一致：<maven.compiler.source>1.8</maven.compiler.source><maven.compiler.target>1.8</maven.compiler.target> 在dependencies中添加依赖<!-- https://mvnrepository.

原创 看就懂的数据库三大范式的基本概念

数据库的三大范式：第一范式：表中所有字段都是不可分割的原子值。只要字段值还可以继续拆分，就不满足第一范式。例如地址这个字段，如果写为XX省XX市XX区就不满足第一范式，因为这个字段可以继续拆分为字段省，字段市，字段区。在实际数据处理过程中，范式设计越详细，操作更加灵活。如表1学生信息表1学生学号学生姓名性别家庭住址其中家庭住址的范围较广，可以继续拆分为表2学生信息表2学生学号学生姓名性别家庭住址（省）家庭住址（市）家庭住址（区）这样在执行查询语句

原创 简单使用JDBC操作数据库

JDBC概念：JDBC是java提供面向关系型数据库的标准接口（面向接口编程），实现java程序对各种数据库的访问所用到的包java.sql.Connection;java.sql.Statement;java.sql.PreparedStatement;java.sql.CallableStatement;java.sql.ResultSet;JDBC访问数据库的一般步骤：现有school数据库表结构mysql> show tables;+------------------