- 博客(62)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive sql创建时间维度表
create table tmp.date_dim as select date_add('2016-01-01',a.rk) from(select row_number()over() as rk from db_user.user limit 10000)adb_user.user里必须有数据 从2016-01-01开始创建一个只含有日期的10000条数据的表...
2019-04-16 22:23:12
2220
原创 jstorm概念
topology一个JStorm任务spoutspout代表输入的数据源，这个数据源可以是任意的，比如说kafka，DB，HBase，甚至是HDFS等，JStorm从这个数据源中不断地读取数据，然后发送到下游的bolt中进行处理。boltbolt代表处理逻辑，bolt收到消息之后，对消息做处理（即执行用户的业务逻辑），处理完以后，
2018-01-31 21:06:30
671
原创 kafka发布消息报错LEADER_NOT_AVAILABLE
报错信息$ bin/kafka-console-producer.sh --broker-list="192.168.1.100:32785" --topic testssss[2016-05-11 11:21:42,527] WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABL
2018-01-17 19:34:06
16586
原创 kafka删除消息
如果设置了可删除直接命令删除配置server.propertiesdelete.topic.enable=true#删除testkafka-topics --delete --zookeeper hs01:2181 --topic testzookeeper客户端删除#进入客户端./zookeeper-shell.sh hs01:2181#删除rmr /brokers/topics/
2018-01-17 19:33:35
5930
原创 zookeeper客户端查看kafka配置
连接#连接zookeeper-shell.sh hs01:2181,hs02:2181,hs03:2181Connecting to hs01:2181,hs02:2181,hs03:2181Welcome to ZooKeeper!JLine support is disabledWATCHER::WatchedEvent state:SyncConnected type:No
2018-01-17 19:33:02
6002
1
原创 kafka命令
查看topickafka-topics.sh --list --zookeeper localhost:2181查看某一topic下的消息kafka-console-consumer.sh --zookeeper localhost:2181 --topic account --from-beginning删除topic./zookeeper-shell.sh hs03:2181rmr /br
2018-01-17 19:32:19
423
原创 python3计算一个目录页下所有文件夹的大小
import oshomedir = 'C:\\Users'def get_size(filedir): tree = os.walk(filedir, topdown=True) dirsize = 0 for i in tree: nodeName = i[0] nodeDirs = i[1] nodeFiles
2017-12-28 19:40:16
1055
原创 maven配置文件 setting.xml设置和设置阿里云镜像
settings.xml通用配置官网链接一般格式：settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org
2017-12-28 19:38:18
19047
原创 hadoop 增加存储目录
直接在cdh上配置HDFS -> 配置 -> datanode ->DataNode 数据目录dfs.data.dir,dfs.datanode.data.dir增加一个目录，不用提前创建[root@hs03 dn]# hadoop fs -df -hFilesystem Size Used Available Use%hdfs://hs03
2017-12-28 19:24:39
1732
原创 hadoop 报错解决汇总
Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修
2017-12-28 19:21:19
4366
1
原创 linux 服务器间文件互传
scp命令1.本机->远程服务器scp -r /home/name/hello [email protected]:/home/name/home/name/hello为源目录，test2为目标目录，[email protected]为远程服务器的用户名和ip地址。-r 表示递归发送，不加可以发送一个文件2.远程服务器->本机scp -r root@192
2017-12-22 19:06:28
513
原创 git把本地项目push到远程仓库
环境系统：windows目录：D:/workspace/idea/spark-test远程仓库：https://github.com/HanlaoTwo/SparkStudy.git协议：https创建版本库#初始化git initReinitialized existing Git repository in D:/workspace/idea/
2017-12-19 19:22:26
19832
原创 10.SparkStream例子HdfsWordCount
spark github上的例子程序描述计算给定目录下的新文件的单词个数运行的时候在hdfs上设置一个目录然后实时的往目录里放文件程序可以文件中单词的个数代码package streamimport org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, S
2017-12-15 19:43:07
823
原创 redis增删改查----Spring+redis
参考文章：https://www.ibm.com/developerworks/cn/java/os-springredis/index.htmlhttps://docs.spring.io/spring-data/data-redis/docs/current/reference/html/#get-startedhttps://docs.spring.io/spring
2017-11-13 18:41:53
1496
原创 redis增删改查----控制台
### 进入redis控制台redis-cli --raw #加上raw,防止中文乱码### 增127.0.0.1:6379> LPUSH list0 "hello" #增加一个list1127.0.0.1:6379> LRANGE list0 0 -1 #查看listhello### 删127.0.0.1:6379> DEL list0 #删除list1127.0.
2017-11-13 18:27:45
1277
原创 linux端口开放和端口对外开放
查看端口使用情况netstat -apn netstat -apn | grep 25查看端口是否对外开放ncnc ip 25nc 127.0.0.1 25 #不是对外开放状态[root~]# nc 127.0.0.1 25220 hq.localdomain ESMTP Postfix[root ~]# nc 1.2.3.4 25Ncat: Connect
2017-10-26 20:39:10
11980
原创 10.RDD基本操作
package rddbasicimport org.apache.spark.storage.StorageLevelimport org.apache.spark.{SparkConf, SparkContext}/** * Created by hanq0 on 2017/10/23. */object stuRdds { val conf = new SparkCo
2017-10-24 21:32:40
529
原创 9.JavaScript，Scala，spark中的闭包
JavaScript的闭包(function(){ var hello="hello,world"; function welcome(hi){ alert(hi); //解析到作用域链的第一个对象的属性 alert(hello); //解析到作用域链的第二个对象的属性 } welcome("It's easy
2017-10-24 21:31:38
669
原创 8.scala方法定义
形式：def functionName ([list of parameters]) : [return type]例子object add { def addInt( a:Int, b:Int ) : Int = { var sum:Int = 0 sum = a + b return sum }}数据类型
2017-10-24 21:29:13
382
原创 Scala关键字class和object
面向对象和Java一样Scala面向对象类是对象的模板、抽象。定义一个类后，可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。classclass表示类 和Java不同，class不能运行。虽然可以定义main方法，但是不能运行class Point(xc: Int, yc: Int) { var x: Int
2017-10-23 20:50:16
4647
原创 spark程序提交集群和监控
运行模式Spark 应用在集群上作为独立的进程组来运行，在 main 程序中通过 SparkContext 来协调（称之为 driver 程序）1.每个应用获取到它自己的 Executor 进程，它们会保持在整个应用的生命周期中并且在多个线程中运行 Task（任务）。这样做的优点是把应用互相隔离，在调度方面（每个 driver 调度它自己的 task）和 Executor
2017-10-16 20:45:05
1900
原创 linux上运行spark程序
参考官网spark-submit在spark安装目录的bin目录下有一个spark-submit脚本，可以用来提交运行spark程序如果配置了spark的path可以直接使用spark-submit命令编译构建spark程序使用sbt 或者maven构建程序生成jar包spark-submit的使用spark-submit \ --class
2017-10-10 00:01:56
4799
原创 maven构建Scala程序，实现spark的wordcount
环境jdk1.8scala2.11.8spark2.11maven4.0新建工程ide:idea新建一个maven工程，添加jdk和scala支持然后添加maven依赖编写wordcount代码右键运行scala类maven依赖:project xmlns="http://maven.ap
2017-10-09 23:27:21
1287
原创 windows下使用maven编译spark源码
1.环境jdk1.8scala2.11.8spark2.11maven4.02.github客户端官方给出的命令是在Linux上的./build/mvn -DskipTests clean package调用shell脚本取只想一些命令然后在用maven编译,一些过程如下install_app() { local remo
2017-10-09 23:26:20
933
原创 windows配置spark运行环境
1.java配置使用jdk1.8配置略2.下载、配置scala官网下载scala，解压放到自己的目录下。目录不要有空格把Scala的bin文件夹所在目录配置到环境变量的path中（过程和jdk配置一样）测试是有完成win+R cmd：scala出现scala配置就是安装好了3.下载、配置spark官网下载sapark，
2017-10-09 23:24:37
391
原创 sqoop使用示例
sqoopSqoop是一款开源的工具，主要用于在HADOOP不传统的数据库(mysql、postgresql等)进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS
2017-07-10 19:35:27
894
原创 股票基本知识
概念股票是一种有价证券，是股份有限公司在筹集资本时向出资人发行的股份凭证，代表着其持有者对股份公司的身份（（即股东）和权利。这种权利为一种综合权利，如参加股东大会、投票表决、参与公司的重大决策、收取股息或分享红利等，但也要共同承担公司运作错误所带来的风险。股票只是对一个股份公司拥有的实际资本的所有权证书，只是代表取得收益的权利，是对未来收益的支取凭证，它本身不是实际资本，而只是间接
2017-07-03 22:39:40
1095
原创 tomcat启动成功但是没有监听8080端口
查看tomcat日志cd tomcat/logscat catlina.out错误如下：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64/jre/bin/java: No such file or directory原因：Java虚拟机没有找到控制台输入java有输出直接安装jdk不配置环境变量输入ja
2017-06-12 23:41:03
10143
2
原创 单例模式不单例
一个最简单的单例：public class Singleton { private Singleton() {} private static Singleton single=null; //静态工厂方法 public static Singleton getInstance() { if (single == null
2017-06-12 23:33:25
472
原创 Java获取工程jar包war包中的文件
1.相对路径有问题工程目录如图：-- 用相对路径的方法可以获取跟src同一目录下的js文件//scripts前不要加 “/” FileReader file = new FileReader("scripts/textchat.js");但是这样打包之后会找不到文件2.使用反射把文件放在resource目
2017-06-12 23:25:15
3769
1
原创 Hive安装本地模式
环境CentOS6.5jdk1.8MySQL5.6Hadoop2.7mysql要用原生的若果是centOS会自带MariaDB，不要用。CentOS上MySQL安装安装hive下载hive压缩包解压然后放到一个单独的目录下（不放也行）wget urltar -zxvf apac
2017-05-26 20:20:20
1033
原创 远程调试Java程序，远程Debug
0.环境远程服务器（本地也可以应该）远程服务器JDK环境本地IDE（这里是idea）1.准备程序先准备一个要远程debug的程序，这里新建一个test工程，并导出jar包。比如一个名叫Test的jar文件2.远程启动把包放到远程服务器的目录下终端输入命令java -Xdebug -Xrunjdwp:transport=dt_soc
2017-05-23 20:04:36
697
原创 通过反射优化工厂模式
1.工厂模式工厂模式是我们最常用的实例化对象模式了，是用工厂方法代替new操作的一种模式。著名的Jive论坛 ,就大量使用了工厂模式，工厂模式在Java程序系统可以说是随处可见。因为工厂模式就相当于创建实例对象的new，我们经常要根据类Class生成实例对象，如A a=newA() 工厂模式也是用来创建实例对象的，所以以后new时就要多个心眼，是否可以考虑使用工厂模式，虽然这样做，可能多做
2017-05-01 15:47:41
1010
原创 Java反射
1. 反射正常情况下都是通过一个类去实例化一个对象，通过一个对象找到一个类的名称，地址，方法等类信息时用到的机制就是反射一个简单的栗子：package com.learn.controller;public class Fanshe { public static void main(String[] args){ testFanshe ts =
2017-05-01 15:00:02
319
原创 Python操作excel
1.使用的库xlrd 库 读文件xlwt 库 写文件官网地址可以操作的文件：.xls or .xlsx 文件2.用法安装：pip install 模块xlrd使用：打开文件data = xlrd.open_workbook('文件.xlsx')获取excel的sheet,返回一个数组，每个元素都是一个s
2017-04-29 00:13:17
510
原创 Java注解的作用，使用，自定义
注解是什么注解是描述Java代码的代码，它能够被编译器解析，注解处理工具在运行时也能够解析注解。用来标识代码，提供额外的信息做特殊处理。 比如：@Override public String toString(){ return ""; }@Override 是一个常用的注解，它标识我们重写了某个方法。注解的作用还是@Overri
2017-04-25 23:07:32
639
原创 安装cx_Oracle报错：unable to find vcvarsall.bat
环境：Python3.5vs 2008报错：unable to find vcvarsall.bat原因：python的distutils模块中的msvc9compiler.py并不从环境变量指定的路径中寻找’vcvarsall.bat’，而是通过注册表来寻找…，然而，不知为什么编译器安装过程没有配置注册表。解决办法：网上有很多，
2017-04-25 15:16:14
1005
原创 设计模式--MVVM
1.关联模式MVC视图（View）：用户界面。控制器（Controller）：业务逻辑模型（Model）：数据保存View 传送指令到 ControllerController 完成业务逻辑后，要求 Model 改变状态Model 将新的数据发送到 View，用户得到反馈MVPModel 提供数据View 负责显示Presen
2017-04-16 22:25:13
517
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人