yancychas的博客

原创 记一次Hive隐式转换的坑

1、一次隐式转换遇到的错误及原因最近在使用Hive中，遇到了一个隐式转换的坑。首先看一下两个表格table1 order_number(type:string)value 150970594253582620123table2 order_number(type:bigint)value 150970594253582621123在两个表的使用中，需要对两个表进行连接SELECT oi.order_number order1, cc.order_number order2

转载 线程池详解（包括Future和FutureTask）

Java 四种线程池的使用https://juejin.im/post/59df0c1af265da432f301c8d1，线程池的作用线程池作用就是限制系统中执行线程的数量。根据系统的环境情况，可以自动或手动设置线程数量，达到运行的最佳效果。少了浪费了系统资源，多了造成系统拥挤效率不高。用线程池控制线程数量，其他线程排 队等候。一个任务执行完毕，再从队列的中取最前面的...

原创 MySQL8学习

1. 用户操作创建用户 create user 'username'@'hostname' identified with mysql_native_password by 'password';//MySQL8以上（由于mysql8的密码存储方式改变，许多桌面化工具不支持，所以改回之前的加密方式） create user 'username'@'hostname' identified...

原创 SQL经典实例

1. 检索记录查找满足多个行的记录 可以用 and 和 or 来筛选数据， and 的优先级大于 or ，最好使用()来明确使用优先级。在where中筛选别名 一般SQL语句执行顺序：from > where > select #所以该语句报错 select sal as salary, comm as commission from emp where s...

原创 python脚本常用

一、路径os.sep:取代操作系统特定的路径分隔符os.name:指示你正在使用的工作平台。比如对于Windows，它是’nt’，而对于Linux/Unix用户，它是’posix’。os.getcwd:得到当前工作目录，即当前python脚本工作的目录路径。os.getenv()和os.putenv:分别用来读取和设置环境变量os.listdir():返回指定目录下的所有文件和目录名...

原创 Centos7安装并显示中文

1、查看当前显示格式及编码echo $LANG //一般默认显示为en_US.UTF-82、查看是否安装中文字体locale -a | grep 'zh_CN*' //查看是否有zh_CN.UTF-83、安装中文字体（如果没有）yum install kde-l10n-Chinese4、修改配置文件vi /etc/locale.conf //修改配置文件内容为：LANG=...

原创 图片上传

转载 Kafka选举机制及数据丢失情况分析

1 首领选举2 数据损失配置及情况分析2.1 不完全首领选举unclean.leader.election 只能在broker级别（实际上是在集群范围内）进行配置，它的默认值是true 。我们之前提到过，当分区首领不可用时，一个同步副本会被选为新首领。 如果在选举过程中没有丢失数据，也就是说提交的数据同时存在于所有的同步副本上，那么这个选举就是“完全”的。但如果在首领不可用时其他副本都是不...

转载 Kafka的配置文件详细描述

在kafka/config/目录下面有3个配置文件：producer.propertiesconsumer.propertiesserver.properties(1).producer.properties:生产端的配置文件#指定kafka节点列表，用于获取metadata，不必全部指定#需要kafka的服务器地址，来获取每一个topic的分片数等元数据信息。me...

转载 springmvc实现文件上传的两种方式

版权声明：本文为博主原创,要转载留个名先 https://blog.csdn.net/do_bset_yourself/article/details/51318014spring文件上传不多说直接上代码页面代码upload.jsp<h1>文件上传</h1><form method="post" action="${pageCon

转载 spark shuffle过程

关于spark shuffle过程的理解：https://blog.csdn.net/quitozang/article/details/80904040spark基础之shuffle机制和原理分析：https://blog.csdn.net/zhanglh046/article/details/78360762Spark shuffle流程细则：https://blog.csdn.net...

原创 Spark学习笔记

一、安装1、上传并解压。2、修改spark/conf/spark_env.sh：export JAVA_HOME=/usr/jdk1.8.0_152/export SPARK_MASTER_IP=hadoop1            expart SPARK_MASTER_PORT=7077            export HADOOP_CONF_DIR=/usr/ha...

转载 IntelliJ IDEA开发Scala代码，与java集成，maven打包编译

原文https://www.cnblogs.com/rightmin/p/6207665.html今天尝试了一下在IntelliJ IDEA里面写Scala代码，并且做到和Java代码相互调用，折腾了一下把过程记录下来。首先需要给IntelliJ IDEA安装一下Scala的插件，在IDEA的启动界面点击 Configure -> Plugins，然后搜索Scala，点击 Insta...

原创 《快学Scala》笔记

一、基础1、数据类型：Byte、Short、Int、Long、Flout、Double、Boolean七种数据类型，且不分基本类型和引用类型。2、运算符：相比java，没有++和–两种操作符。3、方法调用：如果没有参数，方法可以不带括号。4、变量声明：val a="不可变类型" var b="可变类型"5、语句终止与返回：采用return可以提前返回循环，但是一定要设置返...

原创 《Java核心技术》笔记

1、基本数据类型：4种整形，2种浮点类型，1种char，一种boolean2、创建数组： int[] num={1,2,3} int[] num=new int[]{1,2,3} int[] num=new int[3]前两种不创建新的数组类型，只引用堆空间的对象。3、操作数组： Arrays.copyOf() Arrays.sort() Arrays.toString()...

原创 Windows下远程提交Hadoop

下载需要的hadoop版本（https://hadoop.apache.org/releases.html）解压到本地路径（J:\hadoop-2.7.7）添加HADOOP_HOME，并添加进PATH下载winutils-master（https://download.csdn.net/download/yancychas/10800526）选择对应的hadoop版本，把bin里面的...

原创 《Hive编程指南》笔记

准备工作配置mysql数据库为元数据库vi hive2.2/conf/hive-site.xml加mysql的jdbc的jar包到hive/lib(下载地址:https://dev.mysql.com/downloads/connector/j/)初始化hive$HIVE_HOME/bin/schematool -dbType -initSchema启动hiveHIVEHOM...

转载 Hive UDF/GenericUDF开发

关键字：Hive udf、UDF、GenericUDFHive中，除了提供丰富的内置函数（见[一起学Hive]之二–Hive函数大全-完整版）之外，还允许用户使用Java开发自定义的UDF函数。开发自定义UDF函数有两种方式，一个是继承org.apache.hadoop.hive.ql.exec.UDF，另一个是继承org.apache.hadoop.hive.ql.udf.generic...

转载 Hive之——权限管理(授权)

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/80216911   HIVE授权管理，类似于操作系统权限可以授予给不同的主题，如用户(USER)，组(GROUP)，角色(ROLES)，Hive还是支持相当多的权限管理功能，满足一般数据仓库的使用，同时HIVE能支持自定义权限。     HIVE授权并不是完全安全，在其目前...

转载 mr 过程setSortComparatorClass和setGroupingComparatorClass

代码：Customer.upsmart.recommend.TestReduceSortjob.setPartitionerClass(PartitionClass.class);对key取hash值(或其它处理)，进入不同的reducejob.setSortComparatorClass(SortComparator.class);对进入同一个reduce的 键  或键的部分 进...

原创 HDFS结构与升级

一、hdfs的namenode结构Version是hdfs的版本信息edits开头的是操作日志文件fsimage开头的是数据镜像文件.lock结尾的是锁文件，防止两个namenode共同操作数据文件二、主namenode和辅助namenode的工作流程三、hdfs的datanode结构blk开头的是一个hdfs数据块的原始字节数blk开头，.meta结尾的是该块的元数据...

转载 MapReuce之输入类InputFormat

使用hadoop jar执行mapreduce任务时首先从hdfs中读取数据将这些数据解析为inputsplit，然后再将inputsplit中的内容解析为一个一个的<k,v>键值对，这个过程就是有InputFormat的子类完成的。之前在MR例子中有一段代码job.setInputFormatClass(TextInputFormat.class);就是指定TextInputForm...

转载 map端和reduce端参数的调优策略

原文https://blog.csdn.net/qq_26442553/article/details/78760338使用hadoop进行大数据运算，当数据量及其大时，那么对MapReduce性能的调优重要性不言而喻。尤其是Shuffle过程中的参数配置对作业的总执行时间影响特别大。下面基于官网和工作中的情况总结和相关的调优策略。     1.关于map端的调优属性     2....

原创 MapReduce的工作机制

一、MapReduce执行过程1、提交作业向资源管理器（RecourceManager）申请一个新应用的ID。检查作业的输出。没有指定目录或目录不存在则抛出错误。检查作业的输入分片。检查输入路径并计算分片，如果计算不出分片，则抛出错误。共享应用和任务资源文件。将应用jar包，其他文件上传到HDFS。启动submitApplicition()，提交作业2、作业的初始化资源管理...

转载 Hadoop的三种调度器

（1）FIFO Scheduler将所有的Applications放到队列中，先按照作业的优先级高低、再按照到达时间的先后，为每个app分配资源。如果第一个app需要的资源被满足了，如果还剩下了资源并且满足第二个app需要的资源，那么就为第二个app分配资源，and so on。优点：简单，不需要配置。缺点：不适合共享集群。如果有大的app需要很多资源，那么其他app可能会一直等待。...

转载 python操作Excel模块openpyxl

原文https://www.cnblogs.com/zeke-python-road/p/8986318.html1、 安装pip install openpyxl想要在文件中插入图片文件，需要安装pillow，安装文件：PIL-fork-1.1.7.win-amd64-py2.7.exe · font(字体类)：字号、字体颜色、下划线等· fill(填充类)：颜色等·...

转载 python终端模拟工具pexpect

原文：https://my.oschina.net/yongqing/blog/290679 Pexpect是一个纯Python模块。 可以用来和ssh、ftp、passwd、telnet 等命令行程序进行自动交互。实现与命令行交互的自动化.它提供了两个主要接口 run()函数和spawn类.run()函数run功能相对简单，只能实现简单交互run(command,tim...

原创 linux安装python3

linux安装python3.X不要卸载python2.X，因为有些软件或者程序依赖python2.X步骤下载linux版本的python3.X（https://www.python.org/downloads/source/）解压下载的tar包tar -zxvf /root/Python-3.7.1.tgz -C /usr/python3/编译并安装`cd /usr/pyth...

原创 Java排序代码

public class Sort { public static void main(String[] args) { int[] data={3,6,8,3,2,45,7,567,5,12,234,3465,75,543,2,25,3,4,57,8,78,33,7,43,86,444}; int[] outData = quickSort(data,0...

转载 List、Set、Map的区别

原文：https://www.cnblogs.com/IvesHe/p/6108933.html                                                                                                （图一）1.面试题：你说说collection里面有什么子类。（其实面试的时候听到这个问题的...

原创 avro的使用详解

一、avro的介绍1、概括avro是一个数据序列化系统，它提供丰富的数据结构快速可压缩的二进制数据形式存储持久数据的文件容器远程过程调用RPC简单的动态语言结合功能2、类型 二、avro在hadoop的使用1、模式确定例如：{"namespace": "example.avro", "type": "r

转载 Avro：使用Avro MapReduce进行排序

在MapReduce作业中，框架保证Reducer收到的key是有序的。利用这一点，我们可以对Avro文件进行排序。假设我们有如下的Schema：{"namespace": "me.lin.avro.mapreduce", "type": "record", "name": "User", "fields": [ {"name": &

转载 Hadoop的JobControl设计及用法

JobControl设计及用法1、JobControl设计原理分析：JobControl由两个类组成：Job和JobControl。Job类封装了一个MapReduce作业及其对应的依赖关系，主要负责监控各个依赖作业的运行状态，一次更新自己的状态。作业刚开始处于WAITING状态。如果没有依赖作业或者所有作业均已运行完成，则进入READY状态。一旦进入REDAY状态，则作业可被提交到Hadoop集...

原创 hadoop的Writable常规使用

一、writable接口二、使用1、常规不讲例如：BooleanWritable、IntWritable、Text等，可通过构造器或者set方法创建，get方法获得。2、IntWritable、LongWritable、VintWritable和VlongWritable其中变长类型能节省储存空间，尤其是在-127到127之间的数值；而对于数值在整个值域空间...

原创 Scala基础

 1、  private：java允许本类、内部类及外部类访问本类的私有变量scala只允许本类和内部类访问本类的私有变量2、  protected：java允许子类和同包的其他类访问scala只允许子类访问3、  public：一样4、  函数传值调用和传名调用：（1）      传值：参数(x:Int)（2）      传名：参数(x: => Int)...

原创 java 内部类的理解

为什么要使用内部类？在《Think in java》中有这样一句话：使用内部类最吸引人的原因是：每个内部类都能独立地继承一个（接口的）实现，所以无论外围类是否已经继承了某个（接口的）实现，对于内部类都没有影响。java的内部类主要有以下几种情况：     1、静态内部类    2、匿名内部类    3、成员内部类    4、局部内部类一、简单使用外部类名.内部类名=...

转载 log4j使用

日志是应用软件中不可缺少的部分，Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站：jakarta.apache.org/log4j 可以免费下载到Log4j最新版本的软件包。一、入门实例1.新建一个JAva工程，导入包log4j-1.2.17.jar，整个工程最终目录如下2、src同级创建并设置log4j.proper

转载 bootstrap table 多选框分页保留

在使用bootstrap table的复选框功能的时候，由于采用服务端分页，当在第一页选择了某些数据，然后点击第二页选择一些数据，再次点回第一页，发现原先选择的数据已经清空了，原来的多选框并不支持翻页保留多选数据。解决思路：在分页的时候，吧原先选择的数据用一个全局变量保存，当再次翻页回来时，判断当前页数据是否存在于保存的数据数组中，存在则状态为选择。当然当取消选择的时候也要去删除数组中相应

转载 Flume安装及简单部署

1 Flume简介Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据的简单处理，并将数据处理结果写入各种数据接收方的能力。Flume作为Cloudera开发的实时日志收集系统，受到了业界的认可与广泛应用。2010年11月Cloudera开源了Flume的第一

原创 Sqoop常用参数及其使用

Sqoop的使用1、 上传并解压2、 修改sqoop/conf/sqoop=env.sh分别输入hadoop，hadoop，hive，zookeeperconf的目录3、 导入jdbc的jar包4、 进入到sqoop/bin目录下5、 从mysql到导入(1)   mysql上传到hdfs(2)   导入到hive中注：如需指定h