DJH2717的博客

原创 Hive常用函数

Hive常用函数

原创 Flume采集Kafka数据到HDFS，以及报错解决

Flume采集Kafka数据到HDFS，以及报错解决

原创 iTerm配置

快捷键快捷键2其他装逼设置

原创 查看并配置 hive 的计算引擎

查看set hive.execution.engine;配置set hive.execution.engine=spark;set hive.execution.engine=mr;

原创 Scala 高级特性之 隐式转换

引用 scala 官方的话, 只有两种情况会发生隐式转换:当表达式类型 S 与期盼的类型 T 不相符时.当对一个对象 b 调用 b.methodA() 时, methodA 并不存在于 b 对象所属的类或父类中时.下面用代码说明什么是隐式转换:class SpecialPerson(val name: String) { def showSpecialTick(): Unit =...

原创 2019-2月份月度总结

2 月份干了什么?从 31 号 返深圳一来, 一晃就是一个月, 因为疫情原因, 这一个月过的太宅, 到现在感觉精神都宅出问题了都, 希望疫情快点过去吧. 主要干的事情:工作方面,从 一开始年后加入了中铁项目组, 优化中铁的一些功能, 开发打标签的新功能需求(陆陆续续联调和添加新需求, 花了两周吧).胃疼了好几天, 影响了正常的作息和学习计划.构思毕设, 初步完成了毕设的架构设计, 开发...

原创 Kafka Java API 简单使用

生产者注意点:可以使用消息的同步发送和异步发送, send 方法返回的是一个 future 对象, 可以使用 get 进行阻塞等待返回. 或传入 callBack 方法进行异步回调.可以在创建 record 的时候指定分区, 如果不指定, 则使用默认的负载均衡分配分区.import org.apache.kafka.clients.producer.KafkaProducer;imp...

原创 HDFS Java API简单操作

注意点:9000 端口是 hdfs 文件系统的默认端口, 而 8020 才是 NameNode 的端口.API 基本规律:1: 首先创建 configuration 对象.2: 获取 FileSystem 对象后, 绝大部分 对文件系统的操作都在这个对象中, 如 create, mkdir, delete 等等.package hdfs;import org.apache.hado...

原创 如何理解Linux文件系统中的 挂载 的概念?

使用 df -h 命令, 如下, 最后一列会显示 挂载点, 心存疑惑的我, 一直在想这个挂载点是什么意思?$ df -h文件系统 容量 已用 可用 已用% 挂载点devtmpfs 5.8G 0 5.8G 0% /devtmpfs 5.8G 0 5.8G ...

原创 HBASE Java API 操作

HBASE Java API 有 1.x 和 2.x, 有一定差距, 本文基于 2.x 的 Java 操作, 对 hbase 表的基本的 增删查改操作.注意点:Put, Get, Delete 都都可以使用 addColumn 来对指定的 列 进行相关操作.Scan 可以通过添加 filters 来进行条件过滤, 其中 Filter 是过滤条件, 拥有许多预定义的 Filter 类, 其...

原创 Maven 常用 Plugin 配置

<!--Maven package with Scala class--><plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</...

原创 大数据常用组件 Maven 依赖, 已根据CDH兼容版本

主要包括, spark core,sql,stream,kafka,ml. Hbase, Hdfs Client, Scala.<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-common --><dependency> <groupId>org.apache.hbase...

原创 Zeepline 安装和配置Spark

第一步: 去官网下载压缩包.http://zeppelin.apache.org/download.html第二步: 解压安装.注意点: Zeppline 依赖 Java, 因此需要配置好 java 环境.第三步: 启动 (坑多)进入到 /bin 目录下, 用 ./zeppline-demaon.sh start 启动../zeppelin-dameon.sh start注意...

原创 2019 年度总结

一转眼, 又是一年过去了, 自己也渐渐的步入社会找到了第一份工作, 美好的大学生活正在渐渐的离我们远去, 青春也在日月蹉跎中慢慢的老去, 这份看似不准时的2019年度报告姗姗来迟, 仅在此记录下22岁的自己在此时此刻的感受和自己走过的2019的春夏秋冬.在2019里, 发生了很多事情, 比如说自己从大三步入了大四, 慢慢的走进了大学生活的尾巴,彻彻底底的离开了那个自己待了近四年的象牙塔, 尽...

原创 CentOS 7配置静态IP

CentOS 7 配置静态 ip 和 CentOS 6 有差异, 此文只讲述 7.第一步: ip addr 查看 当前设备的网卡信息1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:0...

原创 Linux 的 zsh 安装, oh my zsh 的配置

安装 zsh查看系统是否自带 zshcat /etc/shells显示系统当前默认 shell:echo $SHELL安装 zshyum/apt install zsh切换到 zsh:chsh -s /bin/zsh重启终端生效(无需系统重启)安装 oh my zsh#方法一：wget方式自动化安装oh my zsh：$ wget https://git...

原创 Linux实用 Shell

多个 Host 运行 jps:#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出for i in root@hadoop1-host root@hadoop2-host root@hadoop3-host root@hadoop4-host root@hadoop5-hostdo echo "===================$i================...

原创 Linux 常用命令

防火墙相关查看防火墙:chkconfig iptables --list 永久关闭防火墙:chkconfig iptables offDebain 系列默认没有开启和安装防火墙SSH 免密:SSH 免密登录在 .ssh 目录下输入如下命令然后回车四次ssh-keygen -t rsa使用ssh-copy-id hostName 把生成的公钥复制到需要免...

原创 RM 高可用和RM 重启

Yarn 高可用Yarn 的故障转移有手动故障转移和自动故障转移, 手动故障转移是通过管理员执行 yarn 命令, 自动故障转移依赖于 Zookeeper 实现, 不需要额外的独立运行一个 ZKFC.自动故障转移官方介绍:The RMs have an option to embed the Zookeeper-based ActiveStandbyElector to decide w...

原创 Yarn节点标签

YARN Node Labels用一句话来描述 Node Labels 就是在集群下面划分子集群官方介绍:One node can have only one node partition, so a cluster is partitioned to several disjoint sub-clusters by node partitions. By default, nodes b...

原创 Yarn调度策略

FIFO 调度:此方式是 Hadoop 最早的调度方式, 实现方式简单, 同一时刻只允许一个作业运行, 按照作业的提交顺序来运行, 让其享有集群的全部资源, 优势是实现简单, 劣势是让当运行某些大作业时, 小作业难以得到及时的处理.Capacity 调度:官方介绍:The CapacityScheduler is designed to allow sharing a large c...

原创 安康乐游问答平台 项目架构图

架构图:功能结构图:

原创 Spark 社交网络用户数据分析 项目架构图

架构图：

原创 仿知乎用户问答平台 项目架构图

架构图:功能结构图:

原创 思为知屋用户数据分析 项目架构图

原创 希尔 排序

基本思想:希尔排序是对 直接插入排序的改进, 其具体思想为对整个数组用增量来进行分组, 对分组后的数组分别使用简单的直接插入排序, 然后不断的缩小分组, 直到分组为 1, 此时数组绝大部分元素已经有序, 只需要对少量元素进行交换.大体实现过程: 使用希尔建议的增量, 不断的对数组长度/2 得到增量序列, 对每一个增量都从第一个元素开始按照增量分组, 对分组类的元素进行简单插入排序, 直到最后增...

原创 插入 排序

基本思想:插入排序主要思想是把一个数组分为两部分, 已排序和未排序部分, 每次从未排序中选取一个元素通过前后比较并交换插入到已经排序的有序数组中.通常把第一个元素作为已排序数组, 后续的元素作为未排序数组, 不断的选取元素插入到排序数组中, 直到剩下元素为零.最好最坏时间复杂度:插入排序是稳定排序. 平均时间复杂度为 O(n2).Java 代码实现:package my.co...

原创 堆 排序

基本思想:堆 排序是对简单选择排序的改进, 其利用了大根堆或者小根堆的性质.大致过程为 先对一个数列 自底向上 构建一个大根堆, 然后交换第一个元素和最后一个元素, 交换后再 自顶向下 构建大根堆后, 再把第一个元素和倒数第二个元素交换, 重复这个过程.图:最好最坏时间复杂度:堆排序是稳定排序, 时间复杂度总能维持在 O(N*logN).java 实现:packag...

原创 归并排序

基本思想:归并排序利用了分治的思想, 把一个较大的问题拆分成一系列的小问题, 分别对这些小问题进行求解, 然后把这些小问题的解组合起来对大问题的求解.大体过程为: 把一个数列递归的拆分成较小的左右两部分, 分别对这些小数列进行排序, 然后把一个个排好序的小数组合并成一个排好序的大数组, 从而实现整个数组有序.最好最坏时间复杂度:归并排序是一种稳定排序, 时间复杂度总能维持在 O...

原创 快速排序

基本思想:选取一个基数(通常为第一个或者最后一个), 在一次遍历中不断的比较和交换, 把比基数小的数字都交换到基数的左部, 比基数大的都交换到右部, 然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。最好最坏时间复杂度:最好:快速排序最“快”的地方在于左右两边能够快速同时递归排序下去，所以最优的情况是基准值刚好取在无序区的中间，这样能够...

原创 java集合 LinkedHashMap 浅析

LinkedHashMap 是如何维持添加元素的顺序的?使用双向链表来维持顺序./** * HashMap.Node subclass for normal LinkedHashMap entries. */static class Entry<K,V> extends HashMap.Node<K,V> { Entry<K,V> before...

原创 Java集合 TreeMap 源码浅析

TreeMap 是如何排序的? 是对 key 排序还是对什么排序?官方描述:/*** A Red-Black tree based {@link NavigableMap} implementation.* The map is sorted according to the {@linkplain Comparable natural* ordering} of its keys, o...

原创 Java 集合 HashMap 源码浅析

HashMap 的底层数据结构是什么?/** * Basic hash bin node, used for most entries. (See below for * TreeNode subclass, and in LinkedHashMap for its Entry subclass.) */static class Node<K,V> implements M...

原创 java集合 ArrayList , LinkedList 源码浅析

ArrayList 初始容量是多少? /** * Default initial capacity. */ private static final int DEFAULT_CAPACITY = 10;ArrayList 是如何扩容的? 每次扩容多大?ArrayList 的扩容是通过 Arrays.copy 来实现的, 底层是通过 native 方法, ...

原创 Java8 CompleteFuture简单使用

Java8 中的 completeFuture 是对 Future 的扩展实现, 主要是为了弥补 Future 没有相应的回调机制的缺陷. 我们先看看 Java8 之前的 Future 的使用:package demos;import java.util.concurrent.ExecutionException;import java.util.concurrent.Execu...

原创 Cglib 代理的简单使用

在学习 Spring 的 Aop 时, 了解到 Spring 的 Aop 实现方式有 JDK 的动态代理和 基于 Cglib 的字节码动态修改的代理, 下面介绍简单使用.Cglib 的代理的主要原理是: 动态的给目标类生成一个子类, 然后采用方法拦截技术拦截对父类方法的调用, 顺势织入切面逻辑./** * @author djh on 2019/4/17 20:00 * @E-Ma...

原创 IDEA Tomcat Server日志中文乱码

修改 Tomact 的 conf 目录下的 logging.properties :把java.util.logging.ConsoleHandler.encoding = utf-8改为:java.util.logging.ConsoleHandler.encoding = GBk原文: https://blog.csdn.net/u012744265/article/detail...

原创 SpringMVC的 @RequestMapping 报错 404 的原理

在使用 SpringMVC 的 @RequestMapping 的时候, 碰到了 404, 某篇博客的解决办法为如下:抱着试一试的态度, 确实可以解决, 想了想为什么, 先描述下我遇到的情况:...

原创 HTML5与CSS3权威指南(上册) 读书笔记

第三章: HTML5的结构article 强调的是上下文无关的文章.section强调的是一个 块, 要和一个 标题 使用, 不要把 section 当做一个设置样式的布局容器, 那是 div 的事情.一个网页中只能出现一个 main 标签, 不要随便使用 main 标签.第四章:表单及其他新增和改良元素表单新增的元素, 全部都不支持 IE9 及以下.表单 新增了 labels...

原创 HTML5 从入门到精通读书笔记

此书太水, 没什么有营养的内容.HTML5中新添加的 thead, tbody, tfoot 为语义化标签, 没什么实际效果.table 中元素的 colspan 和 rowspan 用来设定单元格跨度.使用 css hack 技术时, 浏览器兼容要从高到底....