practice

翻译 你是第几流人才

认知红利

原创 Hadoop查看文件个数&文件大小&文件夹大小

一、表中文件个数：hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | wc -l二、 显示前5行（如果文件个数是200个会刷屏）hdfs dfs -du -h /user/hive/warehouse/ods.db/test_01 | sed -n 1,5p三、查看总文件夹大小hdfs dfs -du -h -s /user/warehouse/ods.db/test_01...

原创 sublime行转列，列转行

一、行转列cmd+shift+f勾选正则替换将空格(需要替换的字符)替换为\n二、列转行1.cmd+a 全选中2.cmd+j

原创 大数据开发工程师&架构师技能图谱

转载 thinkpad e470外接显示器后无声音

转载原文地址：https://blog.csdn.net/weixin_30537451/article/details/95117901

原创 thinkpad e470偶尔不识别外接显示器

1.重启电脑，按F1进入BIOS2.找到exist saving changes，设置为yes3.问题解决

原创 hadoop2.6.5安装报错：Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.Name

centos6.5安装Hadoop2.6.5，在执行 hdfs namenode -format时报错如下：Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode原因：找不到对应的类，也就是说找不到jar包。所以需要配置 HADOOP_COMMON_LIB_NATIVE_...

原创 HIVE-SQL求连续天数

需求：求用户连续登陆天数1.数据准备create table tmpdb.test_01 asselect '1001' as user_id, '2017-01-01' as login_dateunion allselect '1001' as user_id, '2017-01-02' as login_dateunion allselect '1001' as user_id...

转载 使用小米蓝牙耳机airdots青春版的感受及单耳双耳配对教程（转载）

原文地址：https://www.77nn.net/1294.html

转载 HIVE差集运算详解(转载)

首先来介绍一下差集的概念：上图A中蓝色区域为 集合A-集合B，叫做A与B的差集。比如说有这么两个表:hive> select * from A;OK1 21 32 12 33 1Time taken: 0.3 seconds, Fetched: 5 row(s)hive> select * from B;OK1 21 42 22 3Time ta...

原创 一条update语句执行流程

原创 Mysql逻辑架构

1.连接器：表现为指令为 mysql -h$ip -P$port -u$user -p，连接器负责和客户端建立连接、获取权限、维持和管理连接。2.查询缓存：mysql拿到一个查询请求后，会先到查询缓存中看看，之前是不是执行过这条语句。之前执行过的语句及其结果可能会以key-value对的形式，被直接存在内存中。key是执行语句value是返回结果。只要表中有更新这个表上的所有查询缓存会被清空。...

原创 hive中显示字段值为NULL，impala中显示正确的值

今天遇到了一个问题，其实之前也遇到过类似的问题只是没有记录，导致这个问题我又花了两天去排查。问题：hive中显示字段值为NULL，impala中显示正确的值hive结果如下:impala结果如下:hdfs中的内容如下:最后发现问题还是两张表的字段类型有问题，真相在这里:前人挖的坑，后人只能跳咯！...

原创 HIVE修改列顺序中的坑

1.创建表，在d后增加e字段create table tmpdb.change_column_order_test as select 1 as a, 2 as b, 3 as c, 4 as d;alter table tmpdb.change_column_order_test add columns (e int);查看表内容如下：2.调整e字段顺序到d字段之后alt...

原创 如何实现大整数相加

需求：如何实现大整数相加，假设两个数long类型存不下。思路：将两个数分别存在数组中，然后按照位相加代码如下/** * @Author qucg * @Version 2019/7/3 * @Description 大数相加 * 思路: * 1.将两个大数A和B，按照位分别存在arrayA和arrayB中(从个位开始存) * 2.将arrayA和arrayB中的对应位数相加，注意...

原创 寻找全排列的下一个数

题目给出一个正整数，找出这个正整数所有数字全排列的写一个数。如果输入12345，返回12354如果输入12354，返回12453如果输入12435， 返回12453代码实现/** * @Author qucg * @Version 2019/6/25 * @Description 寻找全排列的下一个数 * 步骤： * 1.找数字置换的边界 * 2.让逆序区域的前一位和逆序区...

原创 使用栈实现队列

思路通过两个栈A B，A做入队操作，B做出队操作元素转移时机：如果出队时B是空的则将A元素转移至B代码实现/** * @Author qucg * @Version 2019/6/19 * @Description 使用栈实现队列 * 思路： * 1.通过两个栈A/B，A做入队操作，B做出队操作。 * 2.元素转移时机：如果出队时B是空的则将A元素转移至B */publ...

原创 桶排序

桶排序就是将数据分在不同的区间中，然后每个区间排序，最后在合并成一个完整的有序数列，代码实现如下:import java.util.LinkedList;/** * @Author qucg * @Version 2019/5/27 * @Description 桶排序 * 区间跨度：(最大值-最小值)/(桶数量-1) * 桶的个数等于元素的个数 */public class ...

原创 快速排序实现

快速排序为什么快？    快速排序的“快”是因为使用了“分治法”，使其时间复杂度降低到了(nlogn)实现的方法递归 （双边循环法 / 单边循环法）非递归代码实现/** * @Author qucg * @Version 2019/5/19 * @Description 快速排序，快速排序的“快”是因为使用了“分治法” */public class Q...

原创 基于堆实现的优先级队列

/** * @author qcg * @version 2019/5/16. * @description 优先队列，二叉堆是实现优先队列的基础。该例中二叉堆属于大堆 * 应用场景： * 1.topK问题 * 2.不需要FIFO按照权重操作出队的情况 * 3.RabbitMQ中，当消费者不足，不能及时进行消费的情况下，优先级队列会生效 * 4.hadoop中Map结束之后会将IF...

原创 二叉堆

二叉堆是堆排序和优先队列的基础以下为二叉堆的代码：/** * @author qcg * @version 2019/5/14. * @description 二叉堆示例 * 假设父节点的下标是parent，那么他的左孩子下标就是2*parent+1;右孩子小标就是2*parent+2; */public class MyBinaryHeap { /** * "...

原创 基于数组实现的队列

/** * @author qcg * @version 2019/5/13. * @description 基于数组实现的队列 * 队列的类型：顺序队列、链式队列、循环队列、阻塞队列、并发队列 */public class MyArrayQueue { private String[] items; // 队列大小 private int size = 0;...

原创 自定义栈（数组实现）

概念栈是一种操作“受限”的线性表，具有先进后出的特性应用场景word撤销网页后退语义校验(括号是否匹配等)代码实现/** * @author qcg * @version 2019/5/13. * @description 基于数组实现的栈 */public class MyArrayStack { private String[] items; // ...

原创 自定义二叉树

import java.util.Arrays;import java.util.LinkedList;/** * @author qcg * @version 2019/5/10. * @description 自定义二叉树及其前中后遍历 */public class MyTreeNode { /** * 构建二叉树 * * @param i...

原创 自定义链表

/** * @author qcg * @version 2019/5/6. * @description 自定义链表 * 头尾部的两步操作：1.插入节点(next指向node) 2.变更节点(last指针后移) * node.next=insertNode 这是插入元素的操作 */public class MyLinkedList { // 头节点指针 priva...

原创 自定义数组

public class MyArray { private int[] array; private int size; public MyArray(int capacity) { this.array = new int[capacity]; size = 0; } /** * 插入元素 * ...

转载 SQL各关键字执行顺序（MySQL）

首先给出SQL各个关键字的执行顺序，最后再给出说明：（8）SELECT（9）DISTINCT <select_list> （1）FROM <left_table> （3）<join_type> JOIN <right_table> （2）ON <join_condition> （4）WHERE <where_condition&g...

原创 将项目依赖的jar包打包到lib(指定)目录中

<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-dependency-plugin</artifactId> <executions> <execution> ...

原创 storm消费kafka报错

1.报错信息：java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-kafka-0.9.6.jar:0.9.6] at storm.kafka.ZkCoordinator....

原创 IDEA创建基于maven创建scala项目

前提：下载jdk、scala、idea、maven操作步骤：1.new-&gt;project-&gt;maven2.创建骨架(archetype)net.alchim31.mavenscala-archetype-simple1.53.删除pom中test相关配置，删除args的第一行，修改 scala.tools.version和 scala.version 参数为对应的...

原创 Xshell启动报错：由于找不到mfc110.dll,无法继续执行代码。重新安装程序可能会解决此问题

进入下载：https://www.microsoft.com/zh-CN/download/details.aspx?id=30679注意：64位系统要同时安装x86和x64才可以

原创 启动spark报错failed to launch org.apache.spark.deploy.master.Master

今天遇到一个启动spark的错误，启动日志如下：[root@master spark-2.0.2]# ./sbin/start-all.sh starting org.apache.spark.deploy.master.Master, logging to /export/service/spark-2.0.2/logs/spark-root-org.apache.spark.deploy....

转载 藏在县城的万亿生意

我们都知道中国有960万平方公里的土地，但我们对她有多少城市，县，镇，村并没有完整的概念？中国有多少城市？答：285个地级市、15个地区、30个自治州、3个盟。中国有多少县城？答：2856个县级行政区划单位（其中：860个市辖区、368个县级市、1453个县、117自治县、49个旗、3个自治旗、1个特区、1个林区）中国有多少乡镇？答：41658 个乡级行政区划单位（其中：...

转载 Scala日志打印

基于scala-logging和logback的日志打印模板，其中logback是一个更高效/更优于log4j的日志打印框架，目前正逐渐替代log4j的位置，以下为实现日志打印的几个步骤：1. 添加依赖以maven为例：&lt;dependency&gt; &lt;groupId&gt;com.typesafe.scala-logging&lt;/groupId&gt; &lt...

原创 添加log4j日志文件

### direct log messages to stdout ###log4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target=System.outlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.a...

原创 圆肩恢复方法

先来认识一个概念中下斜方肌：上背与中辈的表层肌肉，就是我们平时认为的肩膀和背部圆肩和驼背的原因背部肌肉松弛，胸肌紧张，导致肩膀前后不平衡解决方法1超级赛亚人，每天3-4组，每组15-20次，详细内容见内容：https://zhuanlan.zhihu.com/p/22456810 需要器材：弹力带解决方法2以下锻炼3组为准靠墙天使 12-15每次靠墙胸部拉伸 每侧保持30s...

原创 Phoenix整合SpringMVC报错

1.错误如下：严重: Servlet [SpringMVCServlet] in web application [/galaxy-report-business] threw load() exceptionjava.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/r...

原创 Flink之WordCount

pom依赖&amp;lt;dependencies&amp;gt; &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;junit&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;junit&amp;lt;/artifactId&amp;gt; &

原创 windows10中teamviewer检测为商业版解决办法

卸载teamviewer在注册表中删除teamviewer修改mac地址重启电脑参考：1.https://51.ruyo.net/8967.html2.修改mac地址(注意第二个字符必须使用2,6，A或E):https://blog.csdn.net/zp357252539/article/details/73528005/...

原创 单机安装Hbase、Phoenix

Hbase安装http://www.bigdata234.com/2018/03/17/hbase单机版的安装/注意两点：1.启动hbase的时候注意要将我们外部的zk停掉2.将Phoenix中phoenix-4.8.2-HBase-1.2-server.jar、phoenix-core-4.8.2-HBae-1.2.jar拷贝到hbase的lib中Phoenix安装http://w...