- 博客(57)
- 收藏
- 关注
RSS订阅转载 SQL 优化
复合索引也称为联合索引，当我们创建一个联合索引的时候，如(k1,k2,k3)，相当于创建了（k1）、(k1,k2)和(k1,k2,k3)三个索引，这就是最左匹配原则。如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除。默认新增SQL有事务控制，导致每条都需要事务开启和事务提交，而批量处理是一次事务开启和提交，效率提升明显，达到一定量级，效果显著，平时看不出来。列经常被修改，而且每次被修改的数据的长度不同，这会引起“行迁移”现象，而这造成多余的I/O，是数据库设计中要尽力避免的，这种情况下用。
2023-04-06 22:20:27
85
原创 Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
问题描述：
2023-03-21 20:39:08
125
1
转载 大数据时代行为数据
原文地址：https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_8679573479868512559%22%7D&n_type=0&p_from=1大数据时代的弊端，就是被透明化的隐私安全。我不知道大家有没有这样的生活经历：早上还在用浏览器搜“女生喜欢什么样的口红”，...
2019-02-14 11:23:14
1722
转载 基于Kafka+SparkStreaming+HBase实时点击流案例
原文地址：https://www.jianshu.com/p/ccba410462ba前言最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中关于Zookeeper/Kafka/HBase/Hadoop相关集群环境搭建作者会陆续更新本文章发布后会及时更新文章中出...
2019-01-11 16:56:44
1179
转载 【Zookeeper灵魂】一个关于Paxos算法的故事
作者：大数据研习社 来源：CSDN 原文：https://blog.csdn.net/dajiangtai007/article/details/68488701 版权声明：本文为博主原创文章，转载请附上博文链接！Zookeeper默认采用FastLeaderElection算法,然而FastLeaderElection对于Zookeeper来讲只是相当于paxos中的leader选举。...
2019-01-04 10:38:43
235
转载 .hive-staging_hive文件产生原因
出处：https://www.cnblogs.com/honeybee/p/6401479.htmlhive执行结果moveTask操作失败Apache Hive 2.1.0 ，在执行"INSERT OVERWRITE TABLE ...... select "或者 "insert overwrite directory /tmp/data/hive-test "操作，如果生成的结果文件...
2018-12-20 16:14:23
7112
3
转载 azkaban 动态传参shell篇
原文地址：https://www.cnblogs.com/honeybee/p/7921626.html2. shell类型的job的参数传递azkaban中的shell 作业，如何接收从webUI传递的参数？step1： UI页面输入参数定义：ui_test=test111111111step2：在job文件myjob.job指定：##作业定义文件UI输入参数接收：...
2018-12-04 19:02:36
4804
6
转载 azkaban安装部署
原文地址：https://www.cnblogs.com/heml/p/6552818.html#_label2?tdsourcetag=s_pctim_aiomsg目录Azkaban 源码下载编译 安装回到顶部AzkabanMySQLAzkaban使用mysql存储很多状态，AzkabanWebServer和AzkabanExecutorServer都会使用mysql...
2018-11-08 11:00:16
1021
转载 spark df插入hive表后小文件数量多，如何合并？
原文地址：https://www.cnblogs.com/yy3b2007com/p/7113936.html 在做spark开发过程中，时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题。一般情况下通过hive的参数设置： val conf = new SparkConf().setAppName("MySparkJob") //.setMas...
2018-11-02 16:37:07
3869
3
转载 转载：CDH报错： 主机的 NTP 服务未同步至任何远程服务器
当cdh出现报错主机的 NTP 服务未同步至任何远程服务器。可以采取以下方式解决 选择ntp时间服务器 : 10.0.61.4Step1 : 进入linux ntpd 配置目录,并修改配置文件如下:vim /etc/ntp.conf# For more information about this file, see the man pages# ntp.conf(...
2018-11-01 11:14:30
3826
转载 CDH 集群，出现 Entropy 不良问题
原文地址：https://www.jianshu.com/p/037f9dda5e7d问题CDH 集群，出现 Entropy 不良问题，原因是系统熵值低于 CDH 检测的阀值引起的, 所以解决思路是需要调大系统熵值。image.png本文不阐述熵值问题，如需理解 entropy （熵值），需自行 google。解决查询系统熵值大小cat /proc/sys/ke...
2018-10-09 15:55:47
2430
转载 Hive语句前的常见设置
1.hive.cli.print.header=true是否显示查询结果的列名，默认为不显示2.set hive.exec.parallel=true;参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.3.hive.map.aggr=true决定是否可以在 Map 端进行聚合操作，从而减轻清洗阶段数据传输和Reduce阶段的执行时间，提升总体性能。缺点：该设置会...
2018-09-26 15:58:02
492
原创 比较两个版本大小java版
今天接到一个面试，要在线写一个java版本比较的工具。就自己写了一个，万一以后用的到呢，写个博客留下来该版本适合大小写，字符数字混合，截取的字符串长度不等，这些情况/** * 比较版本大小 * @author chen */public class Demo01 { public static void main(String[] args) { String v1 = "...
2018-07-30 12:01:27
1830
转载 从Hive导出数据到Oracle数据库--Sqoop
原文地址：https://blog.csdn.net/waterkong/article/details/78708809始发与个人博客：https://kongdada.github.io/ 实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下： 首先解释一下各行代码：sqoop export# 指定要导入到Oracle的那张表（通常与hive中的表同名）-...
2018-07-23 13:45:29
4045
1
转载 Hadoop中两表JOIN的处理方法
原文地址：http://dongxicheng.org/mapreduce/hadoop-join-two-tables/1. 概述 在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法，然后...
2018-07-19 20:20:51
189
转载 Java垃圾回收（GC）机制详解
原文地址：https://www.cnblogs.com/xiaoxi/p/6486852.html一、为什么需要垃圾回收 如果不进行垃圾回收，内存迟早都会被消耗空，因为我们在不断的分配内存空间而不进行回收。除非内存无限大，我们可以任性的分配而不回收，但是事实并非如此。所以，垃圾回收是必须的。二、哪些内存需要回收？哪些内存需要回收是垃圾回收机制第一个要考虑的问题，所谓“要回收的垃圾”无非就是那些...
2018-06-24 15:35:48
298
转载 为什么NIO比BIO效率高
原文地址：https://blog.csdn.net/wy0123/article/details/79382761NIO比BIO效率高，主要原因是什么呢？ 网上大多给出了两者的区别，可是具体效率高在哪里呢。首先我们看一下各自的特点 BIO：socketServer的accept方法是阻塞的。当有连接请求时，socketServer通过accept方法获取一个socket取得socket后，将这个...
2018-06-04 11:34:22
796
1
转载 BIO、AIO与NIO的区别
原文地址：https://blog.csdn.net/baiye_xing/article/details/73123753同步异步与阻塞非阻塞的区别1.同步例：买饭：自己亲自去饭馆买饭，这就是同步（自己处理IO读写）2.异步例：买饭：叫外卖送到家，这就是异步（IO读写委托给OS处理，需要将数据缓冲区地址和大小传给OS(饭名和地址)，OS需要支持异步IO操作API）3.阻塞例：办理业务：一直排队等...
2018-06-04 11:33:41
389
转载 JVM内存模型理解
原文地址：https://www.cnblogs.com/junzi2099/p/8418009.html原文地址：https://www.cnblogs.com/zoudongdong/p/7429220.htmlJava虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途，以及创建和销毁的时间。有的区域随着虚拟机进程的启动而存在，有些区域则是依赖...
2018-06-03 15:51:03
290
转载 MySQL 高级
原文地址：https://www.cnblogs.com/linkworld/p/7979493.html1. MySQL 的架构介绍1. MySQL 的内部架构连接层服务层引擎层存储层2. 查看MySQL存储引擎show engines;show variables like '%storate_engine%';: 查看默认的存储引擎2.1 MyISAM 和 InnoDB 比较3. SQL优化...
2018-06-01 16:51:29
935
转载 MySQL高级
原文地址：https://blog.csdn.net/qq_32811309/article/details/77414494MySQL高级性能下降：1.查询语句写的烂 2.索引失效 3.关联查询太多join 4.服务器调优及参数设置（缓存，线程数等）索引：缺点：降低了更新表的速度，如对表进行insert，update，delete，因为更新表时，mysql不仅要保存数据，还要保存索引文件每次跟新...
2018-06-01 16:50:28
244
转载 spring boot项目打包成war并在tomcat上运行的步骤
原文地址:http://m.blog.csdn.net/article/details?id=52515226把spring-boot项目按照平常的web项目一样发布到tomcat容器下一、修改打包形式在pom.xml里设置 <packaging>war</packaging>二、移除嵌入式tomcat插件在pom.xml里找到spring-boot-starter-web...
2018-05-17 15:38:35
147
转载 SpringMVC的工作原理图：
原文地址：http://www.cnblogs.com/xiaoxi/p/6164383.htmlSpringMVC的工作原理图：SpringMVC流程1、 用户发送请求至前端控制器DispatcherServlet。2、 DispatcherServlet收到请求调用HandlerMapping处理器映射器。3、 处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找)，生成处理器...
2018-04-30 10:13:11
165
转载 在Linux环境下mysql的root密码忘记解决方法（三种）
原文地址：http://www.jb51.net/article/100766.htmMySQL密码的恢复方法之一1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。 因为在重新设置MySQL的root密码的期间，MySQL数据库完全出于没有密码保护的 状态下，其他的用户也可以任意地登录和修改MySQL的信息。可以采用将MySQL对外的端口封闭，并且停止Apache以及所...
2018-04-27 19:02:13
162
转载 mysql设置root密码，并且允许远程连接
原文地址：https://blog.csdn.net/jie11447416/article/details/534446561、修改root用户密码首先，你需要能够登陆到远程主机，直接shell连接就可以了，然后执行：mysql -u root #没有密码的时候或者mysql -u root -p #有密码的时候，一般很可能是root123然后，登陆上mysql数据，注意，需要是root用户...
2018-04-27 09:00:27
2371
转载 Java 网络IO编程总结（BIO、NIO、AIO均含完整实例代码）
编程语言—————Java———（43） 原文地址http://blog.csdn.net/anxpp https://blog.csdn.net/anxpp/article/details/51512200目录(?)[+]转载请注明出处：http://blog.csdn.net/anxpp/article/details/51512200，谢谢！ 本文会从传统的BIO到NIO再到AIO自浅...
2018-04-21 15:34:24
180
转载 HashMap的工作原理
本文由 ImportNew - 唐小娟 翻译自 Javarevisited。欢迎加入翻译小组。转载请见文末要求。HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道Hashtable和HashMap之间的区别，那么为何这道面试题如此特殊呢？是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这...
2018-04-21 10:53:02
143
转载 结合代码图文讲解JavaScript中的作用域与作用域链
原文地址：http://www.jb51.net/article/87964.htm先上三段说明作用域的代码?1234567891011121314151617181920212223242526272829303132//==========例1========== var scope='global'; function fn(){ alert(scope); var scope...
2018-04-14 17:15:18
545
转载 JavaScript关于作用域、作用域链和闭包的理解
原文地址：https://blog.csdn.net/whd526/article/details/70990994作用域先来谈谈变量的作用域 变量的作用域无非就是两种：全局变量和局部变量。 全局作用域： 最外层函数定义的变量拥有全局作用域，即对任何内部函数来说，都是可以访问的：<script> var outerVar = "outer"; function ...
2018-04-14 17:14:06
174
转载 设计模式：Filter过滤器
原文地址：https://blog.csdn.net/u011697278/article/details/53729830场景1： 每种Filter进行某种处理，将各个Filter连在一起形成一个FilterChain。当需要往FilterChain中加入新的Filter，或者改变各个Filter的处理顺序时，可以方便的扩展。1个接口：public interface Filter { ...
2018-04-13 11:43:35
442
转载 查看JDK动态代理生成的类的内容
原文地址：https://blog.csdn.net/zknxx/article/details/77919332首先我们先定义一个接口：[java] view plain copypublic interface PersonInter { String test(String str); } 接着就是我们想的要生成的JDK代理类源码的代码：[java] view plain ...
2018-04-12 11:40:20
399
转载 代理模式及JDK动态代理(InvocationHandler)的简单实现与分析
原文地址：https://blog.csdn.net/hello2mao/article/details/52346205在慕课网上学习了讲解代理模式的一个课程--《模式的秘密--代理模式》，感叹于David老师屌炸天的PPT，同时，老师一步一步模仿JDK源码去写code，教我们去简单实现JDK中的动态代理，讲的清晰透彻。在此我做下笔记，课程原地址：http://www.imooc.com/lea...
2018-04-11 19:43:59
343
转载 jdom xpath定位带xmlns命名空间的节点
原文地址：https://www.2cto.com/kf/201306/223851.html在jdom中用 xpath定位节点通常采用以下方式：XPath xpath=null;Element anode = null;SAXBuilder sb = new SAXBuilder();Document doc = null;try{ doc = sb.build("xxx.xml");}c...
2018-04-11 18:53:54
591
转载 XML 命名空间以及它们如何影响 XPath 和 XSLT (Extreme XML)
原文地址：https://msdn.microsoft.com/zh-cn/library/ms950779.aspx#EFAA发布日期 : 2004-4-3更新日期 : 2004-4-30Dare ObasanjoMicrosoft Corporation2002 年 5 月 20 日本文是有望长期发表的系列文章的第一篇，这些文章专门阐释由 Microsoft 支持的 W3C XML 技术的更微...
2018-04-11 18:51:26
511
转载 nginx配置
原文地址：https://www.nginx.cn/76.html#运行用户user nobody;#启动进程,通常设置成和cpu的数量相等worker_processes 1;#全局错误日志及PID文件#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#p...
2018-04-02 09:40:10
144
转载 Spring源码学习之BeanFactory体系结构
原文地址：https://www.cnblogs.com/ToBeAProgrammer/archive/2016/02/16/5192837.html一.BeanFactoryBeanFactory是Spring IOC容器的鼻祖，是IOC容器的基础接口，所有的容器都是从它这里继承实现而来。可见其地位。BeanFactory提供了最基本的IOC容器的功能，即所有的容器至少需要实现的标准。 ...
2018-03-30 14:41:56
321
转载 Spring BeanFactory与FactoryBean的区别及其各自的详细介绍于用法
原文地址：https://www.cnblogs.com/redcool/p/6413461.html1. BeanFactory BeanFactory，以Factory结尾，表示它是一个工厂类(接口)，用于管理Bean的一个工厂。在Spring中，BeanFactory是IOC容器的核心接口，它的职责包括：实例化、定位、配置应用程序中的对象及建立这些对象间的依赖。 Spring为我们提供了...
2018-03-29 15:59:00
1541
转载 泛型
原文地址：http://www.cnblogs.com/skyislimit/p/5665853.html平时看java源代码的时候，如果碰到泛型的话，我想? T K V E这些是经常出现的，但是有时想不起来代表什么意思，今天整理下： ？ 表示不确定的java类型。 T 表示java类型。 K V 分别代表java键值中的Key Value。 E 代表Element。 Obj...
2018-03-29 14:18:00
126
转载 sql语句中出现笛卡尔乘积
原文地址：http://sunstring.blog.163.com/blog/static/210478165201342943836560/本篇文章中，主要说明SQL中的各种连接以及使用范围，以及更进一步的解释关系代数法和关系演算法对在同一条查询的不同思路。 多表连接简介在关系数据库中，一个查询往往会涉及多个表，因为很少有数据库只有一个表，而如果大多查询只涉及到一个表的，那么那个表也往往低于第...
2018-03-29 10:33:16
4368
转载 一道SQL面试题（行列互换）
原文地址： https://blog.csdn.net/jackfrued/article/details/45021897有一个SQL题在面试中出现的概率极高，最近有学生出去面试仍然会遇到这样的题目，在这里跟大家分享一下。题目：数据库中有一张如下所示的表，表名为sales。年季度销售量19911111991212199131319914141992121199222219923231992424...
2018-03-28 10:53:28
377
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人