BDLng-CSDN博客

转载 MySQL 索引日志记录 log-queries-not-using-indexes

摘要：今天以前的同事问我一个问题:怎么记录下没有使用索引的查询,做不出就被总监开除,为了他的职位,自己的好奇,就百度下,下面是我的配置,只需要几个简单的配置就OK了,暂时帮他保住职位了(纯属玩笑,是真是假不可知了)[mysqld]//开启慢查询slow_query_log=on//设置慢查询时间1slong_query_time=1//慢查询日志保存路径slow_query_log_file="D...

2018-09-28 10:11:37 3980

原创 Java并发包---线程池

java.util.concurrent包中，主要包含了原子量、并发集合、同步器、可重入锁，以及线程池。线程池：再concurrent包中有5种线程池（1）Single Thread Executor: 只要一个线程的线程池，因此所有的提交任务都是顺序执行，创建：Executors.newSingleThreadExecutor()（2）Cached Thread Pool:

2018-01-25 14:31:01 384

原创 Java同步锁------synchronized和lock

Synchronizedsynchronized可用很好的解决多线程并发安全问题，但是在有些时候，他会使机器的性能降低，就比如在同步锁内部发生IO阻塞，导致了其他想获得锁的线程不能获得，一直阻塞在那里，这样大大降低的程序的运行效率。经过总结synchronized有如下缺点：（1）如果获得锁的线程发生了IO阻塞，或者调用了sleep方法，那么这样jvm是不会释放锁的（当线程发生异常，j

2018-01-24 16:40:35 602

原创 Window下操作HDFS----异常处理

window下操作hdfs出现空指针异常，除了需要配置hadoop环境之外，还要修改hadoop安装目录里面的bin，可以通过自己编译一个hadoop，也可以直接从网上下载相应的编译后文件：https://github.com/steveloughran/winutils，环境好了之后，还会出现问题这是因为访问权限问题，只要修改访问的主机名称就好了，可以通过传递jvm参数来告诉程序，即添加jvm参

2018-01-18 20:01:29 726

转载 Crontab配置及使用总结

1、 crontab命令概念crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。cron 系统调度进程。可以使用它在每天的非高峰负荷时间段运行作业，或在一周或一月中的不同时段运行。cron是系统主要的调度进程，可以在无需人工干预的情况下运行作业。crontab命令允许用户提交、

2018-01-14 16:24:42 16370

原创 HadoopRPC框架-----模拟NameNode和Client通信

Hadoop中datanode和namenode之间的通信是通过他们内部实现的一个RPC框架实现的，一般这个RPC框架，应用于纯后台交互系统中。下面对其API进行一下NameNode和Client之间通信的Demo。代码：（jar自己引）HDFS客户端：import java.net.InetSocketAddress;import org.apache.hadoop.conf.

2017-12-19 16:03:59 575

原创 MapReduce运行全流程

MapReduce运行全流程：Nodemanager从Resourcemanager那里拿到Task之后，就启动一个规定cpu、内存的container用来运行MapTask。那么MapTask就开始工作了，MapTask通过Inputformat组件，从任务所指定路径(如:HDFS)上开始读取数据。需注意的是，他一次只读一行，读完一行调一次用户写的Map方法，数据格式为，其中K为起

2017-12-19 11:44:11 919

原创 Mapreduce&yarn工作机制

Mapreduce运行流程：Mapreduce程序运行过程是这样的：程序通过job.submit()提交后，通过YARNRunner中动态代理(proxy)远程调用，跟yarn resourcemanager通信，获得一个资源提交路径和jobid，然后客户端mapreduce程序通过HDFS获得文件的信息(文件大小)，根据文件大小和用户设置的minsize、maxsize参数，对文件进行切

2017-12-18 16:46:20 588

原创 Mapreduce切片机制

为什么：一个文件比如由200MB，存储再HDFS上，又按HDFS默认块大小128MB进行切块(block)存储，且每个块(block)备份3份，那么这个文件将被切成2块存储到HDFS上。mapreduce程序相当于HDFS的客户端，每个节点上的mapreduce向HDFS拿数据时，如果没有规划好切片大小，导致节点上程序运行，需要从其他节点上拿数据，那么必然经过网络传输，会消耗网络资源，速度慢，

2017-12-18 16:42:54 2207

转载 jvm 内存划分栈区堆区方法区

JAVA的JVM的内存可分为3个区：堆(heap)、栈(stack)和方法区(method)堆区:1.存储的全部是对象，每个对象都包含一个与之对应的class的信息。(class的目的是得到操作指令)2.jvm只有一个堆区(heap)被所有线程共享，堆中不存放基本类型和对象引用，只存放对象本身栈区:1.每个线程包含一个栈区，栈中只保存基础数据类型的对象和自定义对象的引用(不

2017-12-07 10:54:01 1502

原创进程和线程

进程：用jps 、ps-ef能看见的，就是进程。程序启动之后，这个程序就是进程；但是有些程序会启动多个进程（像nginx）。Jvm会为进程在内存中分配一个独立的运行空间线程：程序内部的一个独立的空间；在进程内部，再划分一些独立的空间。线程有自己的内存空间，就是有栈（存储局部变量，操作数）。线程在工作的时候本质就是调一些方法，我这个线程和另一个线程调用同一份代码，方法的代

2017-12-07 10:14:20 375

原创 JMS(Java消息服务)(Activemq简单介绍)

是什么？JMS（java消息服务）是规范，它定义了一些规则，一些接口。具体实现由各种做这个产品的厂家或开源组织来实现。为什么？在JMS还没有诞生前，每个企业都会有自己的一套内部消息系统，比如项目组A需要调用到项目组B的系统，项目组B也有可能会调用到项目组C的系统。这样每个公司都有自己的一套实现。很不规范。怎么办？Java定义了消息服务的规范，不管哪个厂商做的消息服务的中间件，我

2017-12-07 09:36:05 3314

原创 Java消息队列

Java并法包消息队列及在开源软件中的使用：是什么？BlockingQueue也是java.util.concurrent下主要用来控制线程同步的工具。为什么？锁也是用来控制线程同步的，但是锁这个东西有个特点，比如我有一个人抢到一把锁，我去做事，其他人都要等待，然后当我把这把锁释放的瞬间，那些等待的人到底时谁拿到锁，这个没有顺序预测，完全靠运气，拿锁的顺序不可以控制。怎么办？

2017-12-06 19:43:40 2097

原创白话动态代理（附demo）

白话动态代理:假设有一个service类，可以完成根据客户发送的商品请求，然后service类可以根据商品，返回一个价格给客户。与此同时，还有很多的其他业务也在用这个类。现在公司来了个新的需求，要给这个类添加打折，现金抵扣的活动，由于其他业务也存在以来于service类，所以我们不能通过修改这个service类，来满足公司的需求。这个时候我们就要用到动态代理，写一个动态代理的类，去实现原

2017-12-04 21:52:01 390

原创 java之反射（RPC中应用demo）

在RPC和动态代理中经常用到反射，反射就相当于解剖，根据一些jdk提供的方法，类里面的方法，成员变量，构造函数，继承的接口或者类都可以拿到。反射方式总结：1、Class c1 = Class.forName(“Employee”)2、Class c2 = Employee.class3、Employee e = new Employee() Class c3 = e

2017-12-04 20:53:29 580

原创大数据下移动计算和移动数据的一点理解

移动计算就是把计算任务下发到数据所在的节点进行处理。移动数据就是将数据移动到计算任务的节点，这样将损耗大量网络开销，导致流量激增，处理效率慢。此外还要申明，在mapreduce程序中，其中map阶段是移动计算的，即本地计算，但是在reduce时，要进行shuffle进过网络传输。更多详情：http://blog.csdn.net/king_a_123/article/

2017-11-28 16:31:15 4262

原创 hadoop部署（单机、HA、HA+federation）

Hadoop目录结构及其意思：单机部署：1、tar -zvxf java.......tar.gz2、tar -zvxf hadoop .... .tar.gz3、修改hadoop 目录下的etc/hadoop/hadoop-env.shJava_home配置：export JAVA_HOME = jdk地址4、修改hadoop 目录下的etc/

2017-11-28 16:16:14 652

原创 HDFS原理篇

HDFS：为什么出现：一台机器不能存储下所有的数据是什么：分布式存储文件系统特点：高容错性（多备份）批处理（移动计算，而不是移动数据；数据暴露给计算框架）适合大数据处理（可也达到10K+节点）流式文件（一次写入，多次读取；不可修改原有文件）构建在廉价的机器上（多副本，高容错）提高了磁盘的利用率（如果不切片进行存储，那么当需要拉去数据时，只

2017-11-28 15:43:47 424

BDLng的博客