qq_27087973-CSDN博客

转载 HDFS数据完整性之校验和checksum

转载请注明出处：hadoop深入研究:(六)——HDFS数据完整性数据完整性 IO操作过程中难免会出现数据丢失或脏数据，数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和，传输后计算一个校验和，两个校验和如果不相同就说明数据存在错误，比较常用得错误校验码是CRC32.hdfs数据完整性 hdfs写入的时候计算出校验和，然后每次读的时候再计算校验和。要注意的一点是，hdfs...

2018-05-22 09:34:44 6561

转载 Linux：cut命令详解

cut文件内容查看显示行中的指定部分，删除文件中指定字段显示文件的内容，类似于下的type命令。说明该命令有两项功能，其一是用来显示文件的内容，它依次读取由参数file所指明的文件，将它们的内容输出到标准输出上；其二是连接两个或多个文件，如cut fl f2 > f3将把文件fl和几的内容合并起来，然后通过输出重定向符“>”的作用，将它们放入文件f3中。当文件较大时，文本在屏幕上迅速...

2018-05-12 16:42:31 237

转载数据库悲观锁

mysql 悲观锁介绍select for update/lock in share mode 对事务并发性影响事务并发性理解事务并发性，粗略的理解就是单位时间内能够执行的事务数量，常见的单位是 TPS（ transactions per second）.那在数据量和业务操作量一定的情况下，常见的提高事务并发性主要考虑的有哪几点呢？1.提高服务器的处理能力，让事务的处理时间变短。这样不仅加快了这个...

2018-05-10 17:09:12 859

原创 mac上使用VMware Fusion配置linux ip时报determining IP information for eth0...failed

今天使用终端连接linux时突然连不上了，等到虚拟机发现原来配置的IP没了，只好去重新配置下当配置文件修改完使用 service network restart 时重启network服务时报determining IP information for eth0...failed错误。想了下可能是网络适配器除了问题，将网络来源改为 usb 10/100 lan 问题解决。具体步骤如下1.点击虚拟机的...

2018-05-09 10:20:11 182

原创 Mac 上idea报 objc[1664]: Class JavaLaunchHelper is implemented in both

mac上idea 控制台报了这样一个Error。objc[1664]: Class JavaLaunchHelper is implemented in both /Library/Java/JavaVirtualMachines/jdk1.7.0_76.jdk/Contents/Home/bin/java (0x1028e74c0) and /Library/Java/JavaVirtualMa...

2018-05-09 10:04:28 839

原创 linux 配置ip

1.首先进入到/etc/sysconfig/network-scripts/目录2.然后编辑ifcfg-eth0文件，直接vim ifcfg-eth0,编辑配置文件将onboot改为yes即可，然后：wq保存退出3. 重启下服务即可。输入 service network restart 回车运行即可4.输入ifconfig检验下是否配置成功...

2018-05-09 10:03:54 140

原创 java方向大数据面试题整理

1.String 和StringBuffer的区别JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用StringBuffers来动态构造字符数据2.说出Arr...

2018-05-08 16:05:47 9991 2

转载 java基础之---反射

反射是框架设计的灵魂（使用的前提条件：必须先得到代表的字节码的Class，Class类用于表示.class文件（字节码））一、反射的概述JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。要想解剖一个类,必须先要获取到该类的字节码文件对象。而解...

2018-05-07 08:33:24 103

diaozc的博客