- 博客(96)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 原码反码补码
一.原码1>.正数的原码就是它的本身 假设使用一个字节存储整数，整数10的原码是：0000 10102>.负数用最高位是1表示负数 假设使用一个字节存储整数，整数-10的原码是：1000 1010二.反码1>.正数的反码跟原码一样 假设使用一个字节存储整数，整数10的反码是：0000 10102>.负数的反码是负数的原码按位取反（0变1,1变0），符号位不变 假设使用一个字节存储整数，整数-10的反码是：1111 0101三.补码（整数
2021-05-11 20:52:54
1188
转载 GIT 分支管理
GIT 分支管理：创建与合并分支、解决合并冲突分支在实际中有什么用呢？假设你准备开发一个新功能，但是需要两周才能完成，第一周你写了50%的代码，如果立刻提交，由于代码还没写完，不完整的代码库会导致别人不能干活了。如果等代码全部写完再一次提交，又存在丢失每天进度的巨大风险。现在有了分支，就不用怕了。你创建了一个属于你自己的分支，别人看不到，还继续在原来的分支上正常工作，而你在自己的分支上干活，想提交就提交，直到开发完毕后，再一次性合并到原来的分支上，这样，既安全，又不影响别人工作。其他版本控制系统
2021-05-11 14:01:42
196
原创 oracle分区相关操作
1、查询指定表分区：select table_name,partition_name,high_value,tablespace_name from user_tab_partitions where table_name='$TABLE_NAME';2、分区切分，之前存在被切分分区的中的数据，如果符合条件（less than的值），会被切分到新的分区中alter table$TABLE_NAME split partition ${MAXVALUE分区} at(${新分区high_value.
2021-01-28 19:54:34
560
转载 oracle range分区表已经有了MAXVALUE 分区，如何添加分区
试验步骤如下：1.创建个分区表SQL> create table p_range_test2(id number,name varchar2(100))3partition by range(id)(4partition t_p1 values less than (10),5partition t_p2 values less than (20),6partition t_p3 values less than (30)7);Ta...
2021-01-27 19:03:02
1122
原创 各操作系统换行符
1、windows操作系统下的换行符是/r/n(回车换行CRLF)；2、linux操作系统下的换行符是/n(换行LF)；3、mac操作系统下的换行符是/r(回车CR)；平时在linux操作系统上查看文本内容时，会看到有^M符号在文本中间或行尾行尾：这是windows操作系统中的换行符的一部分，只要在linux操作系统执行dos2unix即可dos2unix 文件名行中间：这个通常是用户使用mac电脑在文本某个字段编辑的时候，按过回车导致的，这种情况可以用sed命令对该字符..
2020-11-25 18:13:32
5612
转载 Oracle partition 详细说明
此文从以下几个方面来整理关于分区表的概念及操作:1.表空间及分区表的概念2.表分区的具体作用3.表分区的优缺点4.表分区的几种类型及操作方法5.对表分区的维护性操作.(1.)表空间及分区表的概念表空间： 是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表，所以称作表空间。分区表：当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。...
2020-11-18 15:04:37
2446
转载 solr认证
不得不说，Solr这个组件的坑很多，能使用Elasticsearch就尽量别使用Solr。如果在使用Solr的过程中出现401错误，一般就是因为Solr开启了基本认证。注意：是基本认证，不是Kerberos认证！首先是CDH版本的4.10.3的Solr添加基本认证登录之后的增删改查。 private static void loginSolr(String username,String password) { HttpClientUtil.setConfigurer(new
2020-09-02 15:39:24
747
转载 SolrCloud简介
一.简介SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。二.特色功能SolrCloud有几个特色功能：集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器
2020-09-01 18:48:27
547
转载 jmap应用实例
jmapJVM Memory Map命令用于生成heap dump文件，如果不使用这个命令，还可以使用-XX:+HeapDumpOnOutOfMemoryError参数来让虚拟机出现OOM的时候自动生成dump文件。jmap不仅能生成dump文件，还可以查询finalize执行队列、Java堆和永久代的详细信息，如当前使用率、当前使用的是哪种收集器等。【内存分析】 1 2 3 4 5 6 7 8 9 10 11.
2020-05-29 23:45:03
405
1
转载 IDEA去除各种下划线
初次安装使用IDEA，总是能看到导入代码后，出现很多的波浪线，下划线和虚线，这是IDEA给我们的一些提示和警告，但是有时候我们并不需要，反而会让人看着很不爽，这里简单记录一下自己的调整方法，供其他的小伙伴在使用的时候参考。主要有：代码中大量的波浪线，参数和变量下划线，Typo提示，never used和注释参数名不匹配提示，以及变量初始化多余时提示，形参名的提示。下面是具体操作步骤，如果按照对应的...
2019-11-17 18:17:29
7385
1
原创 安装本地jar包到本地仓库
针对有些jar包无法从maven中央仓库下载的情况，可以先将jar包手动下载下来，然后用mvn命令将jar包安装到本地仓库，注意本地maven程序配置的本地仓库路径(在maven安装目录的setting.xml文件中)mvn install:install-file -Dfile=E:\workspace\idea\project\lib\sqljdbc4-2.0.jar -Dgroup...
2019-11-17 18:13:57
342
1
原创 用户和用户组操作
创建用户组:groupadd groupname删除用户组：groupdel groupname //被删除的用户组不可以是任意用户的主用户组创建用户：useradd username //创建用户，用户家目录默认为/home/usernameuseradd -d /homedir -m username //自定义家目录创建用户，-d 制定路径，...
2019-09-27 21:57:47
239
原创 linux磁盘管理
一、把硬盘装好后，我们用 fdisk -l 查看下:图中可以看出 /dev/sdb 是500G，新加的硬盘。接下来我用命令 fdisk sdb 进行分区，输入 p 查看新硬盘分区，如图:二、分区(可以用m命令来看fdisk命令的内部命令) n 命令创建一个新分区； d 命令删除一个存在的分区； p 命令显示分区列表； t 命令修改...
2019-09-25 21:29:56
153
转载 HBase bulkLoad源码解读
HBase bulkLoad时间都花在哪？近期工作中使用hbase bulkload向hbase导入2TB数据(10000个hfiles)，我们发现将hfiles加载到hbase 表的过程用了将近一个小时。这和我对bulk load过程的理解不太相符，在我的理解中，hbase bulkload并不会产生数据copy，数据导入通过hdfs的mv操作完成。那么，问题1：是什么操作消耗了一个小...
2019-08-21 22:07:25
1616
原创 JVM 新生代老年代与GC
Java堆可以分为新生代和老年代两个区，其中新生代又可以分为一个Eden区和两个Survivor区，两个Survivor区分别被命名为From和To以示区分，新生代和老年代的比例为1：2，它们共同组成堆的内存区，所以新生代占堆的1/3，老年代占2/3，但这个比例可以修改，下面分别来介绍一下新生代和老年代。1、【新生代】新生代分为三个区域，一个Eden区和两个Survivor区，它们之间的比...
2019-08-06 21:57:51
4647
1
转载 hadoop配置大全
core hdfs yarn mapredcore-default.xml hadoop.common.configuration.version 配置文件的版本。 hadoop.tmp.dir=/tmp/hadoop-${user.name} Hadoop的临时目录，其它目录会基于此路径。本地目录。 只可以设置一个值；建议设置到一个足够空...
2019-07-28 22:27:23
918
原创 Linux查看端口命令
第一种：lsof -i:端口号第二种：netstat -nltp | grep 端口号-a：显示本机所有连接和监听地端口-n：网络IP地址的形式，显示当前建立的有效连接和端口-r：显示路由表信息-s：显示按协议的统计信息-v：显示当前有效的连接-t：显示所有TCP协议连接情况-u：显示所有UDP协议连接情况-i：显示自动配置端口的状态-l：仅仅...
2019-07-08 21:54:44
85553
2
转载 Kerberos认证原理
1 KerberosKerberos是诞生于上个世纪90年代的计算机认证协议，被广泛应用于各大操作系统和Hadoop生态系统中。了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。1.1 Kerberos可以用来做什么简单地说，Kerberos提供了一种单点登录(SSO)的方法。考虑这样一个场景，在一个网络中有不同的服务器，比如，打印服务器、邮件服务器和...
2019-06-24 23:09:44
2395
转载 Apache Maven 全教程
一、为什么使用Maven这样的构建工具【why】 二、maven是什么【what】 三、安装maven 四、第一个maven 五、仓库和坐标 六、依赖 七、生命周期 八、Eclipse中使用maven 九、maven工程的依赖高级特性 十、build配置前言：目前所有的项目都在使用maven，可是一直没有时间去整理学习，这两天正好有时间，好好的整理一下。一、为什么使用Mav...
2019-06-22 10:18:53
8685
转载 Hbase之Resion-In-Transition
相信长时间运维HBase集群的童鞋肯定都会对RIT（Region-In-Transition，很多参考资料误解为Region-In-Transaction，需要注意）有一种咬牙切齿的痛恨感，一旦Region处于长时间的RIT就会有些不知所措，至少以前的我就是这样过来的。正所谓“恐惧来源于未知”，不知所措意味着我们对RIT知之甚少，然而“凡事都有因果，万事皆有源头”，处于RIT状态的Regi...
2019-06-20 23:04:40
245
原创 maven项目pom.xml中scope类型
scope的分类1.compile：默认值 他表示被依赖项目需要参与当前项目的编译，还有后续的测试，运行周期也参与其中，是一个比较强的依赖。打包的时候通常需要包含进去2.test：依赖项目仅仅参与测试相关的工作，包括测试代码的编译和执行，不会被打包，例如：junit3.runtime：表示被依赖项目无需参与项目的编译，不过后期的测试和运行周期需要其参与。与compile相比，跳过了编译...
2019-06-19 00:07:12
16471
4
转载 linux LVM使用管理
LVM（逻辑分区管理）中的几个概念：PV(physical volume)：物理卷在逻辑卷管理系统最底层，可为整个物理硬盘或实际物理硬盘上的分区。VG(volume group)：卷组建立在物理卷上，一卷组中至少要包括一物理卷，卷组建立后可动态的添加卷到卷组中，一个逻辑卷管理系统工程中可有多个卷组。LV(logical volume)：逻辑卷建立在卷组基础上，卷组中未分配空间可用于建...
2019-06-15 10:09:47
2813
转载 Hive on Spark功能目前只增加下面九个参数
Hive on Spark功能目前只增加下面九个参数，具体含义可以参见下面介绍。hive.spark.client.future.timeout Hive client请求Spark driver的超时时间，如果没有指定时间单位，默认就是秒。Expects a time value with unit (d/day, h/hour, m/min, s/sec, ms/msec, us/use...
2019-06-13 18:52:09
3959
4
转载 hbase region split
自动splitting当一个region达到一定的大小，他会自动split称两个region。如果我们的Hbase版本是0.94 ，那么默认的有三种自动split的策略，ConstantSizeRegionSplitPolicy,IncreasingToUpperBoundRegionSplitPolicy还有KeyPrefixRegionSplitPolicy.在0.94版本之前Con...
2019-04-02 17:12:18
284
转载 storm原理
1.hadoop有master与slave，Storm与之对应的节点是什么？2.Storm控制节点上面运行一个后台程序被称之为什么？3.Supervisor的作用是什么？4.Topology与Worker之间的关系是什么？5.Nimbus和Supervisor之间的所有协调工作有master来完成，还是Zookeeper集群完成？6.storm稳定的原因是什么？7.如何运行Topolo...
2018-09-20 23:29:40
817
转载 HDFS架构及原理
(一) HDFS主要是用于做什么的？ HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large D...
2018-09-19 23:42:04
219
转载 Mapreduce工作原理
MapReduce1.x架构客户端向JobTracker提交一个作业，JobTracker把这个作业拆分成很多份，然后分配给TaskTracker（任务执行者）去执行，TaskTracker会隔一段时间向JobTracker发送心跳信息，如果JobTracker在一段时间内没有收到TaskTracker的心跳信息，JobTracker会认为TaskTracker死掉了，会把TaskTrack...
2018-09-19 23:25:24
1024
转载 flume原理
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发...
2018-09-19 23:08:26
271
原创 linux 清洗文件
1、去除文件fileName1中字符串的所有空格，并将去除掉空格的数据放入fileName2文件中sed s/[[:space:]]//g fileName1 > fileName2 2、去除文本中的空行grep -v "^$" fileName 3、统计文件中文本行数awk 'END{print NR}' fileName 3、对文件中的内容进行去重...
2018-08-30 13:21:02
612
转载 Hadoop中Combiner和Partitioner应用场景
Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率。Combiner集群上的可用带宽限制了MapReduce作业的数量，因此尽量避免map和reduce任务之间的数据传输是有利的。Hadoop允许用户针对map任务的输出指定一个combiner（就像mapper,reducer）。combiner函数的输出作为reduce函数的输入...
2018-08-15 23:49:53
1891
转载 Hadoop数据倾斜处理
何为数据倾斜？在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念: 正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 , 不同的数据字段可能的数据倾斜一般有两种情况:一种是唯一值非常少，极少数值有非常多的记录值(唯一值少于几千)一种是唯一值比较多，这个字段...
2018-08-15 23:11:27
744
转载 Java内存与垃圾回收调优
要了解Java垃圾收集机制，先理解JVM内存模式是非常重要的。今天我们将会了解JVM内存的各个部分、如何监控以及垃圾收集调优。Java（JVM）内存模型正如你从上面的图片看到的，JVM内存被分成多个独立的部分。广泛地说，JVM堆内存被分为两部分——年轻代（Young Generation）和老年代（Old Generation）。年轻代年轻代是所有新对象产生的地方。当年轻代内存...
2018-08-03 13:47:18
128
转载 SqlServer查看锁表与解锁
某些情况下，sqlserver的表会被锁住，比如某个会话窗口有数据一直没提交，窗口又没关闭，这时表就会被锁住其他任何连接查询表数据时都不会返回这时需要手工杀掉产生死锁的会话ID，才能恢复正常 查看被锁表：select request_session_id spid,OBJECT_NAME(resource_associated_entity_id) tableNa...
2018-07-18 11:22:39
56547
转载 Sqoop使用
Sqoop的本质还是一个命令行工具，和HDFS，MapReduce相比，并没有什么高深的理论。我们可以通过sqoop help命令来查看sqoop的命令选项，如下： 16/11/13 20:10:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 usage: sqoop COMMAND [ARGS] Available ...
2018-07-16 18:16:47
498
原创 maven开发web项目
初步接受maven项目，创建maven项目1、选择新建，选择maven project2、选择workspace路径3、选择项目类型，一般用到的就两种，java项目和web项目java项目web项目4、建好之后，可能会少几个目录资源目录，可以新建5、修改jdk版本，配置pom文件本地jar包可以安装到本地仓库repository,然后就可以直接引用（像引用中央仓库一样），版本可以随便定6、配置to...
2018-07-15 19:35:03
7052
1
转载 Kafka分区与分组原理
一、1、原理图2、原理描述一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费，那么需要其他的组来消费。Zookeerper中保存这每个topic下的每个partition在每个grou...
2018-07-04 11:02:13
13420
2
转载 mapreduce二次排序（自定义分区、分组）
问题描述：输入文件格式如下：name1 2name3 4name1 6name1 1name3 3name1 0要求输出的文件格式如下：name1 0，1，2，6name3 3，4要求是按照第一列分组，name1与name3也是按照顺序排列的，组内升序排序。思路：常规的输出，无法排序key所对应的多个值的顺序。为了排序组内中的值，需要将key与val...
2018-06-29 21:53:37
585
转载 mapreduce中Partitioner数量与reducetask数量对结果影响
图中可以看出Partition主要作用就是将map的结果发送到相应的reduce。1.现在测试一下第一种情况，Partition数量为1，返回值0，reduce数量为3。设置reduce数量设置Partition数量结果输出3个文件，但只有part-r-00000有内容，其它两个为0字节。2.现在测试一下第二种情况，Partition数量为1，返回值5，reduce数量为3。设置reduce数量设...
2018-06-29 21:48:37
1079
转载 hbase shell执行命令的方式
一、[plain] view plain copyecho "scan 'ns_monitor:t_monitor_io',{LIMIT=>1}" | hbase shell echo "scan 'ns_monitor:t_monitor_io',{FILTER=>\"PrefixFilter('2001-01-01|192.168.16.123|io_r_s')\"}" | ...
2018-05-31 20:02:24
2734
转载 Hive分区参数配置
Hive本身是不支持动态分区的..但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..?想要用动态分区要先做一些设置来修改默认的配置..set hive.exec.dynamic.partition=true;(可通过这个语句查看：set hive.exec.dynamic.partition;) set hive.exec.dyna...
2018-05-22 10:45:06
2945
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人