jinYwuM-CSDN博客

原创 Perl区分文件换行符类型

所以Perl脚本在读取DOS文本时，行末换行符CR LF 被自动转行成 LF ，此后去判断单行记录时，返回结果均是LF，未能正确识别出文件的换行符类型，基于此原因。修改代码如下（测试）思路源自：https://blog.csdn.net/fibonaccian/article/details/42168725。在Windows上使用Perl判断文件时何种换行符时，处理CR LF类型的换行符时，也识别成了LF。

2023-09-20 22:17:03 1448

原创 CentOS 7 安装 PostgreSQL12.2

Linux版本：CentOS Linux release 7.9.2009 (Core)数据库版本：postgresql12.2。

2022-08-24 22:30:02 630 1

原创 Python 面向对象

Python学习进度一直不高，在遇到概念性较强的部分，尤其是面向对象思想的理解，想着总结记录，方便随时翻看。类：用户定义的对象原型（prototype），该原型定义了一组可描述该类任何对象的属性，属性是数据成员（类变量和实例变量）和方法（类方法和成员方法），通过 “对象.变量或对象.方法()”的形式访问。其实类是一个模板，我们可以使用该模板生成不同的具体的对象，来完成我们想要的操作。

2022-03-27 14:33:30 1175

转载 Perl零宽断言

零宽断言概述零宽断言概述 (?<=pattern) (?<!pattern) STRING (?=pattern) (?!pattern) ：各种断言出现的相对位置 ?< lookbehind STRING < lookahead ：负向 STRING 正向= ： Positive，肯定，表示匹配! ：Negative，否定，表示不匹配...

2020-01-07 22:25:09 841

原创 Perl -- 数组引用

1、用多个数组来完成一个简单任务在Minnow开始一个旅程之前（比如一个三小时的远足），我们应该事先检查一下每个乘客和乘务人员的行李，保证他们带了旅行所需要的东西。比如说吧，水上安全救生装备。在Minnow船上的每个乘客要生命维持系统，太阳镜和水瓶以及雨衣，代码如下my @required = qw(preserver sunscreen water_bottle jacket);m...

2019-12-24 21:56:35 1743 1

原创中级perl--用eval捕捉错误

有一些代码看上去很平常，但是却含有潜在的危险，一旦某种条件不对就会使程序中断，过早地结束程序。my $average = $total / $count; # 除数为零print "okayn" unless /$match/; # 正则表达式不合法open MINNOW,‘>ship.txt’or die "Can‘t create ‘ship.txt’: $!"; # 文件句柄...

2019-12-17 21:22:23 402

原创中级perl--常见列表操作符

最常用的列表操作符：print sort reserveprint 'Two castaways are ', 'Gilligan',' and ','Skipper',"\n";my @castaways = sort qw(Gilligan Skipper Ginger ProfessorMary-Ann);my @castaways = reverse @castaways;...

2019-12-17 20:59:07 329

原创 MapReduce运行模式

MapReduce运行模式1、本地模式 OR 集群模式// 设置为local时，运行模式为本地模式config.set("mapreduce.framework.name", "local");// 设置为yarn时，运行模式为集群模式config.set("mapreduce.framework.name", "yarn");2、数据文件的输入输出路径// 设置输入输...

2019-07-18 00:07:30 391

原创 Oracle 去除或拼接字段内空格、换行符

1、问题原因数据文本中部分字段包含换行符(\r\n)，导致入仓后数据异常2、解决思路将包含换行符的字段，使用函数Replace或Oreplace进行去除首先引入换行符的概念：0x0d => \r, carrige return, 指打字头归位的动作(回车)，对应ASCII码表中的130x0a => \n, new line, 指打字机上卷一行的动作(换行)，对应A...

2019-05-13 14:42:39 4374

原创 org.apache.hadoop.hbase.exceptions.ConnectionClosingException

问题：利用HQL语句创建hbase 表时，出现异常。# Hive中的表名test_tbCREATE TABLE test_tb(key int, value string) # 指定存储处理器STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'# 声明列族，列名WITH SERDEPROPERT...

2018-10-29 15:42:54 7124 1

原创 hive-2.1.1整合hbase-2.1.0

一、环境准备1、软件版本hadoop-2.7.4 hbase-2.1.0 hive-2.1.12、hbase与hive的版本兼容hive0.90 与 hbase0.92是兼容的，早期的hive版本与hbase0.89/0.90兼容 hive1.x 与 hbase0.98.x或更低版本是兼容的 hive2.x 与 hbase1.x及hbase1.x更高版本兼容提示：hive ...

2018-10-29 15:14:20 675

原创 Hive优化总结

一、hive表优化1、分区（不同文件夹）分区是以字段的形式在表结构中存在，通过desc table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）create table if not exists table_name(id int,name string,tel string)partitioned by(dt string)row form...

2018-10-24 16:56:59 1085

原创 flume拦截器

摘要:拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。一、拦截器的种类介绍1、Timestamp Int...

2018-09-11 03:02:32 15326

原创 Flume NG高可用集群搭建

软件版本：CentOS 6.7 hadoop-2.7.4 apache-flume-1.6.0一、Flume NG简述Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume将采集到的文件，socket数据包等各种形式的数据源，输出到HDFS、Hbase、hive、kafka等众多外部存储系统中 Flume针对特殊场景...

2018-09-10 23:15:44 1260

原创栈与队列的区别及自定义实现

第一部分的总结主要转载：https://blog.csdn.net/bbc955625132551/article/details/72773285一、栈(Stack)和队列(Queue)的特点栈（Stack）和队列（Queue）是两种基于数组实现、操作受限的线性表，即栈和队列都是数组的子集。线性表：线性表是一种线性结构，它是一个含有n≥0个结点的有限序列，同一个线性表中的元素数据类型...

2018-09-08 16:40:59 306

原创自定义数组及简单时间复杂度分析

前言：作为java的一种容器，数组的优缺点同样明显优点：使用简单，查询效率高，内存为连续的区域缺点：大小固定，不适合动态存储，不方便动态添加一、自定义实现数组1、Java中定义数组的三种形式 // 第一种：数组格式类型[] 数组名 = new 类型[数组长度] int[] arr = new int[10]; // 第二种：定义数组，...

2018-09-05 02:10:19 1430

原创 Linux下Hive的安装部署

软件版本：CentOS 6.7 hive-1.2.1 hadoop-2.7.4一、yum安装MySQL1、查看系统之前是否已安装MySQL rpm -qa | grep mysql2、卸载MySQL：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64(查看到的选项全部删除)注意：强力删除模式，如果使用上面命令删除时，...

2018-09-03 13:49:13 847

原创 Hadoop集群实现HA

软件版本：CentOS 6.7 jdk-8u171-linux-x64.tar.gz zookeeper-3.4.12.tar.gz hadoop-2.7.4-with-centos-6.7.tar.gz一、集群部署节点角色的规划1、集群部署节点角色的规划（7节点） node01 namenode zkfc node02 namenode zkfc...

2018-08-27 22:47:58 303

原创 master.HMasterCommandLine: Master exiting

2018-08-20 00:59:33,382 ERROR [main] master.HMasterCommandLine: Master exitingjava.io.IOException: Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (...

2018-08-27 22:10:12 9391

原创 Zookeeper集群搭建

软件版本：CentOS 6.7 jdk-8u171-linux-x64.tar.gz zookeeper-3.4.12.tar.gz一、Zookeeper完全分布式集群搭建1、安装JDK1.1、解压JDK：tar -zxvf jdk-8u171-linux-x64.tar.gz -C /export/server/1.2、配置JDK环境变量：export JAVA_HO...

2018-08-27 21:47:30 283

原创 Collection集合总结

Collection接口继承体系图 Collection接口常用方法返回值类型方法解释 boolean add(E e) 向列表的尾部添加指定的元素（可选操作） boolean addAll(Collection<? extends E> c) 将指定 collection 中的所有元素都添加到此 collection...

2018-08-09 22:20:41 2255

转载通过漫画轻松掌握HDFS工作原理

转通过漫画轻松掌握HDFS工作原理 &amp;lt;div class=&quot;article-info-box&quot;&amp;gt; &amp;lt;div class=&quot;article-bar-top d-

2018-08-08 23:35:00 348

原创 Hadoop中分片split的原理解析

一、定义1、block：block是物理切块，在文件上传到HDFS文件系统后，对大文将以每128MB的大小切分若干，存放在不同的DataNode上；2、split：split是逻辑切片，在mapreduce中的map task开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个split，默认是split的大小与block的大小相等，均为128MB。注意：在hadoop1....

2018-08-06 19:53:33 4126

原创 Hadoop2.7.4完全分布式环境搭建

软件版本虚拟机管理软件：VMware WorkStation Pro 12.0 操作系统：CentOS 6.7 Hadoop：Hadoop 2.7.4 JDK：jdk-8u65-linux-x64.tar.gz一、环境准备1、修改各个节点主机名：vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=node12、修改主机名和I...

2018-08-03 01:29:52 1313

原创 Error: Exception thrown by the agent : java.net.MalformedURLException: Local host name unknown: java

一、MyCat安装版本Linux版本：CentOS 6.7 Mycat-server-1.4-release-20151019230038-linux.tar.gz Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz最终选择版本：Mycat-server-1.6-RELEASE-20161028204710-linux.t...

2018-07-16 02:22:43 1722

原创 java.net.ConnectException: Connection refused: connect（无法连接redis服务器）

提示：出现问题版本为redis-3.2.1.tar.gz使用其他版本不需要做如下配置，idea、eclipse均连接正常，如：redis-3.0.0.tar.gz redis-4.0.11.tar.gzredis.clients.jedis.exceptions.JedisConnectionException: java.net.ConnectException: Connecti...

2018-07-09 20:38:31 3005

原创 Maven私服地址

一、问题现在maven项目非常流行，因为我们可以在pom.xml文件中配置项目所需要的jar包对应的坐标，maven就会自动管理jar包，但如果使用maven的中央仓库，因为其仓库服务器在国外，因此jar下载的速度非常慢，这时希望可以提高效率就需要配置国内的私服。其实方法很简单：maven是支持镜像的，我们可以在maven的conf文件夹下的setting.xml文件中找到<mirrors&...

2018-06-10 02:53:39 4284

原创 MySQL卸载重装后出现apply security settings问题

环境： MySQL：mysql-5.5.59-winx64.msiSQLyog:SQLyog-12.5.0-0_setup.exe 操作系统：WIN10x64一、卸载MySQL1、windows+R 输入services.msc打开服务器管理窗口，关闭MySQL服务2、在控制面板中卸载MySQL软件3、卸载过后到E:\MySQL\...

2018-06-10 02:27:04 6065 1

原创通用Mapper的使用

1、导入依赖<dependency> <groupId>com.github.abel533</groupId> <artifactId>mapper</artifactId> <version>2.3.4</version></dependency>

2018-06-01 13:25:23 13842 2

原创 SSM框架整合的配置文件

1、Spring与Mybatis的配置文件整合<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context=&quot

2018-06-01 00:50:18 282

原创静态工厂解析两种配置文件

原由：代码之间的耦合度过高不利于维护，且修改源代码违背了违背了软件开发领域的“开闭”原则，因此使用配置文件彻底解决耦合性的问题。下面提供解析两种配置文件的静态工厂1、使用SAXReader类解析.xml配置文件public class BeanFactory { private static Map<String, Object> map = new HashMap<Stri...

2018-05-29 14:56:04 243

原创 Mybatis延迟加载（懒加载）

一、什么是延迟加载将采用高级映射实现多表联查时同时向数据库发出SQL语句拆分能若干条查询结果单一的SQL语句，当需要返回数据时才会向数据库发出只针对当前数据的SQL语句。 1、延迟加载的条件：使用resultMap高级映射（主要体现在与元素association、collection实现一对一及一对多映射上），association、collection具备分层查询的...

2018-05-25 14:35:33 1380

原创 DBUtils工具类库的使用

关于Commons-DBUtilsCommons-DBUtils是Apache组织提供的一个开源的JDBC工具类库，它对JDBC进行了简单的封装，学习起来很简单，而且大大的简化了工作量，关于数据库的操作一般一两句就可以解决问题了，并且不会影响程序的性能。DBUtils的核心API及工具类：1、org.apache.commons.dbutils.QueryRunner2、org.apache.c...

2018-05-22 13:57:32 1028

原创 Spring的核心之AOP的实现原理

aop（Aspect oriented programing）面向切面编程，这是一种程序设计的规范，以一种称为切面语言为基础，切面是一种新的模块化机制，用来描述分散在对象、类或方法中的横切关注点（crosscutting concern）AOP的相关术语Joinpoint(连接点): 类中可以被增强的方法（Joinpoint还未被增强）Pointcut(切入点):指我们要对哪些Joinpoint进...

2018-05-22 02:06:33 368

jinYwuM的博客