zmywei_20160707-CSDN博客

原创 ORA-00600: internal error code, arguments: [4194] 解决办法

4194：表示undo和redo不一致（Arg [a] Maximum Undo record number in Undo block，Arg [b] Undo record number from Redo block）解决方法：1、登录并启动mount状态[oracle@oracle ~]$ sqlplus / as sysdbaSQL*Plus: Release 1...

2019-08-01 16:46:47 528

原创 hive的UDF函数实现

第一步：创建Hive工程创建maven项目，依赖为<dependency> <groupId>org.apache.hive</groupId> <artifactId>h...

2018-08-15 10:05:59 10595

原创 mybatis常见面试题汇总

1、#{}和${}的区别是什么？#{}是预编译处理，${}是字符串替换。Mybatis在处理#{}时，会将sql中的#{}替换为?号，调用PreparedStatement的set方法来赋值；Mybatis在处理${}时，就是把${}替换成变量的值。使用#{}可以有效的防止SQL注入，提高系统安全性。2、当实体类中的属性名和表中的字段名不一样，怎么办？第1种：通过在查...

2018-08-09 11:37:43 831

原创国密算法SM2、SM3、SM4详解

本文主要讲解“国密加密算法”SM系列的Java实现方法，不涉及具体的算法剖析，在网络上找到的java实现方法比较少，切在跨语言加密解密上会存在一些问题，所以整理此文志之。源码下载地址http://download.csdn.net/detail/ererfei/9474502 需要C#实现SM系列算法源码的可以评论留邮箱地址，看到后发送1.SM2 & SM3由于SM2算法中需要使用SM3摘...

2018-05-15 16:53:51 14696 18

原创 JNDI配置详解

一、数据源的由来　　在Java开发中，使用JDBC操作数据库的四个步骤如下：　　　　①加载数据库驱动程序(Class.forName("数据库驱动类");) 　　　　②连接数据库(Connection con = DriverManager.getConnection();) 　　　　③操作数据库(PreparedStatement stat = con.prepareStatement...

2018-05-07 10:18:17 271

作为习惯了用idea开发的小伙伴，不太想用eclipse开发Hadoop,于是研究了一下idea如何远程调试mr，现分享一下。一开发环境本地win10系统Intellij idea14工具虚拟机中hadoop2.6.0伪分布模式二配置步骤(这里笨小葱参考的这篇文章：http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-ec...

2018-04-28 13:58:29 1218

转载 hbase的数据写入方式

　　本文主要是总结一下hbase几种写入常见的方式，以及涉及的应用场景，尽量覆盖日常业务中的使用场景，另外再总结一下其中涉及到的一些原理知识。也算是自己学习的汇总。hbase也接触很久了，各种应用的场景也见到了很多。借此机会好好总结一下。　　hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后H...

2018-04-27 18:46:41 1813

原创 PHOENIX操作HBASE

HBase，一个NoSQL数据库，可存储大量非关系型数据。HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是一个数据库，但是它的查询语句，很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HBase，那就很Perfect了。现有工具有很多Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主...

2018-04-27 12:00:19 606

原创 java操作mongodb

package cn.vant.mongo;import java.io.ByteArrayInputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream;import java.io.OutputStre...

2018-03-09 17:49:41 160

原创 solr运维

solr启动报错如下所示：*Waiting up to 30 seconds to see Solr running on port 8983 [/] Still notseeing Solr listening on 8983 after 30 seconds!**INFO - 2016-03-29 14:22:14.356; [ ] org.eclipse.jetty.util.log...

2018-03-09 13:39:57 1047 1

原创 SQLServerException: 不支持“variant”数据类型

通过jdbc链接数据上SqlServer数据库，其中单个执行sql是没有问题的，但执行下列的executeQuery方法 // 对象集 ResultSet resultList = stm.executeQuery(sb.toString());提示错误：com.microsoft.sqlserver.jdbc.SQLServerException: 不支持“variant”数

2018-02-06 18:09:37 6850

原创设置SQL Server2012的身份验证方式为混合模式

安装数据库的时候，数据库默认的身份验证方式为Windows身份验证模式，可以在安装的时候就设置为混合模式（SQLServer 和Windows身份验证模式），如果没有设置的话，那么需要用Windows身份验证模式先连接数据库，然后再进行重新设置，设置方法如下：首先在Microsoft SQL Server ManagementStudio中使用默认的windows身份验证模式连接数据库，此步骤

2018-02-06 14:56:57 8631 1

原创 win7开启telnet服务

点击开始，选择控制面板在控制面板中选择程序在程序中选择打开或关闭windows功能在打开或关闭windows功能中找到Telnet服务器和Telnet客户端勾选上，点击确认稍等片刻打开后，还要到服务中开启Telnet服务。右键点击计算机，选择管理，然后选择服务和应用程序，然后选择服务，在服务中找到telnet服务，双击，选择启动类型为手动，然后点击

2018-02-06 14:55:41 580

原创超详细jdbc连接sqlserver

要在JAVA中使用JDBC连接SQL Server2012数据库需要如下三个大的步骤：一、设置SQL Server2012的身份验证方式为混合模式如果不知道如何设置，请见博文：http://blog.csdn.net/zmywei_20160707/article/details/79270645二、启动telnet服务如果不知道如何启动该服务，请见博文http://b

2018-02-06 14:26:42 2433

原创超详细sqlserver2012安装过程

打开SqlServer2012安装镜像包如图所示双击setup运行2打开SqlServer安装中心后这里是一些信息可以先看看3选择左侧的安装按钮然后选择右侧的第一个选项如图所示4这里是产品密钥自动加载的不需要手动输入下一步5勾选我接受许可条款粥点击下一

2018-02-06 14:24:15 7521 2

原创 oracle创建用户+上传dmp格式数据

1、创建表空间create tablespace 表空间名 datafile '/u01/app/oracle/oradata/ythdb/test_wei.dbf' size 50m autoextend on;2、创建用户CREATE USER 用户名 IDENTIFIED BY 密码 DEFAULT TABLESPACE 表空间名 TEMPORARY TABLESPACE temp;3、

2018-01-18 17:56:29 148

原创 windows启动tomcat端口被占用

有时候电脑比较卡，项目比较大的情况下，eclipse没有完全停止tomcat的情况下，下次启动会出现tomcat的端口被占用无法启动的情况，主要报如下错误解决方案window下打开命令窗口(快捷键:win+R)→输入cmd打开命令窗口:输入 netstat -ano|findstr 8005 （什么端口号被占用就输入什么端口号），回车再输入 taskkill /pid

2018-01-15 11:06:02 166

转载 elasticsearch-Sql查询

Elasticsearch的查询语言(DSL)真是不好写，偏偏查询的功能千奇百怪，filter/query/match/agg/geo各种各样，不管你是通过封装JSON还是通过python/java的api进行封装，都非常不方便。最近发现了一个插件，Elasticsearch-SQL可以用sql查询Elasticsearch，感觉这个轮子造的真是好。Elasticsearch-sql的项目

2018-01-11 14:38:13 423

原创 elasticsearch常用的java API

ElasticSearch为了便于处理索引管理（Indices administration）请求，提供了org.elasticsearch.client.IndicesAdminClient接口。通过如下代码从 Client 对象中获得这个接口的实现：1. 1. IndicesAdminClient indicesAdminClient= client.admin()

2018-01-10 14:30:34 518

原创 kafka集群的安装及简单测试

一、集群安装1、软件环境①linux一台或多台，大于等于2②已经搭建好的zookeeper集群2、创建目录并下载安装软件#创建目录cd /opt/mkdir kafka #创建项目目录cd kafkamkdir kafkalogs #创建kafka消息目录，主要存放kafka消息#下载软件wget http://apache.opencas.o

2017-11-08 16:40:55 268

原创 es的几种常用query搜索语法

1、match allGET /_search{ "query": { "match_all": {} }}2、matchGET /_search{ "query": { "match": { "title": "my elasticsearch article" }}}3、multi match

2017-11-08 14:23:24 12088

原创 ES合并操作小结

一：mget批量处理1、批量查询的好处就是一条一条的查询，比如说要查询100条数据，那么就要发送100次网络请求，这个开销还是很大的如果进行批量查询的话，查询100条数据，就只要发送1次网络请求，网络请求的性能开销缩减100倍2、mget的语法（1）一条一条的查询GET /test_index/test_type/1GET /test_index/tes

2017-11-06 11:43:59 1476

原创 zookeeper的分析源码方面看timeout

这两天看了一下zookeeper的相关的源码，版本基于3.4.5，代码结构还是比较清晰的；这里重点分析一下zookeeper client和server端之间的通信以及相关的异常处理机制。 1、客户端客户端几个主要的类为Zookeeper、ClientCnxn、SendThread、ClientCnxnSocketNIO。客户端通过Zookeeper相关的API和serve

2017-10-26 09:55:44 309

转载 zookeeper的日常运维

尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。重要的参考资料这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一：http://www.infoq.com/

2017-10-25 17:37:28 491

原创 zookeeper的配置项详解

ooKeepeer的功能特性是通过ZooKeeper配置文件来进行控制管理（默认zoo.cfg配置文件）的。详细介绍ZooKeeper配置文件中每一项配置的功能，以及默认值。详细介绍如下：clientPort监听客户端连接的端口。如下：clientPort=2181dataDir存储内存中数据库快照的位置。

2017-10-25 17:35:38 1342

原创 mapreduce的timeout参数设置

1. 如果碰到异常“Task attempt failed to report status for xxx seconds. Killing!”，最可能是碰到死循环了。2. 如果没有死循环：控制超时的属性是：mapred.task.timeout，默认600000ms，即600s。可以设置成更大的值。可以直接在Jobconf或Configuration中修改（只对本Job起作用），也可以修改

2017-10-25 15:04:18 1325

转载 solr中 Could not connect to ZooKeeper

这是在通过写MapReduce读取HBase的数据，给指定的列加上索引到solr发现的zookeeper.out日志：2015-11-20 16:59:20,603 [myid:3] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxnFactory@193] - Too many connections from

2017-10-24 09:50:57 1665

转载 solr优化

海量数据的索引，第一个要解决的是数据存储的问题，solr提供数据存储平台有两种，第一个是本地磁盘，另一个是HDFS，我们可以通过solrhome的配置来实现。在本次实践中，我们选择的是本地磁盘，因为采用的solrcloud部署模式，本身就是多节点多机器，在存储上不会有问题，还有另一个重要的原因后面会讲到。下面讲讲具体从哪些方面做了实践。solr版本：solr6.0.0；主机：red hat；

2017-10-23 17:16:30 749

转载 solr的软硬提交

最近又被soft commit 和 hard commit搞得有点迷糊，其实都怪自己没有早点看源代码。问题出自这段代码，这也是我一开始接触solr时，查到的代码sample(事实证明问题都出在这里，引以为戒，有问题真的不要不求甚解)if (rs.next()){ while (true) { NiuniuSolrInputDocument doc = new Niuni

2017-10-17 13:51:16 402

原创 solr安装及详解

###说明： 1. solr已内置jetty服务，默认端口8983，可以很方便的在web端操作,不用安装tomcat。 2. 安装完成后，建议使用谷歌浏览器访问，有的浏览器可能会报错。 3. 开放zk要用到的端口或关闭防火墙 4. solr自带zk，一般不使用，而是自定义安装一.环境准备Linux 至少三台(此处使用192.168.60.35、38、41)jdk1.7.

2017-09-26 11:45:36 406

原创 Elasticsearch 与kibana简单语法

1、集群状态 get /_cat/health?v （?v显示表头）epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent1505580807 00

2017-09-20 22:13:16 547

原创 elasticsearch5.2.0和Kibana安装详解及问题

一、es集群的规划准备：1、修改/etc/hosts文件192.168.233.131 node1192.168.233.132 node2192.168.233.133 node3临时修改主机名hostname node1hostname node2hostname node32、均做免密码登陆配置ssh-keygen -t rsassh-copy

2017-09-19 14:30:04 1178

原创 VNC连接linux桌面

一、镜像挂载配置yum源 [root@node6 ~]# cat /etc/yum.repos.d/CentOS-Base.repo [CentOS-Base] name=CentOS-Base baseurl=file:///mnt/ISO enabled=1 gpgcheck=0 #gpgkey=file:///mnt/ISO/**[root@node4 mnt]# mkdir

2017-09-12 09:40:53 252

原创安装CDH的超详细步骤

一、准备工作1、下载安装包，规划三台机器Cloudera Manager 5.9http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.9.0_x86_64.tar.gzCDH5.9 主文件http://archive-primary.cloudera.com/cdh5/parcels/5.9.0.

2017-09-11 10:31:11 3206

原创 hive on spark的安装实现

Hive on Spark安装，hive是基于Hadoop的数据仓库，hdfs为hive存储空间，mapreduce为hive的sql计算引擎。但是由于mapreduce很多计算过程都要经过硬盘读写等劣势，和spark等计算引擎相比，无论是计算速度，还是计算灵活度上都有很多劣势，这也导致了hive on mapreduce计算速度并不是令人很满意。本篇来讲下hive on spark，将hive的

2017-09-06 15:51:33 813

原创安装oralce11g详细步骤

安装oralce11g详细步骤一、安装环境准备1、安装依赖包yum -y install binutils \compat-libcap1 \compat-libstdc++ \compat-libstdc++ \gcc \gcc-c++ \glibc \glibc \glibc-devel \glibc-devel \ksh \

2017-09-04 18:53:00 989

原创 zookeeper启动时报错排除

1.执行zkServer.sh start 后显示：JMX enabled by default Using config:/home/Hadoop/app/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper … STARTED2.jps后发现没有QuorumPeerMain进程3.查看zookeeper-3.4.5/data下的zook

2017-08-29 17:41:45 477

原创 HDFS小文件的合并优化

HDFS小文件的合并优化我们都知道，HDFS设计是用来存储海量数据的，特别适合存储TB、PB量级别的数据。但是随着时间的推移，HDFS上可能会存在大量的小文件，这里说的小文件指的是文件大小远远小于一个HDFS块（128MB）的大小；HDFS上存在大量的小文件至少会产生以下影响：消耗NameNode大量的内存延长MapReduce作业的总运行时间本文将介绍如何在MapReduce作业层面上将大量的

2017-08-25 14:42:18 1310