吴小全-CSDN博客

原创数据库中定义触发器实现：从多张表随机抽取数据组合成一张新表

问题描述：我们以MySQL数据库为例，讲述怎么实现从多张表中随机抽取数据组合成一张新的表。问题分解可以这样：我们简化难度，首先我们先实现随机从一张表中抽取一条数据，并把它存储在一个临时变量中，我们可以重复以上工作，对多张表进行随机抽取一条数据并存储在临时变量，重点：我们把这些临时变量值组合起来使用insert语句插入一张新表。下面是我的例子 sex表： 1

2017-04-17 16:59:32 1038

原创 hive自定义RowSequence函数

为了实现hive表中自动添加一列唯一key，使得在分布式节点里存在的key唯一，下面我们通过自定义函数来实现。第一种方案：package org.rowsequence; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apac

2017-02-26 16:20:34 1863

原创火狐浏览器打开网页一直出现连接不安全问题

火狐出现连接错误的解决方案：

2017-02-23 09:46:49 4288 1

原创 Spring注解@Component、@Repository、@Service、@Controller区别

Spring注解@Component、@Repository、@Service、@Controller区别 spring 2.5 中除了提供 @Component 注释外，还定义了几个拥有特殊语义的注释，它们分别是：@Repository、@Service 和 @Controller。在目前的 Spring 版本中，这 3 个注释和 @Component 是等效的，但是从注释类的命名上，

2016-12-28 20:04:21 1920 1

43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNrQ2

2016-11-27 11:44:23 1571

原创 java mysql大数据量批量插入与流式读取分析

总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在生成大量的汇总数据然后写入到数据库。基本流程是读取->处理->写入。1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是server端处理太慢。但是在控制台是可以立即返回数据的。于是在应用这边抓包，发现也是发送sq

2016-11-22 20:06:49 3438 1

原创用spring Boot颠覆Java应用开发

用Spring Boot颠覆Java应用开发Java开发概述：使用Java做Web应用开发已经有近20年的历史了，从最初的Servlet1.0一步步演化到现在如此多的框架，库以及整个生态系统。经过这么长时间的发展，Java作为一个成熟的语言，也演化出了非常成熟的生态系统，这也是许多公司采用Java作为主流的语言进行服务器端开发的原因，也是为什么Java一直保持着非常活跃的用户群。然而这个生态系统纷繁

2016-10-17 10:24:10 819 1

原创 CentOS7安装TeamViewer9

先前尝试很多次也没有运行起来TeamViewer9，主要问题是安装后启动时候，没有出现授权时候的“接受”按钮，无法继续运行它。经过不懈努力，终于解决了，主要原因是TeamViewer9使用wine，必须先安装wine才能正常运行TeamViewer9。Wine （“Wine Is Not an Emulator” 的首字母缩写）是一个能够在多种 POSIX-compliant 操作系统（诸如 Li

2016-10-15 10:28:55 4524

原创 MyEclipse2015 stable版破解

2015MyEclipse的好多激活软件都是直接在plugin里修改MyEclipse的class文件，这样虽然能够激活，但是会出现MyEclipse闪退，主要是因为MyEclipse的文件检查或调用时出现不一致，导致错误而强制关闭，而下面这个激活软件解决这些问题，而且测试有用激活软件下载激活软件下载提取码：3ce6 如果下载出错，尝试下面链接：https://yunpan.cn/cv6rif

2016-10-15 09:14:05 999 2

原创 Java的发明者----James Gosling谈编程

在加拿大的好处就是可以接触到google、youtube和各个“始祖”或是“神”级的编程论坛，同时可接触到很多的IT教材的作者，甚至可以见到Java的发明者—-James Gosling，从而可以得到更深层次的学习和提升。将自己的学习过程中所有的有意义的知识、考点、难点、易错点，通过不断的在百度、知乎、google、youtube的反复的验证和交流，以学习笔记的形式发表出来。下面是Java的

2016-10-06 15:57:13 3375 1

原创 Linux下安装Git

Ubuntu12.04中默认没有安装Git。需要自行安装1.安装Git1.1 Ubuntu12.04下可以使用apt-get方式安装，也可以下载源代码安装【1】，我们这里使用apt-git安装。但由于直接使用 sudo apt-get install git 安装的版本较老，因此我们参考【2】中给出的PPA源。sudo add-apt-repository ppa:git-core/ppa

2016-10-04 10:09:05 520

原创 Android：基于局域网的聊天系统

一、作品简介本作品是基于局域网的P2P（点对点）通信模式，不再使用传统的服务器、客服端分开的模式，本身就是sever+client模式，消除服务器一对多的信息交互压力。支持信息发送、文件传送，语音通话，视频聊天，速度极快。有了它，局域网间传送文件不必再共享来共享去的了。而且，在局域网里避免了网络病毒的侵入，黑客的攻击，信息安全得到保障。本作品是面向企业、学校、家庭的局域网即时通讯软件，实现局

2016-09-28 10:03:15 5787 8

原创 java 有顺序写入读取Properties配置文件

Java 的 Properties 加载属性文件后是无法保证输出的顺序与文件中一致的，因为 Properties 是继承自 hashtable 的， key/value 都是直接存在 Hashtable 中的，而 Hashtable 是不保证进出顺序的。总有时候会有关心顺序一致的需求，恰如有 org.apache.commons.collections.OrderdMap（其实用 LinkedHa

2016-09-28 09:40:37 2445

原创 java-内省技术解析

1 javabean的软件设计思想 2 内省：封装了java反射，提供直接操作属性的Setter和getter方法的方法 3 核心API：BeanInfo java 的描述信息，Introspector 内省的变成入口,PropertyDescriptor 属性的描述器1 javaBean 简介内省（Insrospector）javabean 是一中java类的设计思想，对普通java

2016-09-28 09:33:40 695 1

原创 Oracle批量导入数据

下面我们直接以一个导入数据的案例来讲述oracle批量导入数据的方式，案例是为一个usertest的表导入数据一、创建对应的表(usetest)语言create table usetest(id int,name varchar(20));usetest.csv的数据格式1 张三2 李四3 王五4 翠花................二、创建导数据的ctl文件use

2016-09-07 22:09:26 1043

原创 Oracle创建多个（大量）属性表，建表语句如下，案例是创建509个属性的表

一、生成一个创建502个属性的表的sql语句为表创建组件，属性的格式A1~A502，属性的的类型使用各种各样数据类型，二、使用sqlplus登录oracle数据，直接运行sql脚本创建大量属性的表

2016-09-07 22:02:01 2879

原创 HBase查看表大小

查看表的大小：1.所有regionserver中所有表大小hadoop fs -du /hbase2.当前regionserver中所有表大小hadoop fs -dus /hbase -ROOT-表和.META.表也不例外, -ROOT-表和.META.表都有同样的表结构, 关于两表的表结构和怎么对应HBase整个环境的表的HRegion, 可以查看上篇转载的文章. splitlog和.

2016-09-07 21:50:19 10054

原创查看HBase表在HDFS中的文件结构

查看HBase表在HDFS中的文件结构

2016-09-07 21:47:58 3335

原创 Oracle远程连接配置

oracle的远程连接配置，设置host，使得oracle可以远程连接

2016-09-07 21:39:17 927 1

原创 hadoop map-reduce倒排索引过程

---------------------------------mapper//context.wirte("hello->a.txt", "1")//context.wirte("hello->a.txt", "1")//context.wirte("hello->a.txt", "1")<"hello->a.txt", {1,1,1}>--------------------------

2016-07-29 23:14:18 531

原创 storm常见错误

1. 发布topologies到远程集群时，出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来，可能是storm.yaml文件没有配置，或者配置有问题。解决方法：打开storm.yaml文件正确配置：nimbus.host: “xxx.xxx.xxx.xxx”，重启nimbus后台程序即可。2. 发布topologies到远程集群时，出现AlreadyAlive

2016-07-29 23:11:06 407

原创 storm安装

1、安装一个zookeeper集群2、上传storm的安装包，解压3、修改配置文件storm.yaml所使用的zookeeper集群主机storm.zookeeper.servers:- "weekend05"- "weekend06"- "weekend07"nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots.ports-6701-6

2016-07-29 23:07:38 388

原创 kafka笔记

集群安装 1、解压 2、修改server.propertiesbroker.id=1zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:21813、将zookeeper集群启动4、在每一台节点上启动brokerbin/kafka-server-start.sh config/server.properties5、在kafka集群中

2016-07-29 23:05:32 368

原创 sqoop的使用

sqoop的使用 —-sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具 —-实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置 —-修改配置文件 sqoop-env.sh#Set path to where bin/hadoop is availableexport HADOOP_CO

2016-07-29 23:03:18 336

原创 linux使用GDB 调试

1. gdb 调试利器GDB是一个由GNU开源组织发布的、UNIX/LINUX操作系统下的、基于命令行的、功能强大的程序调试工具。对于一名Linux下工作的c++程序员，gdb是必不可少的工具；1.1. 启动gdb对C/C++程序的调试，需要在编译前就加上-g选项:$g++ -g hello.cpp -o hello调试可执行$gdb gram也就是你的执行文件，一般在当前目录下。调试core文件

2016-07-29 22:58:04 409

原创 xshell或secureCRT的中文乱码问题

一、解决xshell 中文乱码在xshell命令行里面输入： locale 输出： LANG=zh_CN.UTF-8LC_CTYPE="zh_CN.UTF-8"LC_NUMERIC="zh_CN.UTF-8"LC_TIME="zh_CN.UTF-8"LC_COLLATE="zh_CN.UTF-8"LC_MONETARY="zh_CN.UTF-8"LC_MESSAGES="zh_CN.U

2016-07-29 22:44:50 918

原创 Hive1.2.1安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户）配置HIVE_HOME环境变量 rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-s

2016-07-28 21:08:02 476

原创 HBase集群搭建

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES_

2016-07-28 21:02:30 391

原创 Android：基于百度云推送的聊天系统

一、系统运行图二、原理下面通过几个问题来说明下实现的原理：1、如何实现给某个用户发送消息呢

2016-07-28 20:52:38 2730 6

原创解决secureCRT7.3小键盘在vim编辑器里不能使用问题

问题：在secureCRT7.3版本上，如果使用xterm模式，那么小键盘在vim编辑器里就不能使用，这时候得作如下配置： Session Optionn–>Terminal—>Emulation–>modes选项下不要勾选Enable keypad mode switching 如下图：

2016-07-28 19:58:27 5834 3

原创在CentOS7.0上安装Oracle11或12

一、安装前准备工作，下载Oracle地址：http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html 下载如下版本下载完成后：linux.x64_11gR2_database_1of2.ziplinux.x64_11gR2_database_2of2.zip二、配置-增加oracle

2016-07-28 19:46:54 1174

原创 shell-多个空格替换成一个逗号怎么写表达式

一个或者多个空格替换成逗号： sed ‘s/[ ][ ]*/,/g’ a.txt >b.txt

2016-07-28 19:27:24 2899

转载基于SSH+ExtJS开发的Web项目

系统可作为OA、网站、电子政务、ERP、CRM、APP后台等基于B/S架构的应用软件系统的快速开发框架。一、特色功能 1、采用Spring MVC的静态加载缓存功能，在首页将Javascript文件、CSS文件和图片等静态资源文件加载进来放进内存，极大提高ExtJS的加载速度。 2、三种皮肤主题：经典、灰色和海王星，支持多浏览器和多分辨率。 3、分别封装了模型层、控制层、业务逻辑层和数据持久层

2016-06-04 18:56:14 3929 2

原创 SpringMVC+Spring4+Mybatis3+Log4j集成

基本准备工作1、安装JDK1.6以上版本，安装与配置 2、下载mybatis-3.2.0版：https://repo1.maven.org/maven2/org/mybatis/mybatis/ 3、下载mybatis-spring-1.2.1版：https://repo1.maven.org/maven2/org/mybatis/mybatis-spring/ 4、Spring-4.0.0的

2016-05-13 10:04:55 1933

原创 java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener

java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener 错误信息描述：严重: Error configuring application listener of class org.springframework.web.context.ContextLoaderList

2016-05-13 09:46:30 615

原创 hadoop配置免密码ssh登录

在master上更改权限在搭建hadoop集群时，需要机器相互可以免密码ssh，操作如下（四台机器都要操作）：ssh-keygen -t rsa 讲产生的公钥复制到master机器上并重命名，以hadoop1为例子：scp ~/.ssh/id_rsa.pub root@host:~/id_rsa.pub.1 讲所有的迷药追加到authorized_keys中：cat ~/.ssh/id_rsa.

2016-05-10 22:57:13 654

原创 hadoop集群2.7.2搭建

hadoop集群2.7.2搭建本文首先搭建两节点的集群，然后动态添加节点。各个节点环境配置如下：master 192.168.101.26master 节点，拥有所有节点的公共密钥hadoop1 192.168.101.28首次创建使用的datanode节点hadoop2 192.168.101.29 hadoop3 192.168.101.30追加的datanode节点将对应关

2016-05-10 22:53:04 4241 1

原创 Photoshop CS6 破解

破解补丁下载地址： http://hbtel.ddooo.com:8081/uuauth/adobecs6tong_11964.rar?d1ff4f254e9afb36f003780b2be8ed54.rarAdobe CS 6 激活补丁说明：1、备份你想要激活的软件的“amtlib”文件，比如PS CS6 64bit其目录在“E:\Program Files (x86)\Photoshop6\A

2016-04-25 21:56:36 2903

原创 win10安装TeamView 提示rollback framework could not be initialized

在win10系统安装TeamView软件时，有的安装会提示：rollback framework could not be initialized, 这个错误信息如下是我的解决方法：打开具有管理员权限的命令行窗口单击开始按钮；在搜索框中输入“cmd”；右键单击cmd选run as administrator输入如下命令：net user administrator /active:yes

2016-04-20 00:55:40 34397 1

原创 SecureCRT vi彩色显示关键字

SecureCRT vi彩色显示关键字 vi是没有颜色的,但是我们在linux的控制台下用vi编辑文件却能看到彩色这是因为安装了vim-enhanced的包QUOTE:[root@app101 conf]# rpm -qa | grep vimvim-minimal-6.3.046-0.40E.7vim-enhanced-6.3.046-0.40E.7vim-common-6.3.046-

2016-04-15 10:31:07 1866