- 博客(21)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 mysql导出文件转化为csv格式文件
使用mysql查询结果输出在标准输出流中，可以直接重定向到一个文件中。列的分隔是tab符，列分隔是LF符。如果想转化为cvs格式，可以通过下列Java程序进行转码。public class TsvToCsvMain { public static void main(String[] args) throws Exception {// String input = "F:\\ttda...
2019-02-23 11:54:29
794
原创 mysq limit语句的offset值过大问题
在分页遍历全表的程序中，当offset值过大的时候，查询速度很慢。这是因为指定offset值的时候，mysql会去查找记录数为offset+rows, 会导致查找记录数过大。解决本问题的方案有：1、采用主键的条件查询where 代替 limit 的 offset 偏移量功能 ，如： where id>offset order by id limit rows, 每页返回记录中最大id...
2019-02-21 15:44:00
735
原创 hive数据迁移export表格DistCp问题
笔者在hive1.x迁移旧数据到新集群时，使用了export表格的方式，但数据量大的表格会报一个DistCpOption类找不到的错误。探究了一下，数据量大的文件复制时hive会使用distcp的方式，每一个文件会跑一个mr任务，而不是fs -cp的方式，该方式的问题是需要把所有数据都传输到客户端而导致效率比较低。解决该问题有两种思路：一、直接hadoop环境下的${HADOOP_HOME}/...
2018-11-06 15:55:05
603
原创 hbase0.94版本数据迁移到1.x版本
因公司的hbase0.9.4迁移到云平台，但阿里云的emr的hbase是1.1版本，存在问题：hbase的版本间变化大，采用export/import方法时存在snappy支持问题，元信息错误等问题。想到hbase有bulkload方式入库，查看了一下，hbase的hfile 文件在两版本间变化不大，在0.92版本就已经升级到hfile V2，故想到使用把旧版本hfile文件放到云hdfs上，...
2018-10-29 19:01:21
239
原创 mysql 主从replication备份
mysql可以用bin日志实现热备数据。原理是一个主节点，多个从节点，数据写只能写到主节点上，主节点开启了bin日志，从节点有一个定时的任务从主节点复制bin日志到本机，然后执行bin日志中的sql。记录下操作步骤：1、主节点：创建一个备份的账号；2、主节点：flush tables with read lock; 给当前数据库实例加全局读锁，防止备份数据时候数据修改；3、备份主节点的历史数据，并...
2018-07-11 19:08:52
141
原创 openssl生成加密密钥
1、生成私钥文件openssl genrsa -out rsakey.pem 20482、获取公钥openssl rsa -in rsakey.pem -out pub3、查看密钥的module值和e值openssl rsa -in rsakey.pem -text
2016-05-16 19:55:11
1471
转载 hive 学习笔记
1、hive表格默认存储使用ORC文件格式，建表可以指定不使用该文件格式CREATE TABLE test_details_txt( visit_id INT, store_id SMALLINT) STORED AS TEXTFILE;CREATE TABLE test_details_orc( visit_id INT, store_id SMALLINT) STORED AS OR
2015-11-12 16:54:57
560
转载 maven仓库和mirror关系
repository就是个仓库。maven里有两种仓库，本地仓库和远程仓库。远程仓库相当于公共的仓库，大家都能看到。本地仓库是你本地的一个山寨版，只有你看的到，主要起缓存作用。当你向仓库请求插件或依赖的时候，会先检查本地仓库里是否有。如果有则直接返回，否则会向远程仓库请求，并做缓存。你也可以把你做的东西上传到本地仓库给你本地自己用，或上传到远程仓库，供大家使用。 远程仓库可以在工程的pom.x
2015-11-12 10:40:17
1848
原创 spring的placeholder配置
1、spring 的 web 工程的 web.xml 文件配置 dispatchServlet org.springframework.web.servlet.DispatcherServlet contextConfigLocation classpath:/conf/dispatch-servlet.xml 1 dispatchServlet *.do
2015-10-22 19:45:16
1486
原创 msyql 的myisam存储引擎大表建立分区和索引总结
1、大表的数据多时，用alter语句去建立分区会非常慢，建议先 create table Tem like Origin; 然后在Tem表中引入分区；alter table Tem partition by range (column) (partition list...); 最后再修改表名；2、表中数据量大时，若表中存在惟一索引会非常慢，联合索引、惟一索引和单一字段分别索引导入数据耗时如
2015-09-30 14:42:15
1117
转载 spring异步调用任务或者事件
spring事件可以通过实现接口ApplicationListener来定义事件侦听器，在onApplicationEvent中写处理事件的逻辑；但这回调是同步的，若想异步去调用，可以通过加@Async注解，并打开任务调用线程来实现。spring 配置文件中加上：
2015-01-29 14:32:40
1099
原创 spring扫描类在指定包路径通过注解过滤
spring 框架中通过 可以指定扫描包框架中的类，关键代码是 ClassPathScanningCandidateComponentProvider provider = new ClassPathScanningCandidateComponentProvider(false); provider.addIncludeFilter(new AnnotationTypeF
2015-01-29 14:21:53
7888
原创 html页面动态引入iframe广告
Souders在他的blog里面有阐述：Using Iframes Sparingly:iframe会阻塞主页面的onload事件主页面和iframe共享同一个连接池动态引入iframe可以把iframe的加载放到onload事件后，但不好的地方是页面加载时间会更长；动态脚本如下：//doesn't block the load eventfunction createIf
2014-12-23 11:46:13
2549
原创 jconsole远程连接tomcat的jvm
1、在tomcat目录下修改cataline.sh文件，增加jvm参数配置JAVA_OPTS="-Dcom.sun.management.jmxremote -Djava.rmi.server.hostname=192.168.0.237 -Dcom.sun.management.jmxremote.port=1090 -Dcom.sun.management.jmxremote.ssl=f
2014-12-18 15:15:26
469
1
原创 java生成二维码
现在比较有名的java开源二维码工具有google的zxing，本文记录生成常见的qrcode过程1、加入maven依赖 com.google.zxing core 2.2 com.google.zxing javase 2.2 2、java示例import java.awt.image.BufferedImage;imp
2014-03-12 17:06:07
1730
原创 junit4单元测试经验总结
1、与spring test测试服务首先在pom文件中加入 junit junit ${junit.version} test org.springframework spring-test ${spring.version} test然后创建一个单元测试的基类import org.junit.runner.RunWith;import org.sprin
2014-01-20 11:46:04
898
原创 maven使用技巧总结
1、和eclipse配合使用首先从eclipse marketplace中下载m2eclipse插件；然后使用tomcat7版本部署web程序调试；调试web程序时，本人喜欢直接到webapp目录运行，可以在工程中根目录放一bat脚本，代码如下：@echo offcd /d %~p0del /S /F /Q *.jarmvn clean dependency:copy-depende
2014-01-20 11:07:48
651
原创 cfx使用https配置
1、服务端启用ssl连接先使用keytool工具生成服务端证书，如：keytool -genkey -keyalg RSA -alias xxx.xx -keystore catest.keystore然后生成客户信息证书，并导入信任的证书，如：keytool -import -alias xxx.xx -keystore client.keystore最后向tom
2014-01-03 17:01:08
1901
原创 java不定参数
今天弄hibernate批量保存时，用到了HibernateTemplate中的bulkUpdate方法中的不定参数，无法找到数组转换成不定参数的办法，发现不定参数的使用如例如 public void test(String ...args){...} 这里test方法可以传入参数的情况是：1.不使用参数，如test()2.使用一个或多个参数,如test("1"); tes
2012-01-15 10:57:18
459
转载 spring mvc框架学习总结
最近项目要用到spring mvc 框架，看了一些资料，现整理备以后遗忘。1、spring MVC架构采用了command+controller的模式，整体框架如下图所示：核心的控制器是DispatcherServlet，返回的视图对象是ModeAndVIew对象。2、在非Annotation base controller情况下，controller类是AbstractCon
2011-10-31 16:47:16
1846
转载 javascript中的this关键字用法
In JavaScript this always refers to the “owner” of the function we're executing, or rather, to the object that a function is a method of. function doSomething() { this.style.color = '#cc0000'
2011-07-29 16:39:50
327
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人