jike-tom-CSDN博客

原创 linux 命令小技巧记录

文件合并 cat file/*.txt > mytxt.txt 统计所有文件行数 cat file/*.txt | wc -l

2017-10-13 11:15:51 335

原创 Kettle7.0抽取GIS数据到翰云库

1.将PostGis数据抽到翰云库准备阶段：postgis表itesta中有gis数据目标：要把所有数据抽取到cloudwave中itest用户下 1）建立postgis连接 2）获取sql,这有点要注意的是，由于postgis的geom字段查出来是binary，需要我们手动修改为转换为可读的字符串，为表输出做好铺垫。修改前：修改后： 3）建立表

2017-04-17 15:51:31 1894

原创排除jar程序

写了一个java工程后，因为那个jar是一个系列的，所以前期没有挑，直接全部要引用，差不多有200多个。所以写好后，就需要排除没有用的jar, 基本思想 lib是引用包位置 dellib是存放排除jar包的位置 1.引用lib包下所有的jar，运行程序，以jar包个数决定执行次数，因为每次都是排除一个jar 2.移除一个jar，如果能能正常运行，执行步骤1. 3.移除一个jar，如果

2017-03-20 16:53:36 762 1

原创 shape 文件小知识

shape文件大路货就不写了，有bing就可以了写点小知识：一、shp的所有文件类型必须的文件shp — 图形格式，用于保存元素的几何实体。shx — 图形索引格式。几何体位置索引，记录每一个几何体在shp文件之中的位置，能够加快向前或向后搜索一个几何体的效率.dbf — 属性数据格式，以dBase IV的数据表格式存储每个几何形状的属性数据2.其他可选的文件.prj — 投影格

2017-03-17 09:58:08 3589 1

原创 oracle spatial 增查SQL示例（三）半圆弧和R-tree索引建立

目标: 计算一个点是否在弧上建表 create table itestg1(id int, m1 MDSYS.SDO_GEOMETRY,–存放弧线（半圆）circularstring m2 MDSYS.SDO_GEOMETRY–存放一个点 ) ;建立索引 1）在user_sdo_geom_metadata表插入元数据，没有元数据是没法建立索引的 insert into user_

2017-03-07 15:48:19 525

原创 oracle spatial 增查SQL示例（二）复杂多边形

矩形：矩形的具体几何形状和坐标，如下图：用SDO_GEOMETRY定义该矩形，如何确定sdo_geometry()构造方法中的各个参数值。详细解释如下：SDO_GTYPE = 2003；2003中的2表示二维数据，2003中的3表示表示多边形。具体参考图1 SDO_SRID = NULL； SDO_POINT = NULL； SDO_ELEM_INFO = (1, 1003, 3).

2017-03-07 13:47:51 2244

原创 oracle spatial 增查SQL示例（一） point

建表： create table itestg(id int,mpoint MDSYS.SDO_GEOMETRY) 插入一个关于点的数据： insert into itestg values(1,MDSYS.SDO_GEOMETRY(2001,null,MDSYS.sdo_POINT_TYPE(0,1,null),null,null)); 查询： select t.mpoint.get_w

2017-03-07 13:25:39 603 1

原创 2017年2月面试记录

2月我抱着查看市场行情的目，出去面试了3家首先我求的职位是大数据开发，数据开发，ETL开发，我想去的公司是知名互联网公司。收获和失去都有收获了：我对现在整个大数据开发行业有了一丢丢认识，大数据整个行业现在和我想的不一样，没我想的那么应用广，发展也不是那么快，起码以我现在的水平还能求得一份工作自我定位在菜鸟以上，这个吐槽下某个FM的面试，虽然我失败了，但是整个面试过程真心太差劲了

2017-02-27 15:59:33 370

原创执行linux命令

try { Process process = Runtime.getRuntime().exec( “cat /proc/cpuinfo”); BufferedReader bufferedReader = new BufferedReader(

2016-09-05 10:38:54 234

原创 java 获取系统信息

try { OperatingSystemMXBean osMBean = ManagementFactory.newPlatformMXBeanProxy( ManagementFactory.getPlatformMBeanServer(), ManagementFactory.OPER

2016-09-05 10:34:11 683

原创 tar

解压 tar zxvf 文件名.tar.gz 压缩 tar zcvf 文件名.tar.gz 目标名 tar -ztvf file.tar.gz 将列出所有包内文件列表，包括目录。

2016-08-15 14:26:56 336

转载 tabletserver线程池

BlockingQueue： http://wsmajunfeng.iteye.com/blog/1629354 ThreadPoolExecutor： http://825635381.iteye.com/blog/2184680 ForkJoinPool： http://blog.csdn.net/aesop_wubo/article/details/10300273

2016-08-12 14:27:36 471

转载 MPP DB的缺点

1、扩展性：为什么 MPP DB 扩展性不好？ MPP DB 还是基于原 DB 扩展而来， DB 里面天然追求一致性（ Consistency ），必然带来分区容错性较差。集群规模变得太大，业务数据太多时， MPP DB 的元数据管理就完全是一个灾难。元数据巨大无比，一旦出错很难恢复，动不动导致毁库。所以 MPP DB 要在扩展性上有质的提示，要对元数据，以及数据存储有架构上的突破，降低

2016-07-08 15:18:40 18113

原创批量杀进程

ps -aux|grep u[1,10]|xargs kill -9

2016-06-08 16:27:49 440

这次挂起现象是每日测试集在执行load数据时，挂起了，查看日志发现数据库也不checkpoint了，自己分析了下，都是浮云啊。。。。经过大神经理的一番教导，恍然大悟，速度记录下来此次历程有用的几个jstack信息如下，我先过滤出来：第一段jstack，也是最重要的一部分"CloudWave Tablet Server Compact Task Thread:0" prio=10 tid=0x0000

2016-03-18 18:35:11 1075

原创针对GC 调优JVM

–verbose:gc 在虚拟机发生内存回收时在输出设备显示信息布尔型参数选项：-XX:+ 打开， -XX:- 关闭。（译者注：比如-XX:+PrintGCDetails）-XX:+UseParallelGC 使用并行垃圾收集 -XX:-UseConcMarkSweepGC 使用并发标志扫描收集 (Introduced in 1.4.1) -XX:-UseSerialGC

2016-02-14 14:37:49 538

原创不期望明天

踏踏实实做事，静心，把握好现在

2016-01-29 18:05:05 243

原创客户出问题后的询问流程（待完善）

报什么错能截图吗怎么操作的 4.

2016-01-21 18:25:33 308

原创 hbase安装（使用已经安装的HDFS和zookeeper）

先启动zookeeper和hadoop,方便后面查找信息，不启动也没关系，自己去配置文件找也行查看hbase可以匹配的hadoob和jdk的版本，然后下载，这次用hbase.1.0.2和hadoop2.5 查看是否匹配下载地址上传到服务器后，减压： tar -zxvf hbase-1.0.2-bin.tar.gz网上都说如果集群版的hadood的jar和hbase的jar包版本不一

2016-01-16 19:03:02 634

原创 mybatis与翰云库结合示例

这次主要是应客户要求，需要有多表查询结果返回，做的一个测试例子建表语句：CREATE TABLE student ( id int , name varchar(10) NOT NULL, gender char(1) NOT NULL, major varchar(20) NOT NULL, grade char(4) NOT NULL, super

2016-01-14 17:45:08 239

原创 druid连接池与数据库简单配置

druid是阿里巴巴推出的国产数据库连接池 cloudwave是国产分布式数据库druid用到的jar 这里下载http://maven.outofmemory.cn/com.alibaba/druid/1.0.1/连接工厂类ConnectionFactory2 .java：public class ConnectionFactory2 { private ConnectionFactor

2016-01-14 11:26:10 328

转载 Hive的不足

不足执行引擎 Hive架构于MapReduce Framework之上，执行计划的灵活性较差，优化器可做的选择很少，例如：Join算法只有Grace Hash Join一种选择，性能更加优秀且稳定的Hybrid Hash Join则无法实现; Map端的Group-by算法只有Hash Group-by一种选择, Reduce端的Group-by只有sort group-by一种选择(不然Ma

2016-01-07 19:04:36 470

原创远程调试代码

一、服务器配置 1 、调试masterserver端程序 1）把脚本start-master-server.sh里的MASTER_OPTIONS="${MASTER_MEMORY} -verbose:gc -XX:+UseConcMarkSweepGC"修改为MASTER_OPTIONS="${MASTER_MEMORY} -verbose:gc -XX:+UseConcMarkSweepGC

2016-01-06 19:39:18 721

原创每天写一点

积少成多

2016-01-06 16:08:07 240

一个菜鸟的博客