- 博客(117)
- 收藏
- 关注
RSS订阅原创 node-sass下载不了的问题
node_modules需要访问国外服务器，所以使用国内镜像首推淘宝镜像：（windows平台）npm install -gcnpm--registry=https://registry.npm.taobao.org这是一个完整npmjs.org镜像，你可以用此代替官方版本(只读)，同步频率目前为10分钟一次以保证尽量与官方服务同步。而且下载速度很快，之前用这个链接的时候一...
2019-04-25 20:32:45
611
原创 解决webstorm GitLab Clone failed: Authentication failed for的问题
刚使用GitLab做项目管理，git clone工程，一直报Clone failed: Authentication failed for ‘Xxxxxxx’，却又没有弹出消息框。解决方法如下:git config --system --unset credential.helper然后就终于可以重新填写用户名和密码，输入之后即可完成clone...
2019-04-25 00:41:43
1651
1
转载 java 初级、中级、高级工程师
一、初级工程师1、首先要学习java的基础知识。不要被新技术迷惑，所谓万变不离其宗，新技术都是基于java的基础之上，如果基础不扎实，对于这些新技术的理解也是一知半解，学不到根源。2、做一个java项目在学习完java的基础知识之后，做一个java项目来巩固一下，在项目中会发现很多问题，通过解决问题，加深基础知识的掌握。3、学习数据库的基础知识和开发应用软件开发离不了数据库，掌握...
2019-04-07 17:45:46
762
转载 RabbitMq安装和常用命令
Windows安装需要先安装Erlang，再安装RabbitMQ，再配置插件，在配置插件的时候可能会出现错误第一步：安装Erlang OTP，由于RabbitMQ是用Erlang编写的，所以在安装RabbitMQ之前要先安装Erlang 下载地址：http://www.erlang.org/downloads 下载最新版本即可，例如OTP 20.0 Windows 64-bit Binary ...
2019-01-18 13:37:55
378
1
转载 MyISAM和InnoDB的主要区别和应用场景
http://blog.csdn.net/aaa123524457/article/details/54375341 主要区别： 1).［事务］MyISAM是非事务安全型的，而InnoDB是事务安全型的，默认开启自动提交，宜合并事务，一同提交，减小数据库多次提交导致的开销，大大提高性能。 2).［锁］MyISAM锁的粒度是表级，而InnoDB支持行级锁定。 3).［全文索引］M...
2019-01-09 14:49:51
162
转载 各大公司Java面试题超详细总结
ThreadLocal(线程变量副本)Synchronized实现内存共享，ThreadLocal为每个线程维护一个本地变量。采用空间换时间，它用于线程间的数据隔离，为每一个使用该变量的线程提供一个副本，每个线程都可以独立地改变自己的副本，而不会和其他线程的副本冲突。ThreadLocal类中维护一个Map，用于存储每一个线程的变量副本，Map中元素的键为线程对象，而值为对应线程的变量...
2018-12-08 19:51:52
469
转载 解决SSH自动断线问题
在连接远程SSH服务的时候，经常会发生长时间后的断线，或者无响应（无法再键盘输入）。总体来说有两个方法：1、依赖ssh客户端定时发送心跳。putty、SecureCRT、XShell都有这个功能，但是并不保险。此外在Linux下： #打开sudo vim /etc/ssh/ssh_config# 添加ServerAliveInterval 20
2017-05-09 10:40:31
1483
转载 CentOS 7 安装字体库 & 中文字体
前言报表中发现有中文乱码和中文字体不整齐（重叠）的情况，首先考虑的就是操作系统是否有中文字体，在CentOS 7中发现输入命令查看字体列表是提示命令无效： 如上图可以看出，不仅没有中文字体，连字体库都没有，那么接下来就记录一下在Linux CentOS 7中如何安装字体库以及中文字体。安装字体库在CentOS 4.x开始用fontconfig来安装字体库，所以输入
2017-05-06 11:02:05
912
转载 大数据分析查询引擎Impala
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。在介绍Impala之前需要先介绍Google的Dremel系统
2017-04-27 11:40:45
1643
转载 DB、ETL、DW、OLAP、DM、BI关系结构图
在此大概用口水话简单叙述一下他们几个概念：（1）DB/Database/数据库——这里一般指的就是OLTP数据库，在线事物数据库，用来支持生产的，比如超市的买卖系统。DB保留的是数据信息的最新状态，只有一个状态！比如，每天早上起床洗脸照镜子，看到的就是当时的状态，至于之前的每天的状态，不会出现的你的眼前，这个眼前就是db。（2）DW/Data Warehouse/数据仓库——这
2017-04-24 17:37:12
387
转载 POI操作Excel常用方法总结
一、 POI简介 Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。二、 HSSF概况 HSSF 是Horrible SpreadSheet Format的缩写，通过HSSF，你可以用纯Java代码来读取、写入、修改Excel文件。H
2017-04-22 10:58:33
211
转载 拖放效果原理
摘录一些 比较重要的对象和事件以及属性* 首先，要使元素能否能被拖拽，必须设置 draggable = "true" 例如：只有设置draggable才可以被拖拽* 一个很很重要的接口 DataTransfer，它是拖拽对象用来传递的媒介，它包含以下属性和方法dataTransfer.dropEffect [ = value ]：返回已选择的拖放效果，如果该操作效果与起
2017-04-21 21:23:48
120
转载 BI能给企业带来的好处
1、整合信息孤岛，整体分析问题BI可以将企业信息化的数据孤岛整合起来，提供一个全局的视图，让决策者可以更加全面地看待问题，降低决策失误风险性2、提高决策质量，深入分析问题BI能够将数据转换为知识进而辅助决策，能够使决策者决策更加迅速准确，能够给企业注入新的革命性的管理思想。决策者可以根据BI提供的钻取功能对数据结果进行追根溯源，使问题的分析不止步于表面结果，发掘出数据中包含
2017-04-21 21:19:30
3642
转载 商业智能 BI 发展的新趋势
商业智能 BI 发展的新趋势（2017年-2020年） 第一，云端化是重要趋势 在2016年8月份我写过一篇文章《深入分析 BI 数据可视化市场 SaaS 模式》。在这篇文章中，我提到大概在2018年前后在国内大概会出现比较成熟或者很成熟的可视化BI分析SaaS模式的产品。判断的依据是什么？还是我在文章开始时提到的：“数据在哪里？分析就在哪里？” 这个观点。
2017-04-21 19:57:55
416
转载 OLAP引擎——Kylin介绍
Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase），这段时间对mondrian和kylin都进行了使用，发现这两个系统是时间和空间的一个权衡吧，mondrian是一个ROLAP系统，所有的查询可以通过实时的数据库查询完成，而
2017-04-21 19:36:18
338
转载 大数据时代，OLAP解析与发展方向
前言：数据分析领域自2010前后一直占据了全球信息技术的核心地位，OLAP的需求并未随着Hadoop的流行而消亡，而是被越来越理智的认可——“数据再多也需要分析、分析的主要需求还是交互查询”。本文概括了OLAP的本质原则、曾经的困境和当前的技术派系，希望能引起从业者的思考，共同促进行业进步与发展!1. 剖析OLAP本质OLAP(Online Analytical Processin
2017-04-21 18:47:45
1613
转载 数据统计、数据挖掘、大数据、OLAP的区别
在大数据领域里，经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例子，来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。一、数据分析数据分析是一个大的概念，理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程，都叫数据分析。从数据本身的复杂程度、以及对数
2017-04-21 18:45:39
411
转载 5个开源的商业智能工具
摘要：开源的商业智能工具现在已经在商业中开始显示出其特有的成效。如果没有正确的信息来作为支撑，如何做出完美的商业决定。商业智能（BI）工具可以很好的帮助你从所收集和存储的大量的商业数据中提取和认识信息。很难想象如果没有正确的信息来作为支撑，如何做出完美的商业决定。商业智能（BI）工具可以很好的帮助你从所收集和存储的大量的商业数据中提取和认识信息。换句话说，它可以将一堆数据转化为有意义的
2017-04-21 17:54:05
432
原创 ODS
什么是ODS操作数据存储ODS（OperationalData Store）是数据仓库体系结构中的一个可选部分，由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。ODS设计与DW设计在着眼点上有所不同，ODS重点考虑业务系统数据是什么样子的，关系如何，在业务流程处理的哪个环节，以及数据抽取接口等问题。ODS是一个将面向主题的，动态增长的，非实时的，消除
2017-04-20 16:39:34
7573
转载 PuTTY SSH通道的Kettle链接MySQL方法
SSH tunneling using PuTTY and MySQL-FrontCreate sessionhostname: any pgrad or ugrad SIT server e.g. grey.ug.it.usyd.edu.au or simply mysql.it.usyd.edu.auNOTE - as mysql.it.usyd.edu.au is a p
2017-04-12 11:09:26
1923
原创 kettle中做查询时,遇到大数据时怎么处理
kettle中做查询时,遇到大数据时怎么办?在kettle常常有处理从一个源数据中做转换.做转换的时候, 需要去查另一个数据库. 这种问题遇到数据小时候还好办. 但是数据魇 时候就麻烦来了.下面针对三种情况做具体情况的选择办法先上一个图[img][/img]1. 当需要转换的数据特别大的时候, 例如: 10W条以上.或者100W条以上时.
2017-04-11 02:27:09
4200
转载 Kettle实现循环增量抽取数据
数据量数以千万计时，初次一次性抽取历史数据容易出现卡死，针对这种情况可以使用循环年份抽取，并且加入增量程序使得后续抽取增量化！整体流程：1、获取年份极值（获取历史有数据的年份最大最小值）获取日期：select min(to_char(jyrq,'yyyy')) || '~' || max(to_char(jyrq,'yyyy')) Y
2017-04-11 02:24:21
5384
转载 采用Kettle分页处理大数据量抽取任务
需求：将Oracle数据库中某张表历史数据导入MySQL的一张表里面。源表（Oracle）：table1目标表（MySQL）：table2数据量：20,000,000 思路：由于服务器内存资源有限，所以，无法使用Kettle一次性从源表导入目标表千万级别的数据，考虑采用分页导入的方式来进行数据传输，即：根据实际情况设置一个
2017-04-11 02:14:51
4845
3
转载 kettle性能及效率提升
Kettle数据处理的过程中难免会遇到性能瓶颈，因此性能及效率的提升成为摆在面前的问题，因此笔者罗列一些常用的优化建议。kettle优化索引的正确使用数据抽取SQL优化kettle优化尽量使用数据库连接池；尽量提高批处理的commit size；尽量使用缓存，缓存尽量大一些（主要是文本文件和数据流）；Kettle 是Java 做的，尽量用大一点的内存参数启动Kettle
2017-04-11 01:20:32
2312
原创 增加eclipse的运行内存
-Xms64m -Xmx128mEclipse 中设置JVM 内存今天在eclipse 中测试把文档转换为图片的时候，报出了下面的错误：Java.lang.OutOfMemoryError: Java heap space 从上边的异常信息可以看到，JVM 需要使用的内存已经超过了我们分配给虚拟机可以使用的最大内存。所以问题就转化为如何
2017-04-10 14:53:57
270
转载 开源ETL工具kettle系列之常见问题
摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案 1. Join我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field6 , 我现在想把它们 ‘加’ 起来, 应
2017-04-10 01:58:05
115
原创 kettle-error-OPTION SQL_SELECT_LIMIT=DEFAULT
问题描述kettle在抽取MySQL数据到SqlServer时，表输入mysql查询正常，表输出获取字段时报错：Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corres
2017-04-09 21:42:01
641
原创 运行spoon.bat时Kettle无法启动问题解决
1.Kettle无法启动解决方法：估计是jdk环境变量没配置好，百度、qq找了很多地方，都不行，终于在一个博客里发现了解决方法：只要修改一下spoon.bat里内存配置：if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms2058m" "-Xmx1024m" "-XX:MaxPermSize=256m"
2017-04-09 20:38:05
11738
转载 OLAP、OLTP的介绍和比较
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易
2017-04-08 01:14:01
187
转载 软件开发基本知识
一、软件的概念1、软件：是计算机系统中与硬件相互依存的部分，它包括程序、数据及相关文档的完整集合。其中Ø 程序－是按照事先设计的功能和性能的要求执行的指令序列Ø 数据－是使程序正常操纵信息的数据结构Ø 文档－是程序开发、维护和使用有关的图文资料2、软件分类（按功能划分）Ø 系统软件：如操作系统、数据库管理系统、设备驱动程序等Ø 支撑软件：协助用户开发软件的工具性软件，如微软可视化开发平台工具Ø 应
2016-06-24 00:11:11
1052
原创 AngularJS数组操作
1:ng-click,ng-model,ng-bind,ng-class,ng-hide,ng-app2:placeholder,3:{}中加入代码“：true|false”,使用逗号隔开，可以控制包括样式，显示与隐藏等功能，}1、数组的创建var arrayObj = new Array();//创建一个数组var arrayObj = new Array
2016-06-22 13:42:54
30589
转载 Cordova各个插件使用介绍系列（二）—$cordovaBarcodeScanner扫描二维码与生成二维码
这是一个用来扫描二维码的cordova插件，在做项目的时候想实现类似于微信的扫一扫功能，就想到了cordova的$cordovaBarcodeScanner插件，用很少量的代码就可以实现了，下面来看一下具体的实现步骤：扫描二维码：1、首先需要有一个简单的项目,然后在命令行输入添加插件的命令:cordova plugin add https:/
2016-05-27 16:27:18
5864
转载 Cordova各个插件使用介绍系列（一）—$cordovaSms发送短信
这是调用手机发送短信的插件，因为在做项目的时候有这个需求找了一下看到这个，在这里简单介绍一下，使用之前有一定的ionic基础和开发项目的经验。1、首先需要有一个简单的项目,然后在命令行输入添加插件的命令:cordova plugin add https://github.com/cordova-sms/cordova-sms-plugin.git
2016-05-27 16:25:57
1319
原创 SonarQube svn: E170001
ERROR: Error during SonarQube Scanner executionjava.lang.IllegalStateException: Error when executing blame for file src/com/grgbanking/core/common/ApplicationConfig.javaat org.sonar.plugins.scm.sv
2016-03-10 09:58:26
6090
2
转载 linux常用的20条命令
玩过Linux的人都会知道，Linux中的命令的确是非常多，但是玩过Linux的人也从来不会因为Linux的命令如此之多而烦恼，因为我们只需要掌握我们最常用的命令就可以了。当然你也可以在使用时去找一下man，他会帮你解决不少的问题。然而每个人玩Linux的目的都不同，所以他们常用的命令也就差异非常大，而我主要是用Linux进行C/C++和shell程序编写的，所以常用到的命令可以就会跟一个管理Li
2016-03-07 17:26:30
352
原创 JAVA中值类型和引用类型的不同？
1、 JAVA中值类型和引用类型的不同？[定义] 引用类型表示你操作的数据是同一个，也就是说当你传一个参数给另一个方法时，你在另一个方法中改变这个变量的值，那么调用这个方法是传入的变量的值也将改变.值类型表示复制一个当前变量传给方法，当你在这个方法中改变这个变量的值时，最初生命的变量的值不会变.通俗说法: 值类型就是现金，要用直接用；引用类型是存折，要用还得先去银行
2015-12-11 15:31:21
117
原创 spring cache注解
@Cacheable：应用到读取数据的方法上，即可缓存的方法，如查找方法：先从缓存中读取，如果没有再调用方法获取数据，然后把数据添加到缓存中@CacheEvict：即应用到移除数据的方法上，如删除方法，调用方法时会从缓存中移除相应的数据@CachePut：应用到写数据的方法上，如新增/修改方法，调用方法时会自动把相应的数据放入缓存@Caching：上面三种注解配置方法时，一个方法只能使用三者之一。如
2015-12-09 22:50:14
105
原创 Ehcache 中ehcache.xml 配置详解
name:缓存名称maxElementsInMemory：缓存最大个数eternal:对象是否永久有效，一但设置了，timeout将不起作用timeToIdleSeconds：设置对象在失效前的允许闲置时间（单位：秒）。仅当eternal=false对象不是永久有效时使用，可选属性，默认值是0，也就是可闲置时间无穷大timeToLiveSeconds：设置对象在失效前允许存
2015-12-09 22:25:34
350
转载 深入剖析 redis 数据淘汰策略
概述在 redis 中，允许用户设置最大使用内存大小 server.maxmemory，在内存限定的情况下是很有用的。譬如，在一台 8G 机子上部署了 4 个 redis 服务点，每一个服务点分配 1.5G 的内存大小，减少内存紧张的情况，由此获取更为稳健的服务。redis 内存数据集大小上升到一定大小的时候，就会施行数据淘汰策略。redis 提供 6种数据淘汰策略：vol
2015-12-09 17:24:33
1707
转载 有限状态机编程
1. 概述 The intent of the STATE pattern is to distribute state-specific logic across classes that represent an object’s state. STATE 设计模式的目的 是：将特定状态相关的逻辑分散到一些类的状态类中。 2. 实例 旋转门： Consid
2015-12-05 23:38:54
337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人