- 博客(66)
- 收藏
- 关注
RSS订阅原创 Dynamic CRM 创建WebService接口供其它系统调用
由于MSCRM的异构性和封闭性，许多其它的平台无法直接调用MSCRM提供的API接口，一般的处理方式是用.net编写webservice，通过中间这一层转换来使其它系统调用我们自己编写的webservice.下面演示如何开发可调用MSCRM2013 API的webservice。主要步骤： 新建asp.net web项目编写代码验证服务生成项目，并将相关文件拷贝到CRM...
2018-09-12 16:33:00
916
原创 对ArrayList按照某个属性进行分组
public class SkuVo { private Long skuId; private String productName; private Long brandStoreSn; public SkuVo(Long skuId, String productName, Long brandStoreSn) { ...
2018-09-07 10:30:07
428
原创 maven添加sqlserver的jdbc驱动包
maven添加sqlserver的jdbc驱动包jdbc.jar download url->http://pan.baidu.com/s/1hrEhdti通过maven命令将jar包安装到本地。 在有sqljdbc4.jar包的文件夹下，通过shift+右键的方式--》此处打开命令窗口，然后执行以下maven命令 mvn install:install-file...
2018-09-04 17:20:12
329
原创 Spring boot 常见错误
从spring-boot官网上看的例子，自己试着写了一个 返回name和id的小接口，一开始访问http://localhost:8080/getPerson 报错 : Whitelabel Error Page This application has no explicit mapping for /error, so you are seeing this as a fal...
2018-08-24 09:44:50
247
原创 Linux 平台安装R 和 Rserver
Linux centos7 yum安装R yum install R Linux centos7 yum安装Rstudio:wget https://download2.rstudio.org/rstudio-server-rhel-1.1.456-x86_64.rpmyum install rstudio-server-rhel-1.1.456-x86_64....
2018-08-22 17:23:58
678
原创 TPC-H数据生成
TPC-H 基准测试是由 TPC-D发展而来的。TPC-H 用 3NF 实现了一个数据仓库, 用于商业智能计算测试。可从http://www.tpc.org/tpch/中下载tpch_2_14_0.zip ，放入Linux 环境目录下。解压缩unzip tpch_2_14_0.zip, 在生成的文件 cp makefile.suite makefile , 编辑vi makefile ...
2018-08-15 13:46:30
395
原创 HANA常用CE FUNCTION
注意：以下代码中的数据表来自TPC-H生成的数据表 --1.CE_COLUMN_TABLE 这个函数使用一个已经存在的列存储表格作为数据源，选取其全部或者部分列，返回相应内容绑定到一个表变量上。-- 注意：TT_CUSTOMER 为创建的表类型create type TT_CUSTOMER as table( C_CUSTKEY integer, C_NAME...
2018-08-15 11:30:08
607
原创 TPC-H数据导入MySQL教程
0. TPC-H是啥TPC-H是TPC提供的一个benchmark，用来模拟一个现实中的商业应用，可以生成一堆虚构的数据，且自带一些查询，可以导入到各种数据库中来模拟现实需求，检查性能。具体是怎样的数据见：http://www.tpc.org/tpch/spec/tpch2.16.0.pdf1. 获取文件首先到官网 http://www.tpc.org/tpch/ 在右边的 DB...
2018-07-24 17:00:02
479
原创 Eclipse 安装SAP HANA数据库插件
对于Eclipse Oxygen，请添加URL https://tools.hana.ondemand.com/oxygen对于Eclipse luna，请添加URL https://tools.hana.ondemand.com/luna对于Eclipse luna，请添加URL https://tools.hana.ondemand.com/kepler...
2018-07-24 11:26:07
1766
原创 Spring+Spring MVC+Mybatis整合配置AOP不生效的解决方案以及Bean初始化重复加载两次(疑难杂症)...
之前上班做spring+spring mvc +hibernate开发， 2年之久不做想复习一下aop的使用，结果配置遇见aop不生效，解决而记录！ 先上代码直接看反例效果会明显：首先看一下我的代码的包路径：接下来看Spring-MVC的配置文件部分代码: <?xml version="1.0" encoding="UTF-8"?>...
2018-07-20 11:43:41
467
原创 spring定时任务执行两次的原因与解决方法
最近遇到一个比较棘手的问题，由于场景需要，每天晚上11点执行一个定时任务，我用的是spring的定时器，具体的定时任务相关配置和代码如下，没啥毛病。。。直接上代码：1、项目下的配置文件servlet-context.xml <?xml version="1.0" encoding="UTF-8"?> <beans:bean...
2018-07-19 11:25:47
355
原创 windows 备份oracle 数据库脚本
@echo off echo ================================================ echo Windows环境下Oracle数据库的自动备份脚本echo 1. 使用当前日期命名备份文件。echo 2. 自动删除7天前的备份。echo ==============================================...
2018-07-04 11:37:00
125
原创 中国地区
create table Provincial(pid int,Provincial varchar(50),primary key (pid));insert into Provincial values(1,'北京市');insert into Provincial values(2,'天津市');insert into Provincial values(3,...
2018-06-13 16:38:24
120
原创 拷贝到hive路径下的文件查询出来全部为NULL
hive导入数据成功，但是查询结果为NULL，且未报错这是因为创建表格时没有对导入的数据格式没有处理，比如每行数据以tab键隔开，以换行键结尾，就要以如下语句创建表格：CREATE TABLE users(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n' ...
2018-06-13 10:44:16
414
原创 kettle 显示中文乱码问题解决方案
数据库的字符集等全都设置成了utf8，但是kettle做数据库查询时，显示出来的数据却是乱码。 根据网上查的设置characterEncoding=utf8，和set names utf8;都没有用。 最后，用ue打开spoon.bat，在if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTION...
2018-06-12 15:48:52
9720
3
原创 数据仓库分层架构
数据仓库分层的原因1通过数据预处理提高效率，因为预处理，所以会存在冗余数据2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了 标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）ods：历史存储层，它和源系统数据是同构的，而且这一层数...
2018-06-12 14:37:52
381
原创 linux 添加链接与删除链接（ln命令的用法）
linux下添加链接与删除链接（ln命令的用法）添加链接使用ln命令用法：＃ln --help用法：ln [选项]... 目标 [链接名]或：ln [选项]... 目标... 目录或：ln [选项]... --target-directory=目录 目标...创建连至指定<目标>的链接，并可选择性指定<链接名>。如果没有指定<链接名>，会在目前的目录中...
2018-06-06 15:28:13
307
原创 KAFKA重新安装注意的问题
删除所有机器上的kafka应用 yum remove -y kafka*删除kafka相关文件rm -rf /kafka-logs/ --kafka topic存储路径rm -rf /etc/kafka rm -rf /var/log/kafkarm -rf /var/run/kafka/Kafka Broker 其他节点添加失败：kafka broker Socket se...
2018-06-06 11:19:59
1855
原创 ambari卸载所有服务组件
一、停止ambari-server ambari-server stop 二、删除所有已注册的主机 yum remove ambari-agentyum remove ambari-server 三、删除已安装的服务组件 yum remove -y hive*yum remove -y hbase*yum remove ...
2018-06-05 15:54:15
1718
原创 KAFKA
Kafka核心组件 Topic：消息根据Topic进行归类，可以理解为一个队里。 Producer：消息生产者，就是向kafka broker发消息的客户端。 Consumer：消息消费者，向kafka broker取消息的客户端。 broker：每个kafka实例(server)，一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多个t...
2018-06-05 09:50:17
91
原创 构建企业级数据仓库的五步法
一. 确定主题 即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑. 二. 确定量度 确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供...
2018-06-04 17:03:22
151
原创 查看HADOOP中一个文件有多少块组成及所在机器ip
看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息，-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置，-rack...
2018-06-01 11:19:02
607
原创 解决webhdfs 访问认证问题
添加kerberos开启认证后在浏览中访问webhdfs 要求输入用户名密码或认证失败如下图： 1.在服务器端初始化keytabkinit -k -t /etc/security/keytabs/spnego.service.keytab HTTP/[email protected] 2.使用火狐浏览器输入about:config打开 找到network.negoti...
2018-05-31 14:56:48
4779
2
原创 Kerberos之后 storm UI
storm /usr/hdp/current/storm-nimbus/contrib/storm-jmxetric/ 报错无法打开jar包解决方法： 把附件中storm-jmxetric包替换原来的即可 解决集群开启Kerberos之后 storm UI在本地无法打开的问题 1.使用火狐浏览器打开 2.在服务器端打开初始化keytab kin...
2018-05-31 14:40:50
409
原创 hdfs,hive,hbase,与kerberos的java操作
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hado...
2018-05-30 15:36:17
141
原创 java 访问 kerberos hdfs
先从服务上下载krb5.conf和keytab文件到本地目录中package java调用kerberostohdfs;import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hado...
2018-05-30 14:44:04
552
原创 ranger ha
1、Ranger5.1 先决条件（1）将keystore/truststore文件（/etc/security/serverKeys）复制到其他位置（例如/etc/<component>/conf）。（2）确保JKS文件名是唯一的。（3）确保应用了正确的权限。（4）确保密码是安全的5.2 配置Ranger Admin HA（无SSL）（1）使用A...
2018-05-25 11:09:06
379
原创 YARN的架构及原理
YARN产生背景 a）JobTracker单点故障 b）JobTracker承受的访问压力大，影响系统的扩展性 c）不支持MapReduce之外的计算框架，比如storm、spark、flink什么是YARN YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManag...
2018-05-25 10:50:11
244
原创 HDFS高可用架构
在Hadoop1.x版本的时候，Namenode存在着单点失效的问题。如果namenode失效了，那么所有的基于HDFS的客户端——包括MapReduce作业均无法读，写或列文件，因为namenode是唯一存储元数据与文件到数据块映射的地方。而从一个失效的namenode中恢复的步骤繁多，系统恢复时间太长，也会影响到日常的维护。Hadoop的2.x版本在HDFS中增加了对高可用性的支持来解决...
2018-05-25 10:43:33
211
原创 HDFS写入与读取流程
HDFS写入数据流程解析那么问题来了，如果他们之间的一个datanode突然坏掉了怎么办。1、如果传输过程中，有某个datanode出现了故障，那么当前的pipeline会被关闭，出现故障的datanode会从当前的pipeline中移除，剩余的block会继续剩下的datanode中继续以pipeline的形式传输，同时Namenode会分配一个新的datanode，保持rep...
2018-05-24 10:33:57
550
原创 HBase namespace
HBase系统默认定义了两个缺省的namespacehbase：系统内建表，包括namespace和meta表default：用户建表时未指定namespace的表都创建在此创建namespace hbase>create_namespace 'ai_ns' 删除namespacehbase>drop_namespace 'ai_n...
2018-05-24 09:38:25
157
原创 kerberos 简介
1.1 What is Kerberos1.1.1 简单介绍 Kerberos是一个用于鉴定身份（authentication）的协议， 它采取对称密钥加密（symmetric-key cryptography），这意味着密钥不会在网络上传输。在Kerberos中，未加密的密码（unencrypted password）不会在网络上传输，因此攻击者无法通过嗅探网络来偷取用户的密码。 ...
2018-05-23 09:14:58
228
原创 ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)...
一、ranger权限管理安装 ranger安装参考：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html 二、rang kms 秘钥管理安装 ranger kms安装参考：https://docs.hortonwo...
2018-05-17 10:31:33
2602
原创 Apache ranger 简介、原理、安装部署
Apache ranger 简介、原理、安装部署一、Ranger简介Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。二、Ranger支持服务或组件Ranger支持的服务有...
2018-05-15 10:57:58
1025
原创 mysql、oracle AES 加密
一、mysql 数据加密AES加密解密 AES-128-ECB加密 SELECT TO_BASE64(AES_ENCRYPT('ABC','1234567890123456')); SELECT AES_DECRYPT(FROM_BASE64('y6Ss+zCYObpCbgfWfyNWTw==') ,'1234567890123456') ; -- ...
2018-05-04 15:03:12
1023
原创 java使用AES加密解密 AES-128-ECB加密
java使用AES加密解密 AES-128-ECB加密,HIVE中的加密函数使用的也是AES-128-ECB加密加入maven 包<dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId>...
2018-05-04 13:55:25
2288
原创 关于时间的查询，比如本月，本年，本季度
-- mysql查询本季度-- 今天select * from ticket_order_detail where to_days(use_time) = to_days(now());-- 7天SELECT *FROM ticket_order_detail where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date( use_t...
2018-03-21 09:41:27
131
原创 mysql生成日期维度表sql
CREATE TABLE `dim_day` ( `DAY_ID` varchar(10) NOT NULL, `DAY_SHORT_DESC` varchar(14) DEFAULT NULL, `DAY_LONG_DESC` varchar(100) DEFAULT NULL, `WEEK_ID` varchar(100) DEFAULT NULL, `WEE...
2018-03-08 11:06:14
1758
原创 中国省市区--地区SQL表
SET FOREIGN_KEY_CHECKS=0; -- ------------------------------ Table structure for rc_district-- ----------------------------DROP TABLE IF EXISTS `rc_district`;CREATE TABLE `rc_district` (...
2018-02-28 09:47:01
393
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人