12 tianlianchao1982

尚未进行身份认证

我要认证

BI中的Intelligence不是专家系统中的智能概念,也不是机器智能的那种富有人脑能力的学习功能。这里的智能是指商业智能,就是说B和I不能分开谈的。商业智能,是为人(决策者)更方便,更快捷,更准确地提供决策信息,指导商业运作。那么ERP系统就不能提供这些信息吗?当然能,因为BI的数据来源就是ERP这样的业务系统,信息都在这些系统之中。但是普通业务系统能方便,快捷地提供数据吗?答案是否定的,为什么?因为这些业务系统的数据组织形式不是从用户看数据的角度设计的,而是从数据收集,数据操作的角度来设计

等级
TA的排名 2k+

SPARK数据类型SPARSEMATRIX 解释

parseMatrixSpark的mllib包中提供了机器学习的两种基本数据类型: DenseMatrix(稠密)和 SparseMatrix(稀疏),在初始化对象的时候可以使用Matrices伴生对象产生,先看下示例代码:import org.apache.spark.mllib.linalg.{Matrix, Matrices}// Create a dense matrix ((1.0, 2.0), (3.0, 4.0), (5.0, 6.0))val dm: Matrix = Mat

2020-07-11 14:22:04

Elasticsearch地理位置总结

更多内容请参考 :https://www.felayman.com翻译版本:https://es.xiaoleilu.com/310_Geopoints/00_Intro.html官方原文:https://www.elastic.co/guide/en/elasticsearch/guide/current/geoloc.html本文只是针对这些内容通过具体的例子用java来实现其具体细节,如果只想看java实现部分,请直接往下面代码实现部分看地理坐标点(geo-point) 是指地球表面...

2020-07-08 13:28:06

elasticsearch多磁盘扩容

1、问题由于早前elasticsearch集群数据存储路径只配置了一个,所以某天磁盘突然爆满,集群差点当机。需重新配置多路径存储路径,因为在生产环境,得保证集群不死掉,只能一台一台配置重启。2、修改配置文件修改elasticsearch.yml中path.data属性,添加多路径以逗号分隔path.data : /opt/data1,/opt/data23、查看集群状态curl -XGET "http://xxxx:9200/_cat/indices"curl -XGET.

2020-07-06 18:49:51

HDFS数据平衡:节点间平衡与节点内平衡

前面某篇文章已经说过,HDFS容易发生数据不平衡的问题。这其中包括各个DataNode之间存储的数据量差异,以及一个DataNode内部各磁盘之间存储的数据量差异。HDFS专门提供了对应的机制来解决。节点间平衡:BalancerCDH在HDFS中提供了Balancer角色,使我们可以免于用命令行执行start-balancer.sh来手动配置。Cloudera Manager里与Balancer有关的配置项有以下这些。Balancing Threshold:Balancer平衡的阈值。平衡过程结

2020-07-04 14:45:47

Linux下su与su -命令的区别

在启动服务器ntpd服务时遇到一个问题使用 su root 切换到root用户后,不可以使用service命令;使用 su - 后,就可以使用service命令了。原因:su命令和su -命令区别就是:su只是切换了root身份,但Shell环境仍然是普通用户的Shell;而su -连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误,报command not found的错误。su切换成root用户以后,pwd一下,发现工作

2020-07-01 14:37:21

如何解决Greenplum master node与seg node元数据不一致,greenplumseg

作为分布式数据库,Greenplum的元数据经常(是真的,经常遇到)会出现些错误,典型的一个是master node与seg node元数据不一致,本文结合一个具体错误,介绍下解决的办法。现象使用gpcheckcat -p 5432 databasename检查数据库时,将报出类似如下的输出:Relation oid: 12345678Relation name: ns1.table1 Name of test which found this issue: missing_ext

2020-07-01 13:58:20

Greenplum获取表结构

最近在折腾greenplum,遇到一个蛋疼的问题,那就是获取表结构,也就是建表语句。大家都知道在MySQL里面是非常easy的,show create table table_name 就搞定了,在gpdb里面就没这么容易,在查询大量资料以后终于找到了方法。那就是自己定义一个函数去获取,函数中可以嵌套python代码,非常的方便。但是资料中的代码有大量错误,在经过几番调试以后终于可以使用了。如果没有这个函数其实也可以获取表结构,那就是只能导出这个表的结构进行查看了。导出表结构的命令是:pg_dum

2020-06-30 18:40:03

Idea快捷键大全(Windows)

Ctrl快捷键 介绍Ctrl + F 在当前文件进行文本查找 (必备)Ctrl + R 在当前文件进行文本替换 (必备)Ctrl + Z 撤销 (必备)Ctrl + Y 删除光标所在行 或 删除选中的行 (必备)Ctrl + X 剪切光标所在行 或 剪切选择内容Ctrl + C 复制光标所在行 或 复制选择内容Ctrl + D 复制光标所在行 或 复制选择内容,并把复制内容插入光标位置下面 (必备)Ctrl + W 递进式选择代码块。可...

2020-05-15 09:21:27

jdbc 调用 sql server 的存储过程时“该语句没有返回结果集”的解决方法

解决方法:在存储过程首行加上SET NOCOUNT ON

2020-05-14 19:35:14

安装elasticdump

1 下载node-v8.17.0-linux-x642、上传到 linux3、解压tar xvf node-v8.17.0-linux-x64.tar.gz4、转移文件cp -r node-v8.17.0-linux-x64 /home/node/5、设置环境变量 vi/etc/profileexport NODE_HOME=/home/node/node-v8.17.0...

2020-04-08 19:10:30

杀死GP进程

SELECT datname,procpid,query_start, current_query,waiting,client_addr FROM pg_stat_activitySELECT pg_cancel_backend(73741)

2020-03-23 15:48:06

查看GP空间

select table_schema,table_name,sz,cast (cast(substring(sz,1,length(sz)-3) as decimal(18,2))*(case when sz like '%k%' then power(10,-13)when sz like '%M%' then power(10,0)when sz like '%G%' then ...

2020-03-23 14:11:22

mysql 随机分页的优化

SET @a=(SELECT FLOOR(RAND() *(SELECT COUNT(*) FROM table_a)/10000)); # 取随机页SELECT b.*FROM( SELECT recordid FROM ( SELECT recordid FROM table_a LIMIT @a,10000 # 取随机页...

2019-12-04 10:16:52

elasticsearch中如何高效的使用filter

这里有一篇很好的文章,很不错,翻译和整理了一下,英文不错的,建议直接看原文:http://euphonious-intuition.com/2013/05/all-about-elasticsearch-filter-bitsets/elasticsearch里面有BOOLfilter、AND、OR、NOTfilter,这几个看起来很相似,都有什么区别呢?什么时候用boolfilter?什...

2019-05-16 18:22:53

SQLServer changtracking 增量获取

select(case CT.sys_change_operation when 'I' then 'INSERT' when 'U' then 'UPDATE' when 'D' then 'DELETE' end) as rowtype,CT.sys_change_version as rowVersion,CT.主键from( select 主键,max(sy...

2019-03-25 10:20:38

基于storm的实时计算应用实践

有赞使用storm已经有将近3年时间,稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务,对数据准确性、性能等方面都有较高要求,也是上线时间最久的一个实时计算应用。通过订单实时统计,描述使用storm时,遇到的准确性、性能、可靠性等方面的问题。订单实时统计的演进第一版:流程走通在使用storm之前,显示实时统计数据一般有两种方案:在数据库里执行count、sum...

2018-06-06 09:44:58

varbin2hexstr

CREATE function varbin2hexstr( @bin varbinary(8000) )returns varchar(8000) as begin declare @re varchar(8000),@i int select @re='',@i=datalength(@bin) while @i>

2017-12-12 15:50:05

IP 数字 互转 SQL server

ALTER FUNCTION [dbo].[f_Int2IP](@IP bigint)RETURNS varchar(16)ASBEGIN    DECLARE @re varchar(16)    SET @re=''    SELECT @re=@re+'.'+CAST(@IP/ID as varchar)        ,@IP=@IP%ID    fro

2017-11-21 14:23:21

kettle 禁止空白字符串转换为NULL值

在C:\Users\用户名\.kettle目录中找到kettle.properties文件,增加:KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y

2017-09-04 14:01:41

mysql 查找数据库里面字段的id是否存在 可以限定表和字段

DELIMITER $$USE `awebprice`$$DROP PROCEDURE IF EXISTS `p_search_value`$$CREATE DEFINER=`dbn_admin`@`%` PROCEDURE `p_search_value`(IN p_value VARCHAR(255),IN p_tablelike VARCHAR(2

2017-08-15 16:18:27

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。