- 博客(66)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pygraphviz win7安装报错解决
贴一下错误提示：Collecting pygraphvizUsing cached https://files.pythonhosted.org/packages/7e/b1/d6d849ddaf6f11036f9980d433f383d4c13d1ebcfc3cd09bc845bda7e433/pygraphviz-1.5.zipInstalling collected packages:...
2019-02-18 14:39:06
1770
1
转载 【漫谈数据仓库5】 如何优雅地设计数据分层
本文主要讲解数据仓库的一个重要环节：如何设计数据分层！其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶段，发现数据的使用杂乱无章，各种业务都是从原始数据直接计算而得。各种重复计算，严重浪费了计算资源，需要优化性能。
2018-10-29 20:54:28
756
转载 【漫谈数据仓库4】缓慢变化维度（SCD）
本文会分享数据仓库中和缓慢变化维度相关的内容。在看之前建议回顾一下和维度建模相关的知识点为什么会分享这个听起来很奇怪的东西？因为站在的笔者的视角中，只要是做数据仓库的小伙伴们，在工作中基本上都会接触和维度建模相关的内容，而谈到维度建模，就少不了会和维度表打交道。我们要谈的就是维度表相关的知识点。在正式开始之前，先解释一下什么是缓慢变化维度。笔者个人理解，缓慢变化维度其实就是指在维度表中那些会随着时间变化的字段，比如用户基本资料。注：缓慢是一个相对的概念。与缓慢变化的纬度相比，数据增长快速是事实表
2018-10-29 20:49:17
899
转载 【漫谈数据仓库3】 拉链表
全文由下面几个部分组成：1、先分享一下拉链表的用途、什么是拉链表。2、举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在 Hive 的大规模使用，我们会以 Hive 场景下的设计为例）。3、分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说明，比如说拉链表和流水表的区别。
2018-10-29 20:42:48
577
转载 【漫谈数据仓库2】维度建模
0x00 前言前一篇已经对常用的几种数据模型做了简单的介绍，本篇主要对其中最常用的维度建模做一个深入的理解。0x01 什么是维度建模维度模型是数据仓库领域另一位大师 Ralph Kimball 所倡导，他的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling，中文名《数据仓库工具箱》，是数据仓库工程领域最流行的...
2018-10-29 20:33:53
1798
转载 【漫谈数据仓库1】数据模型
本文引自 https://blog.csdn.net/zhaodedong/article/details/78647943 gitbook网速较慢，文章太好，忍不住重新整理。0x00 前言翻出来之前零零散散写的数据仓库的内容，重新修正整理成一个系列，此为第一篇《数据模型》。数据仓库包含的内容很多，比如系统架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hado...
2018-10-29 20:20:47
610
原创 sourceTree密码过期后重置密码问题
问题描述：有的时候公司要求一段时间内更换密码，密码更换后，sourcetree就pull代码失败，需要删除以前保存的密码才能继续正常使用。。。。 处理：C:\Users\用户\AppData\Local\Atlassian\SourceTree 删除passwd文件就可以重新输入账号密码了...
2018-08-13 09:26:07
5550
2
转载 ThreadLocal本地线程变量的理解
一般的Web应用划分为展现层、服务层和持久层三个层次，在不同的层中编写对应的逻辑，下层通过接口向上层开放功能调用。在一般情况下，从接收请求到返回响应所经过的所有程序调用都同属于一个线程。 也就是说，同一线程贯通N层，不同的线程可能由于参数等不同会对程序中的某些变量进行修改，但是又要防止修改后的值对其它线程产生影响，因为不同的线程可以同时运行滴，这就需要我们解决对某些线程共享的变量的访问...
2018-07-06 19:03:47
292
原创 idea安装maven依赖包分析工具
下载idea对应版本的安装包：https://plugins.jetbrains.com/plugin/7179-maven-helper 通过idea插件安装，选择下载后的安装包导入，重启idea即可
2018-06-27 16:34:18
4902
原创 github上日常用到的项目
spark: https://github.com/perwendel/spark https://github.com/perwendel/spark-kotlin https://github.com/cary-zhou/htpwdscan前端： https://github.com/jdorn/json-editor https://github.com/d3/d3 http...
2018-06-08 09:40:22
1086
翻译 Document api
文档的读写简介索引为了保证分布式，引入了分片的概念，而分片又分为主分片和副本分片。主分片是所有索引操作的入口，负责验证请求保证请求的正确性，一旦主分片接受了请求操作同时主分片也要负责把这些操作复制给副本分片。写文档模型主分片接收到请求后可以对请求验证并且转发请求到副本分片，由于有的副本可能掉线等情况，因此不需要转发给每个副本。master节点会维护一个副本集，叫做in-sync copies，这个集
2018-01-01 12:17:13
459
翻译 API约定与规范
多索引在查询语句可以指定一个索引或者多个索引，多个索引用“，”连接即可，elasticsearch也支持用通配符的方式指定多个索引，索引前缀加“-”表示把该索引排除：test1,test2,test3test*,-test3_all 表示所有的索引多索引api的url同时也支持以下参数：ignore_unavailable 取值为true/false 表示是否忽略不可用的索引（关闭的索引或者不
2017-12-31 15:25:46
522
翻译 搭建elasticsearch-学习笔记
linux下启动elasticsearch以守护进行启动elasticsearch： ./bin/elasticsearch -d -p pid可以通过进程id来关闭elasticsearch：kill ‘cat pid’ elasticsearch可以通过配置文件elasticsearch.yml进行设置，也可以在elasticsearch的启动命令行进行设置：./bin/elasticse
2017-12-30 21:40:15
592
翻译 elasticsearch开始之旅
Elasticsearch是一个开源的高可用全文本搜索和分析引擎，它可以快速（接近实时）的存、搜索和分析大量数据。elasticsearch常被用作后台技术引擎，用来增强应用复杂的搜索能力。 以下为几个elasticsearch的使用案例： ● 电商网站需要满足用户搜索售卖产品的需求，可以利用elasticsearch存储所有的商品目录、商品详情并提供搜索及建议。 ● 用于收集日志及交易数据并
2017-12-29 16:44:41
358
原创 elasticsearch_插件（head、bigdesk、marvel、cerebro）
1、bigdesk bigdesk目前支持es只能支持到1.3.x版本。 https://github.com/lukas-vlcek/bigdesk#how-to-use-bigdesk在github上找到一个版本，目前支持到es5.x。由于es5以后不支持插件形式安装，所以需要单独对bigdesk起服务。es2.x版本还是以插件的形式进行安装即可。（es安装目录添加plugins文件夹，
2017-11-30 11:23:05
3807
1
原创 通过代理安装pip，及scrapy安装报错记录
首先需要安装python环境， 运行命令：python get-pip.py 即可安装成功pip，如果需要用代理，可替换该命令为：python get-pip.py --proxy="[user:passwd@]proxy.server:port" pip管理包的问题 pip提供一系列命令，可以指定代理同时也可以指定镜像源 如：C:\Python27\Scripts>pip install -
2017-07-26 17:47:38
1270
原创 [kibana源码]增加菜单项
问题描述： 由于kibana与另外一个系统需要添加超链关系，因此需要在kibana系统设置菜单前面增加一个菜单项。源码讲解： kibana的系统菜单都是在kibana.js（src\plugins\kibana\public\kibana.js）中进行可配置的。.setTabs([ { id: 'discover', title: '检索' }, { id:
2017-05-13 10:14:23
3903
原创 linux下安装nodejs及linux下解压tar.xz文件
1、下载nodejs的安装包 2、解压该文件 在linux下，大部分情况下不能直接解压tar.xz的文件。 需要用xz -d xxx.tar.xz 将 xxx.tar.xz解压成 xxx.tar 然后，再用 tar xvf xxx.tar来解包3、修改/etc/profile文件 增加以下内容：#SET PATH FOR NODEJSexport NODE_HOME=/opt/node-v6
2017-05-11 14:49:59
15631
2
原创 angularjs-$http跨域访问报错的问题
在angularjs中实现$http的跨域访问，最好的方式是用jsonp的形式。1. 指定callback和回调函数名，函数名为JSON_CALLBACK时，会调用success回调函数，JSON_CALLBACK必须全为大写。2. 指定其它回调函数，但必须是定义在window下的全局函数。url中必须加上callback。实现：方法一：$http.jsonp("http://localhost/
2017-05-09 19:38:03
2129
原创 elasticsearch-logstash-kibana中文文档
gitbook：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details baidu：http://pan.baidu.com/s/1gfsY9qV
2017-04-19 18:39:38
1720
原创 windows下kibana源码用dev模式启动，出现403 forbidden问题
这个问题在kibana-4.6的开发者文档中没有描述，但是在5.0中有描述 运行的命令 npm run start需要在gitbash下运行或直接运行 ./bin/kibana --dev 命令至于为何出现这种情况，不清楚，期望大神告之！！ github问题页：https://github.com/elastic/kibana/issues/10093 github 开发者文档：ht
2017-04-18 17:01:04
2164
原创 npm install报错--error MSB4019: The imported project "E:\Microsoft.Cpp.Default.props" was not found
总共遇到两个错误，先贴两个错误的信息：E:\webstorm\kibana\node_modules\bcrypt>if not defined npm_config_node_gyp (node "D:\Program Files\nodejs\node_modules\npm\bin\node-gyp-bin\\..\..\node_modules\node-gyp\bin\node-gyp.j
2017-04-18 14:54:59
23161
1
原创 kibana启动--nohup在关闭终端后无效&&守护进程详解
进程讲解：在linux中用户启动一个任务，退出终端（session）后，这个任务不会转变成后台任务，这个问题会困扰很多人，这主要跟I/O、session、SIGHUP等有关。详细内容参考阮一峰老师的博客：http://www.ruanyifeng.com/blog/2016/02/linux-daemon.htmlkibana nohup启动方式 在nohup启动kibana后，不要直接关闭掉sh
2017-04-15 15:20:51
7881
1
转载 nvm、nrm在wondons下的安装和使用方法
attention： 本文为转载，想看漂亮的排版请移步：http://blog.csdn.net/tyro_java/article/details/51232458nodejs 是什么？Node.js® is a JavaScript runtime built on Chrome’s V8 JavaScript engine. Node.js uses an e
2017-04-15 14:53:20
1691
原创 npm的常用命令（更新依赖、删除依赖等）
参考：http://blog.csdn.net/haidaochen/article/details/8546796 常用命令：http://blog.csdn.net/haidaochen/article/details/8546796 npm官方文档：https://docs.npmjs.com/
2017-04-15 14:37:14
36489
原创 node-sass 安装报错解决办法
E:\kibana>npm install node-sass> [email protected] install E:\kibana\node_modules\node-sass> node scripts/install.jsCannot download "https://github.com/sass/node-sass/releases/download/v3.8.0/win32-x64
2017-04-15 14:34:25
70315
11
原创 nodejs、git、cmd、npm、pip设置代理方式及仓库配置
npm设置代理的语句： npm config set proxy http://proxy.company.com:8080 npm config set https-proxy http://proxy.company.com:8080npm删除代理 npm config delete proxy npm config delete https-proxy 其它详细参数：https://
2017-04-15 10:42:43
2357
转载 kibana源码开发教程（github）
If you have a bugfix or new feature that you would like to contribute to Kibana, please find or open an issue about it before you start working on it. Talk about what you would like to do. It may be th
2017-04-13 10:51:01
8731
原创 npm ERR! git submodule -q update --init --recursive: fatal: unable to connect to github.com:
主要原因是，没有设置git的代理，无法发起git协议的请求 需要用insteadof进行替换 https://github.com/npm/npm/issues/6285 http://www.cnblogs.com/zhcncn/p/3681209.html http://stackoverflow.com/questions/16298986/unable-to-connect
2017-04-10 17:00:51
5440
原创 【kibana源码解析】--nodejs中的commander模块
在kibana中用到了commander模块，在文献引用中已经介绍的很详细了，只对疑惑的地方进行详细记录：先上简单代码：var program = require('commander');program .version('0.0.1') .option('-p, --peppers', 'Add peppers') .option('-P, --pine
2017-03-30 21:05:36
1297
转载 仅CSS实现的加载动画 – Loader.css
当网页的页面大小较大，用户加载可能需要较长的时间，在这些情况下，我们一般会用到（加载）loading动画，提示于用户页面在加载中，这些UX常识我想很多设计师都懂，但做一个GIF动画有点麻烦，为了方便，看看今天分享的Loader.css，仅用CSS样式就能实现一个loading动画效果。CSS实现的加载动画 - Loader.css 当前有35个动画效果，所以选择还是挺多的。loaders-demo
2017-03-30 10:46:05
993
原创 【kibana源码解析】-src/optimize/babelOptions.js
该js文件代码行数不多，主要是设置配置参数，用于babel（nodejs的一个模块，用于编译js）。 代码：var fromRoot = require('path').resolve.bind(null, __dirname, '../../');path为nodejs的一个原生模块，用于处理文件路径。bind（）是js中提供的一个方法。bind会生成一个新的函数，这个函数只有在调用的
2017-03-30 10:11:02
1354
1
原创 【kibana源码解析】-src/cli/cli.js
这个js的基本功能应该只是命令行启动 js代码如下：'use strict';var _ = require('lodash');var utils = require('requirefrom')('src/utils');var pkg = utils('packageJson');var Command = require('./Command');var argv
2017-03-28 10:19:51
1810
原创 【kibana源码解析】之启动脚本
@echo offSETLOCALset SCRIPT_DIR=%~dp0for %%I in ("%SCRIPT_DIR%..") do set DIR=%%~dpfIset NODE=%DIR%\node\node.exeWHERE /Q nodeIF %ERRORLEVEL% EQU 0 ( for /f "delims=" %%i in ('WHERE node') do set S
2017-03-27 19:57:56
3209
原创 基于风险数据项目对kibana-4.5源码分析和改造
最近成立了数据项目，需要对风险数据提供灵活的数据查询展示页面，提供对数据的分析、统计展示等可视化功能。由于直接数据源主要存在于elasticsearch和druid，并且kibana作为一款优秀的可视化系统，值得我去借鉴和学习。因此决定用bootstrap + angularjs + kibana + java + mysql实现基于大数据业务的风险数据管理系统。通过大数据手段能够对风险数据进行准实
2017-03-27 19:18:16
1934
3
原创 logstash kafka多台机器取数据，只有一个实例消费【logstash2.3.4】
描述：首先kafka的partition数量为6，多台logstash服务机器的topic相同并且groupId也相同。当分别启动机器时，只有一台机器在消费kafka数据，并且总是最后启动的那台在消费。修改了zk时间等各种kafka配置均没有效果，最后不得不看ruby源码了。感觉kakfa的代码写的还是有点问题的。首先介绍logstash的input-kafka模块的代码结构kafka.rb --
2016-10-31 16:43:46
5055
4
原创 elasticsearch配置mapping时，对所有的type有效
在elasticsearch中一个index下面会有很多的type，在一个项目中type的数量未知，所以在建立template的时候需要mapping不指定type（对所有的type有效） 因此需要用到_default_字段：PUT /my_index{"mappings": { "_default_": { "properties": {
2016-09-27 14:18:14
6683
原创 elasticsearch2.4项目JBOSS启动后遇到的java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLOW问题探究
该项目在tomcat环境下启动完全正常，可是放到jboss中启动，在执行execute（）方法时，总是报错，错误如下：ERROR [io.undertow.request] (default task-7) UT005023: Exception handling request to /riskcontroll-admin/monitor/monitorList.htm: org.springfr
2016-09-25 13:07:28
4980
原创 logstash利用ruby语言写复杂的处理逻辑
在应用中，需要对logstash读取的数据进行字符判断、字符串截取等操作。同时也需要用到正则表达式对某些匹配字符进行替换。 直接上配置文件逻辑：input{ stdin{ # codec=>rubydebug }}filter{# codec=>rubydebug mutate{ split=>["message"," "] add_
2016-09-21 16:21:32
18966
1
原创 logstash对于String类型的时间转成long
在工作中，遇到传过来的是时间字符串yyyy-MM-dd HH:mm:ss，用到logstash时需要先把这种时间转换成long，然后进行存储操作。 上config代码：input{ stdin{ # codec=>rubydebug }}filter{# codec=>rubydebug mutate{ split=>["message"," "]
2016-09-20 15:59:05
5335
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人