2 bigdataf

尚未进行身份认证

暂无相关描述

等级
TA的排名 7w+

压力测试工具

1.siegea.安装$wgethttp://download.joedog.org/siege/siege-latest.tar.gz$tar-xvfsiege-latest.tar.gz$cdsiege-4.0.4/$./configure$make&&makeinstallb.使用$siege-c10(10个线程)-t10s...

2019-02-20 11:47:32

git

1.远程与本地冲突gitpulloriginerror:Yourlocalchangestothefollowingfileswouldbeoverwrittenbymerge:recallctr-topology.imlsrc/main/java/com/wifi/recall/factorctr/DocMatrixCounte...

2019-02-18 19:55:51

opentsdb加kerberos认证

1.编辑启动脚本catstart_tsdb.shOPENTSDB_HOME=/data/opentsdbJVMARGS="${JVMARGS}-Djava.security.auth.login.config=${OPENTSDB_HOME}/jaas.conf-Dzookeeper.sasl.client=false"./tsdbtsd--config=${OPENTSDB_...

2019-02-15 11:42:37

flink 学习笔记资料

1.https://blog.csdn.net/yanghua_kobe/article/category/61705732.http://www.54tianzhisheng.cn/tags/Flink/3.https://blog.csdn.net/liguohuabigdata/article/category/72790204.http://wuchong.me/5.https:/...

2019-01-02 10:40:39

hbase 数据迁移

#!/bin/bash#hbaseorg.apache.hadoop.hbase.mapreduce.Import-Dimport.wal.durability=SKIP_WALnamespace:tablename/user/tjoffline/hbase_export_tablename/#hbaseorg.apache.hadoop.hbase.mapreduce.Impor...

2018-12-27 18:32:29

hbase Filter使用

背景昨天同事反馈hbase查询返回无数据了,查了下返回RowTooBigEXcepiton,初步看是value过大导致?以为是有异常数据写入,我们hbase设计上一个列族,然后对应每个时间分片会通过动态列会记录时间分片类的数据指标,每天查询的时候通过rowkey+时间窗户,get返回对应的指标,分析初步分析,有数据异常,某个value值过大,因为默认value值的大小是1G...

2018-11-01 19:03:47

hbase-2.1.0 源码阅读-2

接着上篇我们看看在hmaster//hbase继承自HRegionServerpublicclassHMasterextendsHRegionServerimplementsMasterServices//HRegionServer继承自HasThreadpublicclassHRegionServerextendsHasThreadimplements...

2018-10-15 19:57:31

hbase-2.1.0 源码阅读

1.Hmaster启动用了这么久的hbase,今天开始着手hbase方面的源码阅读2.1.0版本刚发布不久,是Hbase2.x系列的第二次版本。旨在提高HBase的稳定性和可靠性,主要更新内容如下:基于Procedurev2的复制对等修改串行复制最小Hadoop版本已更改为2.7.1成功完成从1.4.3到2.1.0的滚动升级,这表明可以从1.x滚动升级到...

2018-10-11 15:50:59

hive 使用技巧

1.抽样从一个表中随机抽样得到一个不重复的数据样本,随机取样SELECT*FROM<Table_Name>DISTRIBUTEBYRAND()SORTBYRAND()LIMIT;这是使用RAND()函数和LIMIT关键字来获取样例数据。使用DISTRIBUTE和SORT关键字来保证数据是随机分散到mapper和reducer的。ORDERBY...

2018-10-10 12:06:45

hive如何使用json格式的数据

查看当前hive支持的json函数showfunctionslike"*json*";OKget_json_objectjson_tupleTimetaken:0.006seconds,Fetched:2row(s)get_json_objectdescribefunctionget_json_object;OKget_json_object...

2018-09-26 14:12:09

Java 快速排序

Java快速排序https://arxiv.org/pdf/1511.01138.pdf

2018-09-18 13:17:05

python 消费 kafka 数据

1.安装python模块pipinstall--userkafka-python==1.4.3如果报错压缩相关的错尝试安装下面的依赖yuminstallsnappy-develyuminstalllz4-develpipinstallpython-snappypipinstalllz42.生产者#!/usr/bin/envpython...

2018-09-11 16:53:58

mac python 多版本管理

https://youjiexia.github.io/2017/05/01/Installing-Python27-and-Python36-Concurrently/

2018-08-20 17:03:12

opentsdb+hbase+grafana

hbase监控https://blog.bcmeng.com/post/hbase-monitor.htmlhttp://www.54tianzhisheng.cn/2017/10/21/HBase-metrics/grafana1.表的读写qpshbasemetrichbase.regionserver.regions.readRequestCount/writeRe...

2018-08-03 15:54:42

python 操作hive pyhs2

使用kerberos时importpyhs2classHiveClient:#初始化def__init__(self,db_host,user,password,database,port=10000,authMechanism="PLAIN",configuration=None):self.conn=pyhs2.conne...

2018-07-25 18:17:37

kylin 新版 dashbard 功能开启

1.在kylin.properties中将一下配置开启kylin.server.query-metrics2-enabled=truekylin.metrics.reporter-query-enabled=truekylin.metrics.reporter-job-enabled=truekylin.metrics.monitor-enabled=truekylin.web...

2018-07-17 20:18:35

cassandra 笔记

数据迁移第一次使用cassandra,笔记一下,业务迁移,有两列数据没有迁移到新平台,特此实验,研究一下查看dbDESCRIBEKEYSPACE查看表DESCRIBETABLES查看表信息DESCRIBEtablename创建测试表CREATETABLEtest.cl_test(idintPRIMARYKEY,...

2018-07-12 17:22:07

idea中git的使用

1.将项目添加到git中

2018-05-24 10:32:11

hive1.2.1 分区表 增加列显示为null 问题

1.问题hive中增加字段发现之后之后添加的数据正常,之前数据无法读取问题修复:查找hive元数据的分区字段边SDSMySQL[hive]>SELECT*FROMSDSWHERElocationLIKE'%video_test%';+--------+-------+----------------------------------------...

2018-04-26 13:54:20

kylin 开源可视化工具 superset使用

superset+kylin1.superset和kylin连接问题使用kylinpypipinstallkylinpy在kylin.py增加解决下拉列表问题@compact_response()deflist_schemas(self):table_schemas=[t['table_SCHEM']fortinsel...

2018-03-31 14:21:32

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!