- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Inceptor JDBC 连接案例程序
Java 连接Inceptor 方法如下PS：需要提前向工程中导入Inceptor 访问驱动import java.sql.*;public class JDBCExample { //Hive2 Driver class name private static String driverName = "org.apache.hive.jdbc.HiveDriver"; ...
2019-01-18 16:57:39
4213
1
原创 Linux系统监控命令
工作使用的命令小记，拿去挥霍监视系统状态命令—top命令 功能：实时显示系统中各个进程的资源占用状况 —free命令 功能：查看内存和swap分区使用情况 例如： Sarge:~# free -tm total used free shared buffers cached Mem: 187 42 145 0 6 16 -/+ buffers/cache: 19 ...
2019-01-18 16:42:36
384
原创 Kafka+Slipstream实现网站实时点击统计
实验目的掌握StreamSQL的基本用法。掌握Slipstream流处理的基本过程。理解输入流表、衍生流表、结果表和流任务的关系。
2019-01-18 16:35:02
639
原创 TDH Inceptor 操作实战案例之 验证ACID
验证Inceptor ACID 原子性，一致性，隔离性 1 创建普通ORCset transaction.type=inceptor;set plsql.compile.dml.check.semantic=false;create database dbname;use dbname;drop table if exists orc_table;create table ...
2019-01-18 16:17:52
2693
原创 TDH 常见运维命令（部分）
通过一条命令来搜集所有节点下regionServer的Exception日志:cat /etc/hosts | grep 172.16 | awk '{print $1}' | xargs -i ssh {} " grep Exception -R /var/log/hyperbase1/*log" 截图如下。日志较多截不完，就直接取消了 查找InceptorS...
2019-01-18 11:49:57
6248
原创 后台下载 TDH-Client 方法
在使用 星环 TDH 大数据平台过程中，我们必会用到TDH-Client ，其中集成了很多平台组件的客户端。该Client 可以通过manager下载，但是比较麻烦，我们也可以通过后台获取Cookies 的方式下载该客户端。步骤如下：1 获取TDH Manager 的cookies 文件2 根据cookies文件下载 TDH VERSION < 5.2 wg...
2019-01-18 11:38:32
1414
原创 基于星环TDH数据仓库典型总和场景数据流转设计
典型综合场景数据流转设计综合场景一 T+1数据加工图 4 T+1方式数据流转 T+1是数据仓库领域最为常见的数据集成模式，T+1模式下数据仓库会在每天固定时间点采集当天或者前一天交易系统数据。根据数据类型，结构化数据来源一般为RDB，需要将这些数据通过ETL工具全量或者增量导入到tdh的hdfs中，最后根据实际业务需求通过inceptor将数据写入到对应的表中：①...
2018-11-12 18:13:39
3065
原创 基于用户的推荐算法
算法思想：给用户推荐和他兴趣相似的其他用户喜欢的物品 用户行为列表 根据用户与用户的相似度 两两计算 将已有物品相关关联的推荐列表 归零。得到最终的推荐列表 ...
2018-11-12 17:55:41
580
原创 星环 sophon 升级详解
Sophon升级详解1 .Sophon1.2.0-final升级1.3.0final 步骤1 . 下载Sophon Web配置文件以及镜像:(包含1.2.0和1.2.1版本) wget ftp://172.16.3.129/pub/sophon-1.3/img/sophon-web-1.3.img wget ftp://172.16.3.129/pub/sophon...
2018-11-12 17:54:14
1087
原创 【Apache ZooKeeper】命令行zkCli.sh使用指南
【Apache ZooKeeper】命令行zkCli.sh使用指南 ZooKeeper命令行 ZooKeeper客户端有C语言和Java两个版本。ZooKeeper的命令在/usr/lib/zookeeper/bin文件夹下。运行Java版本的客户端使用bash zkCli.sh -server IP:port ，运行C语言版本的使用./cli_mt IP:por...
2018-11-12 17:47:59
176
原创 基于内容的推荐算法
1 基于物品的推荐算法 给用户推荐之前喜欢的物品相似的物品 用户行为信息表代表 某个用户对某个物品产生 某个行为用户物品行为关联表 根据基础信息转换数据 形成评分矩阵 根据评分矩阵计算物品与物品的相似度该图演示了计算物品1 与 物品2 的相似度 得到推荐列表后和之前...
2018-11-12 17:42:03
251
原创 R 国内CRAN 镜像仓库
下面列出国内的CRAN镜像，供大家选择：1、http://mirrors.opencas.cn/cran/ 中国科学院大学(Chinese Academy of Sciences, Beijing)2、https://mirrors.tuna.tsinghua.edu.cn/CRAN/ 清华大学(TUNA Team, Tsinghua University)3、http://mirrors...
2018-11-12 17:39:49
6604
1
原创 pdsh 安装步骤
pdsh安装步骤Skip to end of metadataCreated and last modified by wenqi.kang on Oct 19, 2017Go to start of metadata0.安装环境centos6.5 & centos7.21.解压并安装安装包： pdsh-2.26.zipunzip pdsh-2.26.zip...
2018-11-12 17:36:21
3036
原创 Docker + Tomcat + WebApp 应用部署实战
一、实验信息Docker + Web + Tomcat 应用部署实战 二、实验目的利用Docker 搭建Tomcat 服务器并部署Web应用 练习Docker 基本命令，体会Docker 的应用场景 三、实验说明安装Docker（1）Docker CE离线安装 （2）配置Docker 国内镜像加速器 （3）使用Docker 搭建Tomca...
2018-11-12 17:32:54
4847
转载 tar 压缩文件时候忽略一个或者多个文件夹
例如：我们以tomcat 为例，打包的时候我们要排除 tomcat/logs 目录，命令如下：tar -zcvf tomcat.tar.gz --exclude=tomcat/logs tomcat如果要排除多个目录，增加 --exclude 即可，如下命令排除logs和libs两个目录及文件xiaoshan.txt：tar -zcvf tomcat.tar.gz --exclud...
2018-11-12 17:25:33
4098
原创 星环大数据平台 TDH inceptor 问题排查
一、四点1.metastore2.mysql3.Inceptor server4.ldap二、日志收集1.Inceptor server & metastore 日志2.Inceptor server & metastore jstack/jstat/jmap日志三、常见问题1.Inceptor server异常停止2.Inceptor ful...
2018-11-12 17:24:19
4856
原创 Linux 磁盘操作命令
磁盘操作命令—df命令 功能：检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。 参数 功能 -a 列出全部目录 -Ta 列出全部目录，并且显示文件类型 -B 显示块信息 -i 以i节点列出全部目录 -h 按照日常习惯显示（如：1K、100M、20G） -x [filesystype] 不显示[filesystyp...
2018-10-11 14:59:44
523
原创 Scala文件的读取和写入 从控制台输入内容
1 ================== 读取文件val file = Source.fromFile(Path)file.foreach(print)//迭代输出for (line println(line)}2 =================== 获取网页val file = Source.fromUrl("http://www.baidu.com")
2017-07-27 22:26:50
1552
星环Sophon使用手册
2018-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人