11 Applied Sciences

尚未进行身份认证

2019-11-17改过昵称

等级
TA的排名 377

sqoop出现Error parsing arguments for import

2020-05-27 11:08:54,840 ERROR tool.BaseSqoopTool: Error parsing arguments for import:2020-05-27 11:08:54,840 ERROR tool.BaseSqoopTool: Unrecognized argument: appleyuchi--table2020-05-27 11:08:54,841 ERROR tool.BaseSqoopTool: Unrecognized argument: bo...

2020-05-27 11:15:31

beeline连接的时候出现(state=08S01,code=0)

$HADOOP_HOME/etc/hadoop中的core-site.xml<property><name>hadoop.proxyuser.Desktop.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.Desktop.groups</name>...

2020-05-26 22:07:12

hive集群部署以及beeline和hive

我们会发现一个奇怪的现象就是hbase是一条命令可以启动整个集群的,但是hive却不是,这是怎么回事呢?因为hive只是一个SQL客户端而已。数据并不在hive中,hive只是帮忙从hdfs->我们看到的数据做了一个SQL映射而已。 情况 方案 想在集群的datanode中通过hive查询数据 需要在namenode和datanode中分别部署和启动hive 只在集群的namenode中通过hive查询数据 只需要在n..

2020-05-26 20:22:28

hiveserver2和metastore简要概括作用

名称 作用 启动命令 jps进程 hiveserver2 web服务,可以理解为类似于Flask之类的东西 hive --servicehiveserver2 RunJar metastore 集群之间的Thrift 通信协议,可以理解为类似于http之类的东西 hive --service metastore RunJar Reference:[1]https://blog.csdn.net/weixin_42496757...

2020-05-26 18:45:37

ETL的数据同步工具调研(持续更新中)

扯白了,数据同步工具就是"导数据 "的名称 社区响应 SQOOP 更新缓慢,对于hbase2.x以上版本使用时需要老版本的jar包 OTTA github的issue已经很少回应,repository本身很少更新 DataPipeline DataX 没有官方web UI talend informatica 商用 Datastage 商用 Oracle Goldengate kettle ...

2020-05-26 16:46:59

sqoop把mysql数据导入hbase-完整记录

环境:sqoop1.4.7mysql8.0hbase2.2.4hadoop3.1.2##############################################################################mysql> create database sqoop_hbase;mysql> use sqoop_hbase;mysql> CREATE TABLE book( -> id INT(4) PRIMAR...

2020-05-25 23:36:27

zeppelin报错master is set as yarn, but spark.submit.deployMode is not specified

具体报错如下:java.lang.RuntimeException: master is set as yarn, but spark.submit.deployMode is not specified at org.apache.zeppelin.interpreter.launcher.SparkInterpreterLauncher.getDeployMode(SparkInterpreterLauncher.java:345) at org.apache.zeppelin.interpr

2020-05-25 22:25:21

false libhadoop was built without ISA-L support以及编译hadoop本地库失败(没有解决)

步骤如下:git clone https://github.com/intel/isa-l./autogen.shapt install yasm./configure --prefix=/usr --libdir=/usr/libmakesudo make installhttp://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gzmvn package -Pdist,native -Ds

2020-05-25 19:57:12

spark的client模式和cluster模式用法上的区别

运行模式 启动命令 备注 client模式 spark-shell --master yarn 支持shell,client模式可以在 命令行中省去deploy-mode命令项 cluster模式 spark-submit --master yarn --deploy-mode cluster 不支持shell ...

2020-05-25 15:02:27

mysql+nginx实现负载均衡

转载自:https://www.cnblogs.com/xiaomacs/p/11697140.html1、安装ubuntu 18.04上安装:sudo apt install nginx查看版本号:nginx -v(1.14.0)查看模块:nginx -V(检查是否包含stream模块,--with-stream=dynamic)2、配置配置文件:/etc/nginx/nginx.conf在nginx.conf中添加以下代码# Load Balancing for MyS.

2020-05-25 14:38:37

港资机构持股分析

15亿以上的港资机构如下,依据是[1]持股日期 机构名称 相关 持股只数 (只) 持股市值 (元) 持股市值变化(元) 1日 5日 10日 2020-05-22 香港上海汇丰银行有限公司 详细 1620 4442.30亿 -114.73亿 -64.29亿 -88.39亿 2020-05-22 渣打银行(香港)有限公司 详细 1224 2747.99亿 -63.65亿

2020-05-24 20:24:45

kylin在启动后web ui无法打开

环境:hadoop-3.1.2apache-kylin-3.0.2-bin-hadoop3准备工作:$HBASE_HOME/bin/hbase中CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar改成:CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*#----------------------------------------------------

2020-05-24 17:21:51

Kylin启动报错hbase-common lib not found

$HBASE_HOME/bin/hbase修改如下:CLASSPATH="${HBASE_CONF_DIR}"改为:CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*

2020-05-24 15:49:06

Failed to find metadata store by url: kylin_metadata@hbase 解决办法

原因之一是没有启动hbase集群,启动hbase集群就好了。

2020-05-24 11:27:44

选中一行或多行的快捷键

一.全选Ctrl+a二.选择当前行按Home(定位到行首)然后按Shift+Dnd(行尾)或者按End(定位到行尾)然后按Shift+Home或者按Home(定位到行首)然后按Shift+↓三.选中多行按Home(定位到行首)然后按Ctrl+Shift+Dnd(行尾)或者按End(定位到行尾)然后按Ctrl+Shift+Home或者按Home(定位到行首)然后按Shift+↓(多按一下Shift+↓则多选一行)注:当前行行首:Home当前行行尾:E...

2020-05-24 11:01:20

定位低效SQL与不同的Extra类型(转载)

Extra 数据准备 数据说明 SQL 结果说明 Using where create table user (id intprimary key,name varchar(20),sex varchar(5),index(name))engine=innodb; insert into user values(1, 'shenjian','no'); insert into user val...

2020-05-23 21:06:58

mysql8中的groupby报错

ERROR 1055 (42000): Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'extra_learn.user.id' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by.

2020-05-23 19:40:24

诡异的select *语句报错事件

下面这两句话你觉得一样吗?看起来一样对吧。。。。①select * from userorder bysex;②select * from user order by sex;试验下:然后我们去[1]中翻译下ASCII码①翻译后:select * from user\u00a0order by\u00a0sex;②翻译后select * from user order by sex;想骂人,真是坑爹。[1]https://www.sojson.c...

2020-05-23 19:37:25

mysql8建立表格报错

这个是会报错的create table user (id int primary key,name varchar(20),sex varchar(5),index(id))engine=innodb;改成:create table user (id int NOT NULL AUTO_INCREMENT primary key,name varchar(20),sex varchar(5),index(id))engine=innodb;参考:https://dev.mysql.c...

2020-05-23 19:01:16

第一、第二、第三范式之间的理解和比较(转载)

第一范式(1NF)无重复的列  所谓第一范式(1NF)是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性,就可能需要定义一个新的实体,新的实体由重复的属性构成,新实体与原实体之间为一对多关系。在第一范式(1NF)中表的每一行只包含一个实例的信息。简而言之,第一范式就是无重复的列。1NF的定义为:符合1NF的关系中的每个属性都不可再分下表所示情况,便不符合1NF的要求:说明:在任何一个关系数据库.

2020-05-23 16:03:06

查看更多

勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证
    技术圈认证
    用户完成年度认证,即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。