4 Claroja

尚未进行身份认证

暂无相关简介

等级
TA的排名 420

Hadoop HIVE 条件控制函数

caseCASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ... WHEN conditionn THEN resultn ELSE resultEND例子select id,name,casewhen age<28 then 'yo...

2019-08-28 23:10:23

Hadoop HIVE 窗口函数

select id,age,name,sex,row_number() over(partition by sex order by age desc) as rankfrom t_rownumber

2019-08-29 09:11:10

Hadoop HIVE 自定义函数

HIVE中可以自定义函数

2019-08-29 09:11:50

Hadoop Hbase 模型结构

Hbase有行的概念,但没有字段的概念.要素:表:一个Hbase中含有多个表列簇:一个表含有多个列簇行键(rowkey):一个表含有多个行键,行键不能重复单元(cell):一个列簇可以有多个单元键值对(kv):一个单元就是一个键值对历史版本:一个key可以对应多个value的历史版本region:一个表过大,会被横向切割成若干个region顺序:1.首先按行键排序2.再次按列...

2019-08-29 13:12:12

Hadoop Hbase安装配置

数据库描述Mysqlsql,事务处理,增删改查,HIVEsql,数据仓库,存储和查询一般不修改,容量大(hdfs),计算能力强(mr)Hbasenosql,事务处理,增删改查Hbase:1.基于HDFS所以能随时扩容2.可增删改查的分布式数据库系统概念:rowkey,行键column,列簇key:value:cell:角色1.HMas...

2019-08-29 11:54:24

Hadoop Flume

#定义三大组件的名称ag1.sources = source1ag1.sinks = sink1ag1.channels = channel1# 配置source组件ag1.sources.source1.type = spooldir # 读取目录ag1.sources.source1.spoolDir = /root/log/ # 设置所读取的目录ag1.sources.s...

2019-08-30 11:07:38

Hadoop sqoop

概念联通数据库(mysql,oracle等)和hadoop数据仓库(hdfs,hive,hbase)将导入或导出命令翻译成mapreduce程序来实现安装1.需要hadoop环境2.修改配置文件sqoop-env.shexport HADOOP_COMMON_HOME=/home/hadoop/apps/hadoop-2.6.1/ export HADOOP_MAPRED_HOME...

2019-08-30 11:08:54

Hadoop HIVE JavaAPI

DDL操作表的增删改查1、构建连接2、从连接中取到一个表DDL操作工具admin3、admin.createTable(表描述对象);4、admin.disableTable(表名)5、admin.deleteTable(表名);6、admin.modifyTable(表名,表描述对象);package demo;import org.apache.hadoop.conf.Co...

2019-08-29 15:37:16

lucene

数据库查询,熟读慢,不准确`select * from student where name like ‘%王’全文检索:1.速度快,先从索引库查询2.准,对文本进行分词,并对结果进行相关度排序LUcene是单机版全文检索工具首先构建article对象package lucene;import org.apache.lucene.document.*;import org.a...

2019-09-05 13:20:04

Elasticsearch 单机安装

1.安装JDK(1.8)2.上传解压Elasticsearch-5.4.33.创建一个普通用户,然后将对于的目录修改为普通用户的所属用户和所属组4.修改配置文件config/elasticsearch.yml,修改为安装主机的地址,这样其他主机才可以访问network.host: 192.168.100.1005.启动ES,发现报错bin/elasticsearch#出现错误[1]...

2019-09-06 14:10:59

Redis 安装与配置

安装sudo apt-get install redis-server查看redis状态service redis status配置:/et/redis/redis.conf1.远程链接注释掉bind 127.0.0.12.设置密码requirepass 123456参考:https://www.cnblogs.com/wxjnew/p/9189191.html...

2019-10-08 14:45:43

Numpy Binary operations

用来进行序列的 布尔值判断参考:https://numpy.org/doc/1.17/reference/routines.bitwise.html

2019-09-09 18:49:01

centos rpm

Red-Hat Package Manager(RPM)MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm命名规则描述MySQL-server包名5.6.26版本linux_glibc2.5软件平台x86_64硬件平台rpm后缀安装参数描述-i(install)安装...

2019-11-11 10:57:48

linux nohup

形式命令后台运行./test.h &后台运行,重定向输出/.test.h 1>/dev/null 2>&1 & &1是引用1的输出,既/dev/null后台运行,重定向输出,用户/bash退出继续运行nohup /.test.h 1>/dev/null 2>&1 && : 指...

2019-08-27 18:12:10

linux /etc/passwd

/etc/passwd存放了linux所有用户的信息root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbi...

2019-11-12 17:18:20

Pandas iloc loc []

import pandas as pdse = pd.Series([0,1,2,3,4,5],index=[0,2,3,4,5,6])series切片slice时是绝对位置索引se[1:4] 等价于series.iloc[1:4]2 13 24 3dtype: int64单取值时是相对位置,按label来取,此时如果取1则会报错,因为1不在index里面...

2019-09-05 17:52:06

Python Pandas General functions(静态方法)

数据框操作方法描述melt(frame[, id_vars, value_vars, var_name, …])Unpivot a DataFrame from wide format to long format, optionally leaving identifier variables set.pivot(data[, index, columns, val...

2019-11-12 09:55:33

Pandas Indexing and selecting data

[]基本索引1.series对象索引label(既index),dataframe对象索引列名Object TypeSelectionReturn Value TypeSeriesseries[label]scalar valueDataFrameframe[colname]Series corresponding to colname2.切片索引...

2019-11-12 11:39:10

Pandas to_numeric

参数描述argscalar, list, tuple, 1-d array, or Serieserrors{‘ignore’, ‘raise’, ‘coerce’}, default ‘raise’downcast{‘integer’, ‘signed’, ‘unsigned’, ‘float’} , default None,指定转换的类型,默认返回flo...

2019-11-12 10:57:12

Pandas to_datetime

pandas.to_datetime(arg, errors='raise', dayfirst=False, yearfirst=False, utc=None, box=True, format=None, exact=True, unit=None, infer_datetime_format=False, origin='unix', cache=True)参数描述a...

2019-11-12 15:51:40

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周上午根据用户上周周三的博文发布情况由系统自动颁发。