2 王凯凯之猿

尚未进行身份认证

欢迎骚扰

等级
博文 14
排名 29w+

ubuntu系统下postgres安装python语言、postgres安装图数据AgensGraph

 一、首先安装python,ubuntu默认有python2.7,python3.5,我采用的是python3.6.5版本。   1.在https://www.python.org/downloads/ 下载python (python3.6.5地址 https://www.python.org/downloads/release/python-365/),文件为 Python...

2018-10-01 20:45:40

Sqoop导入hbase

1.全表导入  mysql表名必须大写,(可以指定列名,也可以不指定–columns中 逗号分隔,不加空格),可以添加条件过滤 --where sqoopimport-Dorg.apache.sqoop.splitter.allow_text_splitter=true--connectjdbc:mysql://192.168.0.116:3306/bigdata -driver...

2018-06-08 11:44:04

Hive自定义UDF函数--常用的工具类

注册函数:将自定义函数打成jar包,上传hdfs$hive>createfunctionformattimeas'com.air.udf.FormatTimeUDF'usingjar'hdfs://mycluster/user/centos/air-hive-1.0-SNAPSHOT.jar'自定义函数:1,将long型的时间片格式化成指定日期格式importorg.apac...

2018-05-21 21:11:40

Linux之sed,和awk

使用sed命令编辑文件 //删除第一行 $>sed'1d'1.log //删除最后一行 $>sed'$d'1.log //删除区间行 $>sed'1,3d'1.log //删除所有行 $>sed'1,$d'1.log //p:print $>sed'1,$p'1.log //-n:安静模式,只显示处理的行 $>sed...

2018-05-21 20:59:12

Hive常用的建表语句

1,创建表,external外部表                 $hive>CREATEexternalTABLEIFNOTEXISTScustomer(idint,namestring,ageint)ROWFORMAT                                        DELIMITEDFIELDSTERMINATEDBY'...

2018-05-21 09:22:40

Kafka常用操作

1,集群配置: [kafka/config/server.properties] ... broker.id=202 ... listeners=PLAINTEXT://:9092 ... log.dirs=/home/centos/kafka/logs ... zookeeper.connect=dataone:2181,datatwo:2181,datathree:2181 分发ser...

2018-05-21 08:45:40

Flume从Kafka读取数据,并写入到Hdfs上

需求:kafka有五个主题  topictopic-app-startuptopictopic-app-errortopictopic-app-eventtopictopic-app-usagetopictopic-app-pageflume读取Kafka5个主题数据,并将数据写入到hdfs上,按照主题、年月日建立文件夹以及文件如下,每天新建五个文件夹,并将主题上的数据写入到对应的文件...

2018-05-17 23:16:29

Hbase查询工具类,根据时间查询数据

1,需求:已知空气监测数据在hbase中存储,要求按照时间,查询citycode为110000(北京)一个月的数据,数据为每日的监测数据ID ,CITYCODE,SO2,CO,NO2,O3,PM10,PM2_5,AQI,MEASURE,TIMEPOINT13110000020141120, 110000,31,3.939,141,8,368,301,351,6,2014-11-20511...

2018-05-17 22:46:00

Spark读写mysql数据库

importorg.apache.spark.SparkConf;importorg.apache.spark.sql.*;importjava.util.Properties;publicclassSparkSqlJdbc{publicstaticvoidmain(String[]args){SparkConfconf=new...

2018-05-15 21:12:00

SparkStream读取Kafka消息

importorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.kafka0...

2018-05-15 21:06:04

Spark读写hbase数据

Spark读取hbase的数据:importorg.apache.spark.sql.SparkSessionimportorg.apache.hadoop.hbase.mapreduce.TableInputFormatimportorg.apache.hadoop.hbase._importorg.apache.hadoop.hbase.client.Scanimporto...

2018-05-15 18:50:48

Spark机器学习之空气质量预测和评价

根据空气测得的数据,对空气质量评价以下是部分空气数据:ID,DAYTIME,CITYCODE,SO2,CO,NO2,O3,PM10,PM2_5,AQI,MEASURE,TIMEPOINT        0:110000:20141120,20141120,110000,31,3.939,141,8,368,301,351,6,2014-11-200:110000:20141208,201...

2018-05-14 18:57:02

Spark实现二次排序的第二种方式

###############################################数据如下:年份:气温200519200540200630200850200735200732实现效果:(2005,40)(2006,30)(2007,35)(2008,50)importorg.apache.spark.{SparkConf,SparkContext}objectWo...

2018-05-11 22:35:47

Spark实现全排序、二次排序

###############################################数据如下:年份:气温2005192005402006302008502007352007321,spark实现全排序,即按照年份对数据升序排列,对以上的数据实现的效果:200519200540200630200732200735200850代码:importorg.apache...

2018-05-11 18:01:13
奖章
    暂无奖章