5 曼路

尚未进行身份认证

我要认证

心有猛虎,细嗅蔷薇。

等级
TA的排名 5w+

Mysql编码设置

mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%';缺省是latin1编码,会导致中文乱码。修改库的编码:mysql> alter database db_name character set utf8;修改表的编码:mysql> ALT...

2019-02-25 12:59:51

三种方法解决 Job for network.service failed. See 'systemctl status network.service' and 'journalctl -xn'问题

 Failed to start LSB: Bring up/down networking 问题 1、执行 service network restart 出现以下错误Restarting networ

2019-02-21 20:10:23

Redis面试问题

Redis面试问题一、Redis简介  Redis是一个key-vakue存储系统,支持五种存储结构:String,Hash,List,Set,Sorted Set。与memcached一样为了保证效率,将数据储存在内存中。区别的是Redis会周期的把更新的数据写入磁盘或者把修改操作写入追加的文件中,并在此基础上实现了主从同步。二、Redis详细介绍2.1 Redis每种数据类型的使用场景...

2019-02-20 13:16:45

RE(正则)和Xpath

正则表达式re匹配中文:[u4e00-u9fa5]是一个计算机科学的概念用于使用单个字符串来描述,匹配符合某个规则的字符串常常用来检索,替换某些模式的文本正则的语法.(点号)表示任意一个字符,除了\n,比如查找所有的一个字符.[]:匹配括号中列举的任意字符,比如[L,Y,0]\d:任意一个数字\D:除了数字都可以\s:表示空格、tab键\S:除了空白符号\w:单词字符...

2018-12-27 20:15:12

大数据面试总结

1.spark面试题:https://blog.csdn.net/wodwl/article/details/833014222.大数据学习题库:http://www.k6k4.com/simple_question/qlist?cat1=43.java面试常见问题https://www.cnblogs.com/java1024/p/7685400.html...

2018-12-27 12:59:30

Python3爬虫学习笔记一 (get,post,cookie,proxy,agent)

No.1 第一个python爬虫练习from urllib import request,parseimport chardetif __name__ == '__main__': url = 'https://blog.csdn.net/m0_37355951/article/details/80457159' rsp = request.urlopen(url) ...

2018-12-26 14:09:49

hive 窗口分析函数

hive 窗口分析函数0: jdbc:hive2://localhost:10000> select * from t_access;±---------------±--------------------------------±----------------------±-------------±-+| t_access.ip | t_access.u...

2018-12-24 17:20:07

数据仓库问题总结

1.在关系模型中,实现“关系中不允许出现相同的元组”的约束是通过 “主键” 完成的。2.在MySql中,concat函数的作用是是将传入的参数连接成为一个字符串,则concat(’aaa’,null,’bbb’)的结果是( NULL)3.关于添加带自增列的数据:自增的列无须显式地添加。如需添加全部字段数据时,仅需表名,可省略全部字段4.YARN支持的调度语义: 请求节点no...

2018-12-03 19:37:31

往gitHub上上传自己的项目

1。首先你得注册一个自己的GitHub账号,注册网址:https://github.com/join有了自己的账号以后,就可以进行登录,开始创建一个新的项目2.创建一个新的项目,填写项目名称,描述3.创建完成之后,跳转到下面的页面,下面红框中的网址要记住,在后面上传代码的时候需要使用4.接下来,我们需要先下载Git,这里最好下载最新版本的Git,安装时如果没有特殊需求,一直下一...

2018-12-02 17:27:27

CMCC实时充值监控平台项目

一、项目介绍1.1 项目背景         CMCC旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.目前要想获取整个平台的充值情况,需要先以省为单元,进行省份旗下的机构统计,然后由下往上一层一层的统计汇总,过程太过繁琐,且统计周期太长. 且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用, 接口故障监控也成为了重点监控的内容之一.为此建设...

2018-10-23 21:40:20

SparkStreaming编程实现

1.产生实时流nc -lk 1234hello hadoop wordhello spark hbasehive hello china​2.MyNetworkWordCount.scalapackage day10import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfi...

2018-10-14 21:49:47

SparkStreaming学习笔记

一、Spark Streaming基础     1:什么是SparkStreaming?        (*)Spark Streaming是核心Spark API的扩展,可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka,Flume,Kinesis或TCP套接字等众多来源获取,并且可以使用由高级函数(如map,reduce,join和window)开发的复杂算法进...

2018-10-14 21:17:55

SparkStreaming_Kafka_Redis整合

1.将kafka  streaming 和 redis整合 实现词频统计   Producer.class  生成数据daokafkapackage day14;/** * 创建一个生产者 生成随机的key 和 字母 * 用于实现实时流统计词频 并 存储到redis */import org.apache.kafka.clients.producer.KafkaProduce...

2018-10-14 20:56:53

Redis学习笔记

优秀文档:https://www.cnblogs.com/bigben0123/p/9115597.html1:redis的简介和特点     Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。    (*)前身:Memcached    (*)区别:支持持久化,RDB、AOF        ...

2018-10-14 20:25:33

Kafka学习笔记

一、Kafka介绍      1.1简介        Apache Kafka 是分布式发布-订阅消息系统(消息中间件)。它最初由 LinkedIn 公司开发,之后成为 Apache 项目的一部分。Kafka 是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka 与传统消息系统相比,有以下不同:它是分布式系统,易于向外扩展; 它同时...

2018-10-14 19:46:07

Flume学习笔记

flume学习笔记 一、什么是Flume?    Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制。flume具有高可用,分布式,配置工具,其设计的原理也是基于将数据流,如日志数据从各种网站服务器上汇集起来存储到HDFS,HBase等集中存储器中。二、flume特性    F...

2018-10-14 18:09:11

KafKa 代码实现

1.消费者import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache....

2018-10-12 23:13:27

SparkCore 编程

1.sparkCore实现wordCount(Idea+scala)import org.apache.spark.{SparkConf, SparkContext}object wordCount { def main(args: Array[String]): Unit = { //设置本地运行 2核 val conf = new SparkConf().se...

2018-10-12 22:01:03

Spark工具包

1.ApacheAccessLog解析下列数据194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"183.49.46.228 - - [18/Sep/...

2018-10-12 21:52:39

spark求最受欢迎的老师的问题

文件内容:http://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/zhangsanhttp://bigdata.edu360.cn/lisihttp://bigdata.edu360.cn/lisi1.求最受欢迎的老师,不考虑课程类别(然后类似于wordCount)import java.net.URLimpor...

2018-10-12 11:18:39

查看更多

勋章 我的勋章
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!