- 博客(26)
- 收藏
- 关注
RSS订阅原创 hbase架构详解
hbasehbase前言Google引爆大数据时代的三篇论文行式存储和列式存储hbase逻辑结构hbase物理结构数据模型详细架构hbase写流程(读比写慢)具体Flush的参数值hbase数据的读流程hbase数据的合并hbase数据的切分数据的删除hbase前言Google引爆大数据时代的三篇论文谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了
2021-01-27 16:22:29
528
原创 Python Learning(九)-异常和IO
Python基础-异常和IO异常和文件异常异常的传播:异常的抛出自定义异常文件(file)打开文件读取文件关闭文件写入文件读取二进制文件seek()和tell()os操作文件异常和文件异常程序在运行过程当中的错误,比如没有赋值过的变量,数组下标越界等.异常会导致程序终止语法:try: 代码块1(可能出错的语句)except: 代码块2(出错时语句)else: 代码块3(没出错时要执行的语句)没有出错的时候执行代码块13(else也可以不写)出错了就执行代码块2try: 10
2020-12-15 18:54:48
130
原创 Python Learning(八)-面向对象
Python 基础八-面向对象八 面向对象对象(Object)类(class)类创建语法:属性语法:类的定义对象的初始化一个标准类的流程封装装饰器继承重写super()多态多态和多态性(鸭子类型)类中的属性和方法类属性实例属性实例方法类方法静态方法垃圾回收特殊方法(魔术方法)`__`str()`__``__`repr`__``__`gt`__``__`len__模块创建模块使用模块包 package`__`pycache`__`python标准库八 面向对象对象(Object)什么是对象?对象是
2020-12-15 14:02:49
181
原创 Python Learnning (七)-函数
Python基础7-函数一 创建函数二 调用函数三 不定长参数四 返回值五 文档字符串六 作用域和命名空间作用域(scope):变量生效的区域命名空间(namespace)七 递归递归函数八 高阶函数filter()九 匿名函数map()sort()sorted()十 闭包十一 装饰器函数也是一个对象对象是内存中存储数据的一块区域函数可以用来保存一些可执行的代码.并且可以在需要时,对这些语句进行多次的调用一 创建函数def 函数名([形参1,形参1,形参1....]): 代码块def f
2020-12-07 16:59:04
306
原创 Python Learning(六)-集合
Python基础-集合一 集合的介绍二 集合中的运算一 集合的介绍-集合和列表非常相似不同点: 1.集合中只能存储不可变对象 2.集合中存储的对象是无序的,不是按照元素的插入顺序保存的 3.集合中不能出现重复的元素使用{}或set()函数来创建集合s={1,2,5,5,66,23,4}# set([1, 2, 4, 5, 66, 23]) 剔除重复元素,并且无序集合中只能存储不可变对象s={[1,2],[3,4]}print(type(s),type(s1))# TypeErr
2020-12-04 15:04:57
52
原创 Python Learning(五)-字典
Python基础-字典一 字典简介二 字典的使用二 遍历字典一 字典简介-字典属于一种新的数据结构,称为映射(mapping)-字典的作用和列表相似,都是用来存储对象的容器-列表存储数据的性能很好,但是查询的性能很差-在字典中每一个元素都有一个唯一的名字,通过这个唯一的名字可以快速查到指定的元素-在查询元素时,字典的效率是非常快的,每个对象都会有一个唯一的名字,这个唯一的名字我们称为key,这个对象我们成为value,所以字典就是键值对key-value结构-每个字典中都可以有多个键值对,每
2020-12-04 15:03:52
88
原创 Python Learnning(四)-序列2
Python基础-序列2一 遍历列表二 range()三 元组四 可变对象五 == !=和 is is not区别一 遍历列表指将列表中的所有元素取出来my_list=['b','d','c','a']i=0;while i<len(my_list): print(my_list[i]) i+=1通过for循环来遍历语法: for 变量 in 序列: 代码块for循环会执行多次,序列中有几个元素就会执行几次,每执行一次就会将序列中的一个元素赋值给变量我们可以通过变量,来
2020-12-04 15:02:23
106
原创 Python Learning(四)-序列1
Python基础-序列1一 列表(list)二 通用操作三 序列(sequence)一 列表(list)列表是Python中的一个对象对象(Object)就是内存中专门用来存储数据的一块区域数值,它只能保存一个单一的数据列表中可以保存多个有序的数据列表的使用: 1.列表的创建 my_list=[] 创建了一个空列表 print(my_list,type(my_list)) 列表中存储的数据,我们称之为元素 一个列表中可以存储多个元素,也可以在创建列表时指定列表中的元素 my
2020-12-04 15:00:34
101
原创 Python Learning(三)-流程控制语句
Python基础-流程控制语句一 条件判断语句(if语句)二 循环语句三 循环嵌套四 break和continue五 程序优化模块一 条件判断语句(if语句)语法:if expression: expr_true_suite(代码块1) else: expr_false_suite(代码块2)如果是代码块 : 后面不能有语句了 需要写在下一行num=12if 10<num<20: print(num)缩进有俩中方式,一种是使用tab或者使用四个空格,官方文档中是建议使用空
2020-12-04 14:58:11
99
原创 Python Learning( 二)-对象
Python基础-对象一 对象（Object）二 对象的结构三 变量和对象的关系四 类型转换五 运算符（操作符）一 对象（Object）Python是一门面向对象的语音一切皆对象程序运行当中，所有的数据都是存储到内存当中然后在运行的对象就是内存中用来存储指定数据的一块区域对象实际上就是一个容器，专门用来存储数据数值，字符串，布尔值，None都是对象二 对象的结构每个对象中都要保存三种数据-id（标识）id用来标识对象的唯一性，每一个对象都有一个唯一的id。可以通过id（）的函数来查看
2020-12-04 14:55:38
66
原创 Python Learning(一)-数据类型
Python基础一一 基本概念二 变量和标识符三 数据类型四 字符串五 格式化字符串六 复制字符串七 布尔值（bool）和空值八 类型检查一 基本概念1.python中严格区分大小写2.Python中每一行就是一条语句，每条语句以换行结束3.Python中每一行的语句不要过长，规范中建议每一行不超过80字符4.一条语句可以分多行编写，语句后面以\结尾5.Python中是缩进严格的语言，所以在Python中不要随便写缩进6.在Python中用#来表示注释，注释可以加在代码的后面
2020-12-04 14:53:09
97
原创 Kylin
Kylin 1Kylin前世今生Apache Kylin背景应用场景Kylin前奏事实表和维度表星型模型和雪花模型维度和度量OLAPData Cube(数据立方体)Apache Kylin的工作原理和体系架构Kylin的工作原理Kylin的体系架构Kylin cube构建流程Kylin前世今生Apache Kylin背景Apache Kylin（麒麟）是一个开源的分布式存储引擎，最初由ebay开发贡献置开源社区，它提供Hadoop智商的sql查询接口以及多维分析（OLAP）能力以支持大规模数据，能够处
2020-11-18 15:17:44
182
2
原创 metron使用心得
文章目录metron框架实现数据富化logstash接收日志日志上报后初步解析过滤统一分配解析启动富化拓扑ElasticsearchWriter后端后端springboot+springcloudmetron框架实现数据富化logstash接收日志logstash检测探针上报日志将对应端口接收的日志上报到指定的kafkaTopic日志上报后初步解析过滤当日志接收完成后将日后启动storm拓扑spout接收数据进行解析返回jsonArray统一分配解析将日志解析完成后同意下发到下一层拓
2020-05-19 10:04:23
371
原创 简单的裸机 迅速搭建一个standalone的flink
首先把预先搞好的裸机clone一下（没有裸机可以重新搞）然后第一部打开以后先vi /etc/sysconfig/network-scripts/ifcfg-eth0配置主机名(重启生效)[root@CentOS ~]# vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=CentOS设置IP映射[root@CentO...
2019-11-01 18:40:24
164
原创 风控建模
文章目录风控建模inputvector词袋模型地理位置风险评估（瞬间位移距离）userAgent风控建模inputvector自定义jquery插件完成用户输入表单控件的输入行为的追踪，形成用户输入向量，将用户输入向量封装成cookie对接给后台用户登录服务//首先这个输入向量的长度如果不够的话就没有评估的必要直接返回falsevar n=historyVector.length ...
2019-10-13 11:01:08
868
原创 那些让人眼前一亮的大数据面试题
文章目录一代大数据的处理方案一代大数据的处理方案linux 常见的shell编程chmod 777 xx.shservice iptables start|stop|restart|statuschkconfig 服务名 on|offps -aux|grep kill -9 ps -aux |grep 进程名字|awk '{print $1}'用户变量：~/.bashrc|....
2019-07-27 18:26:52
216
2
转载 Spring-Cloud Bus消息总线 Zuul路由（反向代理）
文章目录Bus配置服务端集成 Kafka bus配置客户端集成 Kafka busZuul路由（反向代理）Bus在微服务架构的系统中， 我们通常会使用轻量级的消息代理来构建一个共用的消息主题让系统中所有微服务实例都连接上来， 由于该主题中产生的消息会被所有实例监听和消费， 所以我们称它为消息总线。在总线上的各个实例都可以方便地广播一些需要让其他连接在该主题上的实例都知道的消息， 例如配置信息的...
2019-07-26 16:07:02
318
转载 SpringCloud-config
文章目录SpringCloud-Config入门案例配置客户端多仓库配置客户端刷新RefreshScope配置服务器和Eureka集成配置客户端和Eureka集成SpringCloud-ConfigSpring Cloud Config 是 Spring Cloud 团队创建的一个全新项目，用来为分布式系统中的基础设施和微服务应用提供集中化的外部配置支持， 它分为服务端与客户端两个部分。服务端...
2019-07-26 14:09:24
67
原创 Git
文章目录GIT引言**GIT的由来**GIt版本控制系统的使用工作原理Git的基本操作GitHub（git的远程备份 用来做协同开发）协同开发的原理图（举例德云社的开发段子）GIT引言Git(读音为/gɪt/)是一个开源的分布式版本控制系统（vcs），可以有效、高速地处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放...
2019-07-25 21:22:22
140
转载 SpringCloud-RestClient Feign
文章目录SpringCloud-RestClient Feign快速入门Feigen 熔断Hystrix Dashboard配置HyStrix属性SpringCloud-RestClient FeignFeign是一个声明性的Web服务客户端。它使编写Web服务客户端变得更容易。 Feign增加了对Spring MVC注解的支持，并使用了Spring MVC中相同的HttpMessageCon...
2019-07-24 22:05:43
159
转载 Storm
文章目录Storm架构集群构建（在后续大数据所有集群搭建那篇上）Topology概念快速入门编写 BoltStormStorm是免费开源的分布式实时计算系统，该系统在2.0.0之前改架构核心实现使用Clojure编程实现，在本次版本以后Storm底层实现做了重大的调整使用Java8重构了Storm。Storm是一个实时的流处理引擎，能实现对记录的亚秒级的延迟处理。Storm在 realtime...
2019-07-24 10:07:06
99
原创 主流流处理框架之间的区别
文章目录主流流处理框架的区别主流流处理框架的区别流计算：将大规模流动数据在不断变化的运动过程中实现数据的实时分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。主流流计算框架：Kafka Streaming、Apache Storm、Spark Streaming、Flink DataStream等Kafka Streaming:是一套基于Kafka-Streaming库的一套流计算...
2019-07-24 09:31:58
538
原创 MapReduce的运行十一步
文章目录MapReduce2.0的运行原理MR任务执行流程架构图提交作业初始化作业MapReduce2.0的运行原理MR任务执行流程提交作业->初始化作业->分配任务->执行任务->进度和状态更新->作业完成架构图提交作业Client 提交到 Job1. client程序编写好job后将调用job的submit()或waitForCompletion...
2019-07-23 10:58:34
185
原创 SpringCloud-Hystrix（断路器）
文章目录SpringCloud Hystrix如何集成熔断器线程隔离FallbackError PropagationSpringCloud Hystrix引言微服务中有一个服务响应过慢会拖垮整个服务，所以出现了熔断：熔断器：请求过大自动熔断，请求超时也会熔断不正常工作也有自己的默认值，保证服务之间的解耦合Hystrix是一个延迟和容错库，旨在隔离对远程系统，服务和第三方库的访问...
2019-07-23 10:55:04
106
原创 Spark-RDD Lineage
文章目录spark RDD面试详解（血统关系）RDD的概念RDD容错spark RDD面试详解（血统关系）RDD的概念Spark计算中一个重要的概念就是可以跨越多个节点的可伸缩分布式数据集 RDD（resilient distributeddataset） Spark的内存计算的核心就是RDD的并行计算。RDD可以理解是一个弹性的，分布式、不可变的、带有分区的数据集合，所谓的Spark的批处...
2019-07-23 09:50:48
683
原创 SpringCloud-快速上手
文章目录SpringCloud应用架构SpringCloud Ribbon组件-负载均衡SpringCloud-EurekaEuireka的HA集群SpringCloud应用架构第三阶段：RPC调用问题：早期就是webservice（通过网络发送SOAP协议）RPC SOA（service orented Architecture） ：面向服务的开发存在的问题就是：服务的提供方需要响...
2019-07-22 15:49:28
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人