5 lishengping_max

尚未进行身份认证

专注大数据领域

等级
TA的排名 4w+

分布式一致性协议——2PC和3PC

一、2PC定义2PC即二阶段提交,是计算机网络尤其是分布式领域内,为了保持分布式系统架构下所有节点在进行事务处理过程中能够保持原子性和一致性而设计的一种算法。目前绝大多数关系型数据库都是采用二阶段提交协议来完成分布式事务处理。协议说明阶段一:提交事务请求1.事务询问2.执行事务(阶段一完成)3.向协调者反馈阶段二:执行事务提交或中断事务正常流程1.发送提交请求2.事务提交3...

2019-11-02 16:15:28

分布式事务——CAP和Base理论

如果我们期待实现一套严格满足ACID(Atomicity原子性、Consistency一致性、Isolation隔离性、Durability持久性)的分布式事务,很可能的情况就是系统的可用性和严格一致性出现冲突。在可用性和一致性之间永远无法存在一个两全其美的方案。CAP定理2000年7月,加州大学伯克利分校Eric Brewer教授提出了著名的CAP猜想。2年后,来自麻省理工学院的Seth G...

2019-10-30 14:15:15

Mysql——事务ACID简介和原理

事务ACIDACID嘛,原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)原子性根据定义,原子性是指一个事务是一个不可分割的工作单位,其中的操作要么都做,要么都不做。即要么转账成功,要么转账失败,是不存在中间的状态!如果无法保证原子性会怎么样?OK,就会出现数据不一致的情形,A账户减去50元,而B账户增加50元操作...

2019-10-30 11:54:53

Mybatis Example 使用方法

一、mapper接口中的方法int countByExample(UserExample example) thorws SQLException 按条件计数int deleteByPrimaryKey(Integer id) thorws SQLException 按主键删除int deleteByExample(UserExample example) thorws SQLE...

2019-10-25 10:17:30

Mybatis使用记录

一、返回主键useGeneratedKeys="true" keyProperty="id"二、使用likelike concat('%', #{fieldName}, '%')

2019-10-25 10:14:40

Canal使用异常记录

一、protobuf-java版本过低Exception in thread "Canal Receiver" java.lang.IllegalAccessError: tried to access field com.google.protobuf.AbstractMessage.memoizedSize from class com.alibaba.otter.canal.protoco...

2019-10-15 16:51:12

Spark学习08——RDD、DataFrame 和 Dataset

弹性分布式数据集(Resilient Distributed Dataset,RDD)从一开始 RDD 就是 Spark 提供的面向用户的主要 API。从根本上来说,一个 RDD 就是你的数据的一个不可变的分布式元素集合,在集群中跨节点分布,可以通过若干提供了转换和处理的底层 API 进行并行处理。在什么情况下使用 RDD?下面是使用 RDD 的场景和常见案例:你希望可以对你的数据集进行最...

2019-09-19 14:02:24

Spark学习07——创建DataFrame的方法

一、简介基于Row的DateSet就是DataFrame,即DataFrame是DateSet的一个子集,DataFrame只是DateSet的叫法二、创建方法1. 使用toDF函数创建DataFrameobject CreateDataFrameFun { def main(args: Array[String]): Unit = { val spark = SparkSes...

2019-09-19 11:29:43

Spark学习06——键值对RDD行动算子

所有键值对RDD行动算子如下:collectAsMap、countByKey、fold、lookup、saveAsSequenceFile当然键值对RDD可以使用所有RDD行动算子,介绍详见:https://blog.csdn.net/qq_23146763/article/details/101013861具体解释和例子1. collectAsMap将结果以映射表的形式返回,以便查询...

2019-09-19 11:18:29

Spark学习05——键值对RDD转换算子

所有键值对RDD转换算子如下:mapValues、flatMapValues、sortByKey、combineByKey、foldByKey、groupByKey、reduceByKey、aggregateByKey、cogroup、join、leftOuterJoin、rightOuterJoin当然键值对RDD可以使用所有RDD转换算子,介绍详见:https://blog.csdn.ne...

2019-09-19 11:03:20

Spark学习04——RDD行动算子

所有RDD行动算子如下:aggregate、collect、count、first、foreach、reduce、take、takeOrdered、takeSample、saveAsObjectFile、saveAsTextFile具体解释和例子1. aggregate概念1.将每个分区里面的元素进行聚合,然后用combine函数将每个分区的结果和初始值(zeroValue)进行comb...

2019-09-19 10:12:48

Spark学习03——RDD转换算子

所有RDD转换算子如下:map、faltmap、mapPartitions、mapPartitionsWithIndex、filter、sample、union、intersection、distinct、cartesian、pipe、coalesce、repartition、repartitionAndSortWithinPartitions、glom、randomSplit具体解释和例子...

2019-09-18 16:37:18

Spark学习02——创建DStream的方法

Spark Streaming提供两类内置流媒体源。基本来源:StreamingContext API中直接提供的源。示例:文件系统和套接字连接。高级资源:Kafka,Flume,Kinesis等资源可通过额外的实用程序类获得。基本来源如下,高级来源可参考官网例子:https://github.com/apache/spark/blob/master/examples/src/main/s...

2019-09-18 16:24:52

Spark学习01——创建RDD的所有方法

方式一、从内存中创建1.makeRDD val rdd = sc.parallelize(List("zhangsan", "lisi", "wangwu"))2.parallelize val rdd2 = sc.makeRDD(List("zhangsan", "lisi", "wangwu"))区别:makeRDD函数有两种实现,第一种实现其实完全和parallelize一致...

2019-09-18 15:28:30

Spark Sql用户权限异常记录

使用SparkSql存Hive数据报错如下19/09/11 14:53:10 ERROR metadata.Hive: MetaException(message:User appuser does not have privileges for ALTERTABLE_ADDPARTS) at org.apache.hadoop.hive.metastore.api.ThriftHiveMet...

2019-09-12 10:22:01

Kudu异常总结

1、impala不支持kudu表的关键字:PARTITIONED - LOCATION - ROWFORMAT(官方链接:Impala Keywords Not Supported for Kudu Tables),例如执行如下语句会报错:CREATE TABLE my_first_table2( id BIGINT, name STRING, PRIMARY KEY(id))...

2019-09-06 16:09:30

Hive基于Hbase的外部表使用

官网:https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration作用:Hive直接使用Hbase的数据,不过hbase一般不适合分析数据,一般使用外部表将hbase数据导入其它hive表,用于数据分析步骤一、下载依赖jar从https://mvnrepository.com/artifact/org.apache....

2019-09-04 15:35:27

Java日志框架使用注意点

一、应用中不可直接使用日志系统(Log4j、Logback)中的API,而应依赖使用日志框架SLF4J中的API,使用门面模式的日志框架,有利于维护和各个类的日志处理方式统一。import org.slf4j.Logger;import org.slf4j.LoggerFactory;private static final Logger logger = LoggerFactory.getLo

2019-09-03 23:01:32

深究|Elasticsearch单字段支持的最大字符数?

转自:https://blog.csdn.net/laoyang360/article/details/78207980在业务系统中,遇到过两个问题:问题1:设置为keyword类型的字段,插入很长的大段内容后,报字符超出异常,无法插入。问题2:检索超过ignore_above设定长度的字段后,无法返回结果。思考:Elasticsearch单字段支持的最大字符数?设置ignore_abo...

2019-09-04 14:55:52

Spark读取--files文件

1.读取代码Properties properties = new Properties();properties.load(new FileInputStream("/etc/hive/conf/test.properties"));2.–files配置spark2-submit \ --class xxx \ --master yarn \ --deploy-mode c...

2019-08-19 16:47:45

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。