wxdoop的博客

原创 flink checkPoint bug

最近开发的Flink程序,经常异常重启（幸亏我配置了监控自动重启），查看日志如下org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=3, backoffTimeMS=60000) at org.apache.flink.runtime.executiongraph.failover.flip1.Execu

原创 java高并发（并发工具篇）

文章目录可重入锁中断响应锁申请等待限时公平锁Condition信号量（Semaphore）读写锁(readWriteLock)倒计数器（CountDownLatch）循环栅栏(Cyclicbarrier)线程阻塞工具LockSupportGvava和RateLimiter限流线程池什么是线程池？固定大小的线程池计划任务核心线程池的内部实现拒绝策略自定义线程创建：ThreadFactory扩展线程池分而治之Fork/joinGuava对线程池的扩展Daemon线程池线程池 submit execute 区别

原创 Java高并发（基础篇）

文章目录指令重排的前提指令重排的目的？那些指令不能重排java并行程序基础线程的基本操作新建线程终止线程为什么不建议使用stop?线程中断等待和通知指令重排的前提指令重排需要保证串行语义的一致性，指令重排不会使串行的语义逻辑发生问题。指令重排的目的？为了减少中断流水线那些指令不能重排程序顺序原则，一个线程内保证语义的串行性volatile规则：volatile变量的写先与读发生，宝整理volatile变量的可见性传递性：解锁必然发生在随后的加锁前线程的start()方法先于它的动作线

原创 Hbase

文章目录HBase 逻辑模型表行键列簇列限定符单元格版本分区Hbase物理模型HmasterHRegionServer客户端读数据流程WALStoreMemeStoreHBase 逻辑模型 Hbase是一个键值型数据库。适合存储列不确定，不确定大小的半结构化数据。表类似关系数据库中的表，一个表可以有多个分区行键用来表示唯一的一行数据，用字节数组进行存储，相当于关系型数据库中的主键行键也是Hbase最有效的索引，表中额数据会以行键为标准进行字典序的排序。列簇Hbase是一个列式数据库，

原创 位运算相关题目常用操作

将x最右边的n位清零 x&(~0 << n)获取x的第n位值（0或1）： (x>>n)&1获取x的第n位的幂值：x&(1 << (n-1))仅将第n位置为1： x | (1 << n)仅将第n位置为0：x&(1 << n)将x最高位至第n位清零x &( (1 << n) -1)将第n位至第0位清0：x&(~((1 << (n+1))-1))...

原创 scala

最近在准备面试，也当自己对知识点的复习了。学习Scala，是看了《快学Scala》这本书，这次复习，对书上的知识点进行简单的总结。1. 基础val 定义常量var定义变量常用类型var str:String = "easy"// 可在：后加入变量的类型，不加也可以（scala会进行类型推断）val x,y = 100//将两个值都赋值成100scala基本数据类型有Byte,Char,Short,Int,Long,Float,Double,Boolean。这些类型是类，不可以区分基

原创 概率论第六章——4区间估计

在保证置信度的情况下，一边一半概率这样会使精度最高，是区间比较短。此处使用到F分布的一条性质Fα(n,m)=1F1−α(m,n)F_\alpha(n,m) = \frac{1}{F_{1-\alpha}(m,n)}Fα​(n,m)=F1−α​(m,n)1​...

原创 概率论第六章——3点估计的评判标准

原创 概率论第六章——最大似然估计

极大似然估计的思想通俗的来说就说，在什么情况下当前样本被抽取到的概率最大。

原创 概率论第六章——矩估计

原创 概率论第五章——抽样分布

原创 概率论第五章——数理统计三大分布

设X1∼N(μ,σ2),X2∼N(μ,σ2),则（X1+X2）∼(μ,σ2∗2)X1+X22∼(μ,σ22)设X_1\sim N(\mu,\sigma^2),X_2\sim N(\mu,\sigma^2),则（X_1+X_2）\sim(\mu,\sigma^2*2)\\\frac{X_1+X_2}{2} \sim(\mu,\frac{\sigma^2}{2})设X1​...

原创 概率论第五章——总体与样本

概念总体——研究对象的全体元素构成及集合个体——组成总体的每一个元素在进行理论研究室，我们将研究的数量指标视为随机变量X(或随机向量X=(x1,x2···xk)),因此，总体就是一组随机变量。样本——从总体X中抽取的待考察的个体称为样本，样本中个体的数量n称为样本总量,容量为n的样本常纪委X1,X2···Xn.样本一旦经过考查，得到的事n个具体的数（x1,x2···xn）称为样本的依次观...

原创 概率论-中心极限定理

列维-林德伯格中心极限定理（独立同分布的中心极限定理）设随机变量序列，X1,X2⋅⋅⋅独立同分布，且有期望和方差E(Xk)=μ,D(Xk)=σ2,k=1,2⋅⋅⋅则对于任意实数x,limP(∑k=1nXk−nμnμ≤x)=12Π∫−∞xet22dt设随机变量序列，X_1,X_2···独立同分布，且有期望和方差\\ E(X_k)=\mu,D(X_k)=\sigma^2, k=1,2···\\...

原创 leetocode 15.三数之和

难度就是结果进行去重。之前做过一道两数之和的题，本题也采用双指针解法。特判：当数组长度小于3时，返回空列表对数组进行排序，方便之后的去重对数组进行遍历，当元素，与前边的相同时，跳过本次循环，当数组的元素大于0时，之后的元素肯定没有可以相加为0的三个数了。因此返回结果假设l = i - 1 , r = len(nums) -1，如果nums[i]+nums[l]+nums[r]>0...

原创 离线部署 hadoop2.6.5+hive1.2.0+flink1.72

首先要有三台虚拟机环境系统：centos7-1908hadoop:2.6.5hive:1.2.0flink:1.7.2配置查看虚拟网络编辑器查看自己的子网查看子网的网段可以将ip设置为192.168.32.128到192.168.32.254之间。我的网关是192.168.32.2在/etc/sysconfig/network-scripts/ifcfg-ens33...

原创 leeetcode-bytedance-复原ip

class Solution: def restoreIpAddresses(self, s: str) : result= [] def get_res(s, res=[]): if len(res) == 4: if len(s) == 0: result.a...

原创 leetcoed-bytedance-简化路径

class Solution: def simplifyPath(self, path: str) -> str: res = [] print(path.split("/")) for i in path.split("/"): if i =="..": if res: ...

原创 leetcode-bytedance-字符串的排列

满脑子都是暴力法：结果就超时了一开始这么想的，就生成所有的由s1的组合，然后依次去s2中寻找是否有匹配的。class Solution: def checkInclusion(self, s1: str, s2: str) -> bool: all_str = self.get_all_str(s1) for i in all_str: ...

原创 leetcode-bytedance-最长公共前缀

class Solution: def longestCommonPrefix(self, strs: List[str]) -> str: if len(strs)==0: return "" if len(strs)==1: return strs[0] res = strs[0]...

原创 leetcode-bytedace-无重复字符的最长子串

class Solution: def lengthOfLongestSubstring(self, s: str) -> int: # 字典中的形式为{word,index} res_dict = dict() # 本次的结果 res = 0 # 上次的结果 last_res = 0...

原创 spark Streaming 报错：java.lang.NoClassDefFoundError: org/apache/spark/Logging

原因是spark版本不对应导致的之前用的这个 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> <version>2.1.1&lt...

原创 Junit包错java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing

在pom文件中加入以下依赖 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</version> <scope>compi...

原创 CDH kafka 创建topic报错

执行kafka-topics.sh --create --zookeeper hadoop1:2181 --replication-factor 1 --partitions 1 --topic test报错Error while executing topic command:replication factor :2 laeger than available brokers :0网上...

原创 spark更加高效的求平均数

今天看书看到了mapPartitions,体会了一下分区操作。package com.cnnc.sparkLearningimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object test { def main(args: Array[String]): Unit =...

原创 leetcode 22. 括号生成

递归？class Solution: def generateParenthesis(self, n: int) -> List[str]: if n ==1: res = [] res.append("()") return res else: res...

原创 leetcode 44.通配符匹配

动态规划 def isMatch1(self, s, p): """ :type s: str :type p: str :rtype: bool """ sn = len(s) pn = len(p) dp = [[False] * (pn + 1) for ...

原创 leetcode 10.正则表达式匹配

动态规划。class Solution(object): def isMatch(self, text, pattern): def match(self, text, pattern): res = {} def fun(i,j): if (i,j)not in res:# 如果不存在,就添加 ...

原创 leetcode 45.跳跃规则

# 贪心算法，找到当前索引可跳的范围中，能跳步数最大的。# 如果当前索引加自己可跳的范围大于等于了列表的长度-1，那么就step+1# 如果当前的索引超过了列表的长度，那么就stepclass Solution: def jump(self, nums): length = len(nums) def solve(index = 0,step=0...

原创 leetcode 17. 电话号码的字母组合

没啥思路直接写就完了···dict_ = {"2":"abc","3":"def","4":"ghi","5":"jkl","6":"mno","7":"pqrs","8":"tuv","9":"wxyz"} res = [] for i in digits: if len(res)==0: res.exte...

原创 leetcode 42.接雨水

class Solution: def trap(self, height): if len(height) ==0: return 0 max_height = max(height) res = 0 for i in range(max_height): start,en...

原创 leetcode 20.有效的括号

栈class Solution: def isValid(self, s: str) -> bool: list_ = list(s) stack = [] index = None dict_ = {")":"(","}":"{","]":"[","（":"）"} for i in list_: ...

原创 leetcode 41. 缺失的第一个正数

我的答案：class Solution: def firstMissingPositive(self, nums): if len(nums) == 0: return 1 temp = max(nums) if temp<1: return 1 for i in ra...

原创 leetcode 23. 合并K个排序链表

最简单的暴力求解法将所有链表的值，都添加到一个列表中，排序后，再构造结果。（没啥结束含量）优先队列将所有链表的值，都添加到一个优先队列中，再构造结果。（有技术含量了哈哈哈）...

原创 回朔算法 - 字典查找

每天早上一道题 12.3给定两个单词，一个初始单词，一个目标单词，一个词典，找到从初始单词到目标单词的最短路径。变换规则： 一次只能变换一个位置的字符。 每一次转换后的单词，必须在字典中。 字典中没有初始单词 所有单词长度相同 字典中没有重复的词 全部词都是小写# 给定两个单词，一个词典，按照词典从每次只能改变一个字母，输出最短的转变方式import copydef s...

原创 Mapreduce-wordcount-java版

Configuration conf = new Configuration();初始化一个配置对象可以传递一个参数loadDefaults，是否从默认的文件中加载配置。默认情况下这个参数为TrueJob job = Job.getInstance(conf);初始化一个job对象MRJobConfig中有默认的参数设置map任务默认申请内存1G申请cpu为1核默认的输...

原创 分治算法——连续子列表的最大和

# 利用分治算法，连续子列表的最大和可能有三种情况，左列表的最大和，右列表，中间列表def solution(arr): if len(arr) == 1: return arr[0] split_index = len(arr)//2 arr_1, arr_2 = arr[0:split_index],arr[split_index:] lef...

原创 分治算法-归并排序-迭代法实现

# 迭代法思想：先将arr中的每一个元素当做一个列表，然后将相邻的两个别表按顺序合并为一个列表# 最终将合并为结果集def bottom_up(arr): if len(arr) == 1: return arr[0] i = 0 res = [] while i < len(arr): if i + 1 < le...

原创 分治算法-归并排序-递归法实现

# 1. 切分，# 2. 排序# 3. 合并def top_down(arr): if len(arr) == 1: return arr arr1, arr2 = split_(arr) res1 = top_down(arr1) res2 = top_down(arr2) res = sort_(res1,res2) r...

原创 最短路径问题——DIJKSTRA算法

from collections import defaultdictimport sysclass Graph: def __init__(self): self.nodes = {} #节点集合 self.edges = defaultdict(list) self.distances = {} def add_no...