sparksnail-CSDN博客

原创 Secondary Namenode checkpoint工作机制

Namenode维护了edits和fsimage文件来记录元数据，但是Namenode本身不适合进行edits和fsimage的合并操作，这个操作由secondary Namenode来完成，并将合并后的fsimage发到Namenode。触发Checkpoint条件：达到定时时间.Edits新数据达到100W条合并步骤：Secondary namenode请求是否需要CheckpointSecondary namenode请求执行Checkpoint滚动Edits文件拷贝所有edit

2020-10-23 11:29:00 306

原创 HDFS safemode

当HDFS在safemode时，客户端只能进行有限读操作，不能进行写操作。所能读取的文件，是拿到当前文件所有块的文件，缺少文件块的文件不能读。当HDFS处于安全模式时，说明有Datanode丢失块，当进行写操作时，有可能造成文件块丢失，所以HDFS用进入safemode来保护数据。当 NN得到所有块最小副本总数 / 块总数 < threhold (default:99.99%)时，NN进入safemode.相关命令： hdfs dfsadmin -safemode get 获取当前sa

2020-10-23 10:56:58 361

原创 dfs.blocksize配置原理

dfs.blocksize配置原理Hdfs存储的块大小，可以根据dfs.blocksize进行配置。根据最佳传输消耗理论，一次传输中寻址时间为总传输时间的1%为最佳状态。一般机器磁盘寻址时间为10ms，一次写入数据总传输时间为10ms % 1% = 1000ms一次写入数据最佳大小则为 1000ms * 磁盘写入速度如果磁盘的写入速度是100M/S，块最佳大小为 1000ms * 100M/S = 100M，可以设置dfs.blocksize=128M如果磁盘的写入速度是300M/S，块最

2020-10-22 20:53:37 2290

原创 LeetCode 167. Two Sum II - Input array is sorted

题目代码class Solution: def twoSum(self, numbers, target): """ :type numbers: List[int] :type target: int :rtype: List[int] """ left = 0; righ...

2018-07-10 02:22:44 223

原创 LeetCode 122. Best Time to Buy and Sell Stock II

题目代码class Solution: def maxProfit(self, prices): """ :type prices: List[int] :rtype: int """ count = 0 for i in range(1, len(prices)): ...

2018-07-10 02:21:41 164

原创 LeetCode 665. Non-decreasing Array

题目代码class Solution: def checkPossibility(self, nums): """ :type nums: List[int] :rtype: bool """ count = 0 for i in range(len(nums)): ...

2018-07-10 02:20:35 214

原创 LeetCode 392. Is Subsequence

题目代码class Solution: def isSubsequence(self, s, t): """ :type s: str :type t: str :rtype: bool """ i = 0; j = 0 index = 0 f...

2018-07-10 02:19:32 174

原创 LeetCode 605. Can Place Flowers

题目代码class Solution: def canPlaceFlowers(self, flowerbed, n): """ :type flowerbed: List[int] :type n: int :rtype: bool """ length = len(flo...

2018-07-10 02:18:29 166

原创 LeetCode 763. Partition Labels

题目代码class Solution: def partitionLabels(self, S): """ :type S: str :rtype: List[int] """ tmp_dict = {c:i for i, c in enumerate(S)} res_lis...

2018-07-10 02:17:24 169

原创 LeetCode 406. Queue Reconstruction by Height

题目代码class Solution: def insert(self, people, fromindex, toindex): tmp = people[fromindex] for i in range(toindex + 1, fromindex + 1)[::-1]: people[i] = people...

2018-07-10 02:16:15 161

原创 LeetCode 452. Minimum Number of Arrows to Burst Balloons

题目代码class Solution: def findMinArrowShots(self, points): """ :type points: List[List[int]] :rtype: int """ count = 0 i = 0; j = 0 end ...

2018-07-10 02:14:47 166

原创 LeetCode 435. Non-overlapping Intervals

题目思路贪心代码# Definition for an interval.# class Interval:# def __init__(self, s=0, e=0):# self.start = s# self.end = eclass Solution: def eraseOverlapIntervals(s...

2018-07-10 02:12:04 194

原创 LeetCode 455. Assign Cookies

题目思路贪心代码class Solution: def findContentChildren(self, g, s): """ :type g: List[int] :type s: List[int] :rtype: int """ g.sort() ...

2018-07-10 02:09:10 231

原创剑指offer 左旋转字符串

题目汇编语言中有一种移位指令叫做循环左移（ROL），现在有个简单的任务，就是用字符串模拟这个指令的运算结果。对于一个给定的字符序列S，请你把其循环左移K位后的序列输出。例如，字符序列S=”abcXYZdef”,要求输出循环左移3位后的结果，即“XYZdefabc”。是不是很简单？OK，搞定它！思路先旋转部分，再旋转总体代码# -*- coding:utf-8 -*-c...

2018-06-22 23:00:35 156

原创剑指offer 翻转单词顺序列

题目牛客最近来了一个新员工Fish，每天早晨总是会拿着一本英文杂志，写些句子在本子上。同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am a student.”。Cat对一一的翻转这些单词顺序可不在行，你能帮助他么？思路先翻转句子，再翻...

2018-06-22 22:46:28 190

原创剑指offer 和为s的连续正数序列

题目小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck! 输出描述: 输出所有和为S的连续正数序列。...

2018-06-22 22:24:31 139

原创剑指offer 和为s的两个数字

题目输入一个递增排序的数组和一个数字S，在数组中查找两个数，是的他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。输出描述: 对应每个测试案例，输出两个数，小的先输出。思路双指针，一个从左向右遍历，一个从右向左遍历。代码# -*- coding:utf-8 -*-class Solution: def FindNumbersWithSum(...

2018-06-22 21:49:24 189

原创剑指offer 数组中只出现一次的数字

题目一个整型数组里除了两个数字之外，其他的数字都出现了两次。请写程序找出这两个只出现一次的数字。思路所有的数字进行亦或运算，得到的数字最后一个不为0的位作为区分条件。代码# -*- coding:utf-8 -*-class Solution: # 返回[a,b] 其中ab是出现一次的两个数字 def FindNumsAppearOnce(self, ar...

2018-06-22 21:42:00 179

原创剑指offer 平衡二叉树

题目输入一棵二叉树，判断该二叉树是否是平衡二叉树。思路平衡二叉树左右深度不超过1代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right = Non...

2018-06-22 21:27:02 204

原创剑指offer 二叉树的深度

题目输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。思路递归代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None...

2018-06-22 21:15:04 136

原创剑指offer 二叉搜索树的第k个结点

题目给定一颗二叉搜索树，请找出其中的第k小的结点。例如， 5 / \ 3 7 /\ /\ 2 4 6 8 中，按结点数值大小顺序第三个结点的值为4。思路二叉树中序遍历代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# ...

2018-06-22 21:09:40 115

原创剑指offer 数字在排序数组中出现的次数

题目统计一个数字在排序数组中出现的次数。思路二分查找，记录数字出现最左位置和最右位置。代码# -*- coding:utf-8 -*-class Solution: def findLeft(self, data, k): left = 0; right = len(data) - 1 leftIndex = -1 ...

2018-06-22 20:59:45 133

原创剑指offer 两个链表的第一个公共结点

题目输入两个链表，找出它们的第一个公共结点。思路用两个指针，当它们指向链表末尾时，再从另一个头结点开始遍历。代码# -*- coding:utf-8 -*-# class ListNode:# def __init__(self, x):# self.val = x# self.next = Noneclass Solu...

2018-06-22 01:15:49 111

原创剑指offer 第一个只出现一次的字符

题目在一个字符串(1<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置思路用字典记录所有字符出现次数。代码# -*- coding:utf-8 -*-class Solution: def FirstNotRepeatingChar(self, s): # write code here ...

2018-06-21 23:58:25 109

原创剑指offer 丑数

题目把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。思路用一个数组记录当前找到的最小丑数。代码# -*- coding:utf-8 -*-class Solution: def GetUglyNumber_Solution(self, ...

2018-06-21 23:53:32 153

原创剑指offer 礼物的最大价值

题目题目描述在一个 m*n 的棋盘的每一个格都放有一个礼物，每个礼物都有一定价值（大于 0）。从左上角开始拿礼物，每次向右或向下移动一格，直到右下角结束。给定一个棋盘，求拿到礼物的最大价值。例如，对于如下棋盘1 10 3 8 12 2 9 6 5 7 4 11 3 7 16 5 礼物的最大价值为 1+12+5+7...

2018-06-21 22:08:16 437

原创 LeetCode 91. Decode Ways

题目思路DP代码class Solution: def numDecodings(self, s): """ :type s: str :rtype: int """ dp = [0 for i in range(len(s) + 1)] dp[0] = 1 ...

2018-06-21 22:01:16 100

原创剑指offer 把数组排成最小的数

题目输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。思路排序算法，如果num1+num2<num2+num1num1+num2<num2+num1num1+num2num1num1num1排在num2num2num2左边。代码# -*-...

2018-06-21 20:53:44 150

原创剑指offer 连续子数组的最大和

题目HZ偶尔会拿些专业问题来忽悠那些非计算机专业的同学。今天测试组开完会后,他又发话了:在古老的一维模式识别中,常常需要计算连续子向量的最大和,当向量全为正数的时候,问题很好解决。但是,如果向量中包含负数,是否应该包含某个负数,并期望旁边的正数会弥补它呢？例如:{6,-3,-2,7,-15,1,2,2},连续子向量的最大和为8(从第0个开始,到第3个为止)。你会不会被他忽悠住？(子向量的长度至...

2018-06-21 15:00:12 111

原创剑指offer 字符流中第一个不重复的字符

题目请实现一个函数用来找出字符流中第一个只出现一次的字符。例如，当从字符流中只读出前两个字符”go”时，第一个只出现一次的字符是”g”。当从该字符流中读出前六个字符“google”时，第一个只出现一次的字符是”l”。输出描述: 如果当前字符流没有存在出现一次的字符，返回#字符。思路使用队列和字典来存储输入的字符流。加入一个字符后，重新遍历队列，去除出现超过一次的字符。代码...

2018-06-21 14:48:52 93

原创剑指offer 最小的k个数

题目输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。思路partition代码# -*- coding:utf-8 -*-class Solution: def partition(self, tinput, left, right): leftIndex = left ...

2018-06-21 11:31:37 148

原创剑指offer 数组中出现次数超过一半的数字

题目数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。思路用一个变量记录当前数字出现的次数，下一个数字不同时变量减一，否则加一。代码# -*- coding:utf-8 -*-class Solution: ...

2018-06-20 23:10:27 97

原创剑指offer 字符串的排列

题目输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述: 输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。思路dfs代码# -*- coding:utf-8 -*-class Solution: def _...

2018-06-20 21:29:08 121

原创剑指offer 序列化二叉树

题目请实现两个函数，分别用来序列化和反序列化二叉树思路前序遍历序列化和反序列化，递归即可代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right =...

2018-06-20 17:48:51 114

原创剑指offer 二叉搜索树与双向链表

题目输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。思路递归代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# ...

2018-06-20 17:06:47 107

原创 ubuntu16.04安装伪分布式Hadoop2.9.1

1.前言最近需要搭建一个推荐系统，由于只有一台服务器，Hadoop使用伪分布式。2.安装伪分布式Hadoop2.1.添加Hadoop用户sudo useradd -m hadoop -s /bin/bash为hadoop设置密码sudo passwd hadoop为hadoop增加管理员权限sudo adduser hadoop sudo2.2.更新...

2018-06-20 11:59:40 1699 1

原创剑指offer 二叉树中和为某一值的路径

题目输入一颗二叉树和一个整数，打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。思路递归代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self....

2018-06-20 00:59:37 110

原创剑指offer 二叉搜索树的后序遍历序列

题目输入一个整数数组，判断该数组是不是某二叉搜索树的后序遍历的结果。如果是则输出Yes,否则输出No。假设输入的数组的任意两个数字都互不相同。思路后序遍历序列的根节点为最后一个值。搜索树的左子树小于根节点，右子树大于根节点。代码# -*- coding:utf-8 -*-class Solution: def VerifySquenceOfBST(self, ...

2018-06-20 00:02:06 115

原创剑指offer 从上往下打印二叉树

题目从上往下打印出二叉树的每个节点，同层节点从左至右打印。思路层次遍历代码# -*- coding:utf-8 -*-# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right = Nonecla...

2018-06-20 00:01:49 102

原创剑指offer 栈的压入弹出序列

题目输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4，5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。（注意：这两个序列的长度是相等的）思路压入栈的同时不断判断是否为序列代码# -*- coding:utf-8...

2018-06-20 00:01:36 128