- 博客(230)
- 收藏
- 关注
RSS订阅原创 Flume原理并与Kafka结合原因
Flume是一个分布式的、可靠的日志收集、聚合、传输系统，简单来说就是将文件从A地点移动到B地点。Flume可以收集包含文件、Socket数据包等各种形式的数据，并且能够存储到HDFS、Hbase、Hive等。因此Flume的最大特点是具有很高的兼容性和自定义扩展能力。其核心为Agent，包含三个组件，Source、Sink等Source:采集源，用于同数据源对接 Channel通道，用于内部的数据传输，从Source到Sink Sink目标池，采集数据传输的目的地。Kafka.
2021-03-23 15:52:11
699
原创 Kakfka的理解及其特点
参考文章链接：https://zhuanlan.zhihu.com/p/68052232本文主要总结kafka的各项特点，用于辅助对该消息中间件的理解。图中各项元素的含义：Producer生产者，可以有多个生产者，作为消息的来源。Broker实例，即kafka的实例，每一个Broker可以看作一个服务器，或者一个虚拟机，或者伪集群中的一个。Topic主题，为消息的分类，可以有多个消息主题。Partition分区，作用是负载，提高kafka的吞吐量，同一个Topic在不同的分区的数
2021-03-23 14:56:27
484
1
原创 Kafuka Ubuntu16.04.1 环境搭建过程记录
Kafka Ubuntu16.04.1 环境搭建过程记录本文记录kafka环境搭建过程，用于前端展示用数据存储以及消费。1、首先查看系统环境内是否存在java环境，如果没有java环境，安装java环境即可，由于本人系统已安装好，所以不在展示安装过程。2、在opt文件夹下新建目录zookeeper、kafka,可能需要root权限。mkdir -p /opt/zookeepermkdir -p /opt/kafka3、下载zookeeper、kafka安装包，从阿里云镜像下载
2021-03-18 16:54:46
244
原创 Linux 环境下 python跨目录调用 （import）.py文件
一般情况下，引用会存在下面两种情况，通过c.py 引入 a文件夹下的.py或 b文件夹下的.py文件 第二种情况通过a文件夹下的.py文件引入b文件夹下的.py文件第一种情况的解决方法是在a文件下引入__init__.py，该py文件可以为空，这样c.py就可以导入a目录下reference.py或者b目录下main.py的函数了第二中情况，main.py import reference.py 则需要在main.py中引入a文件夹的绝对路径或者相对路径，如下图所示import sys
2021-02-04 09:52:23
7279
6
原创 no python application found, check your startup logs for errors
除了需要指明虚拟环境的路径，使用Flask时，还需要在ini文件中指明callable=app
2020-10-23 15:36:19
550
原创 uwsgi: error while loading shared libraries: libcrypto.so.1.1
uwsgi: error while loading shared libraries: libcrypto.so.1.1cp /home/.../anaconda3/lib/libssl.so.1.1 /usr/lib/cp /home/.../anaconda3/lib/libcrypto.so.1.1/usr/lib/
2020-10-23 13:43:18
331
原创 【Leetcode_总结】 1232. 缀点成线 - python
在一个XY 坐标系中有一些点，我们用数组coordinates来分别记录它们的坐标，其中coordinates[i] = [x, y]表示横坐标为 x、纵坐标为 y的点。请你来判断，这些点是否在该坐标系中属于同一条直线上，是则返回 true，否则请返回 false。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/check...
2019-12-12 09:58:32
221
原创 【Leetcode_总结】 1221. 分割平衡字符串 - python
在一个「平衡字符串」中，'L' 和 'R' 字符的数量是相同的。给出一个平衡字符串s，请你将它分割成尽可能多的平衡字符串。返回可以通过分割得到的平衡字符串的最大数量。示例 1：输入：s = "RLRRLLRLRL"输出：4解释：s 可以分割为 "RL", "RRLL", "RL", "RL", 每个子字符串中都包含相同数量的 'L' 和 'R'。示例 2：输入：s...
2019-12-11 14:25:05
269
原创 【Leetcode_总结】 1200. 最小绝对差 - python
给你个整数数组arr，其中每个元素都 不相同。请你找到所有具有最小绝对差的元素对，并且按升序的顺序返回。示例 1：输入：arr = [4,2,1,3]输出：[[1,2],[2,3],[3,4]]示例 2：输入：arr = [1,3,6,10,15]输出：[[1,3]]示例 3：输入：arr = [3,8,-10,23,19,-4,-14,27]输出：[[-14...
2019-11-04 20:00:41
405
原创 Tensorboard Fatal error in launcher
记录一下Bug解决办法：python -m tensorboard.main --logdir logs
2019-09-17 16:43:26
568
原创 Pycharm Hanlp windows 报错 关于 JVM DLL
最近使用Hanlp按照网上的步骤安装安装Java 1.8下载Hanlp-masterhanlp-1.7.4.jar配置hanlp.properties 里面 root 路径为java 安装路径下载 data 文件夹 放在hanlp 的 static里面CMD 运行 hanlp 没有问题Pycharm 运行报错重装jpype1 无效 怀疑是 pycham...
2019-09-11 15:40:45
724
原创 【Leetcode_总结】 1128. 等价多米诺骨牌对的数量 - python
Q：给你一个由一些多米诺骨牌组成的列表dominoes。如果其中某一张多米诺骨牌可以通过旋转 0度或 180 度得到另一张多米诺骨牌，我们就认为这两张牌是等价的。形式上，dominoes[i] = [a, b]和dominoes[j] = [c, d]等价的前提是a==c且b==d，或是a==d 且b==c。在0 <= i < j < dom...
2019-07-24 19:07:03
568
原创 【Leetcode_总结】 1122. 数组的相对排序 - python
给你两个数组，arr1 和arr2，arr2中的元素各不相同arr2 中的每个元素都出现在arr1中对 arr1中的元素进行排序，使 arr1 中项的相对顺序和arr2中的相对顺序相同。未在arr2中出现过的元素需要按照升序放在arr1的末尾。示例：输入：arr1 = [2,3,1,3,2,4,6,7,9,2,19], arr2 = [2,1,4,3,9...
2019-07-19 11:58:13
626
1
原创 【Leetcode_总结】 1104. 二叉树寻路 - python
在一棵无限的二叉树上，每个节点都有两个子节点，树中的节点 逐行 依次按“之” 字形进行标记。如下图所示，在奇数行（即，第一行、第三行、第五行……）中，按从左到右的顺序进行标记；而偶数行（即，第二行、第四行、第六行……）中，按从右到左的顺序进行标记。给你树上某一个节点的标号 label，请你返回从根节点到该标号为 label 节点的路径，该路径是由途经的节点标号所组成的。示例...
2019-07-11 14:19:55
515
原创 【Leetcode_总结】 1108. IP 地址无效化 - python
给你一个有效的 IPv4 地址address，返回这个 IP 地址的无效化版本。所谓无效化IP 地址，其实就是用"[.]"代替了每个 "."。示例 1：输入：address = "1.1.1.1"输出："1[.]1[.]1[.]1"示例 2：输入：address = "255.100.50.0"输出："255[.]100[.]50[.]0"思路：水一个链...
2019-07-11 10:35:26
182
原创 【Leetcode_总结】 1078. Bigram 分词 - python
Q:给出第一个词first 和第二个词second，考虑在某些文本text中可能以 "first second third" 形式出现的情况，其中second紧随first出现，third紧随second出现。对于每种这样的情况，将第三个词 "third" 添加到答案中，并返回答案。示例 1：输入：text = "alice is a good girl sh...
2019-06-11 15:02:48
453
原创 【Leetcode_总结】 1071. 字符串的最大公因子 - python
Q:对于字符串S和T，只有在S = T + ... + T（T与自身连接 1 次或多次）时，我们才认定“T能除尽S”。返回字符串X，要求满足X能除尽str1且X能除尽str2。示例 1：输入：str1 = "ABCABC", str2 = "ABC"输出："ABC"示例 2：输入：str1 = "ABABAB", str2 = ...
2019-06-06 10:17:23
479
原创 【Tensorflow Bug】CUDNN_STATUS_INTERNAL_ERROR
我的代码中，产生这个错误的解决办法是添加config = tf.ConfigProto(gpu_options=tf.GPUOptions(allow_growth=True))sess = tf.Session(config=config)限制显存的增长，不一定适用全部~...
2019-05-30 10:44:46
511
原创 【Leetcode_总结】 1046. 最后一块石头的重量 - python
Q:有一堆石头，每块石头的重量都是正整数。每一回合，从中选出两块最重的石头，然后将它们一起粉碎。假设石头的重量分别为x和y，且x <= y。那么粉碎的可能结果如下：如果x == y，那么两块石头都会被完全粉碎； 如果x != y，那么重量为x的石头将会完全粉碎，而重量为y的石头新重量为y-x。最后，最多只会剩下一块石头。返回此石头的重量。如果没有石头剩下...
2019-05-30 10:04:52
267
原创 【Leetcode_总结】 1047. 删除字符串中的所有相邻重复项 - python
给出由小写字母组成的字符串S，重复项删除操作会选择两个相邻且相同的字母，并删除它们。在 S 上反复执行重复项删除操作，直到无法继续删除。在完成所有重复项删除操作后返回最终的字符串。答案保证唯一。示例：输入："abbaca"输出："ca"解释：例如，在 "abbaca" 中，我们可以删除 "bb" 由于两字母相邻且相同，这是此时唯一可以执行删除操作的重复项。之后我们得...
2019-05-29 13:26:43
576
原创 【Leetcode_总结】1051. 高度检查器 - python
Q:学校在拍年度纪念照时，一般要求学生按照非递减的高度顺序排列。请你返回至少有多少个学生没有站在正确位置数量。该人数指的是：能让所有学生以非递减高度排列的必要移动人数。示例：输入：[1,1,4,2,1,3]输出：3解释：高度为 4、3 和最后一个 1 的学生，没有站在正确的位置。思路：好久没做了 水一道链接：https://leetcode-cn.co...
2019-05-29 12:02:10
261
原创 python \xef\xbb\xbf --- 去除
比较两个字符串 同样都是str 打印出来没有问题 都是一样的 但是str1 == str2 一直都是False将两个字符encode成UTF-8打印 发现前面多了\xef\xbb\xbf查阅资料是UTF-8的BOM前缀解决办法：str1.encode('utf-8').decode("utf-8-sig")...
2019-05-13 18:07:03
2183
1
原创 【Leetcode_总结】1038. 从二叉搜索树到更大和树 - python
Q：给出二叉搜索树的根节点，该二叉树的节点值各不相同，修改二叉树，使每个节点node的新值等于原树中大于或等于node.val的值之和。提醒一下，二叉搜索树满足下列约束条件：节点的左子树仅包含键小于节点键的节点。 节点的右子树仅包含键大于节点键的节点。 左右子树也必须是二叉搜索树。链接：https://leetcode-cn.com/problems/binary-sea...
2019-05-13 10:00:36
483
原创 【Leetcode_总结】1031. 两个非重叠子数组的最大和- python
Q:给出非负整数数组A，返回两个非重叠（连续）子数组中元素的最大和，子数组的长度分别为L和M。（这里需要澄清的是，长为 L 的子数组可以出现在长为 M 的子数组之前或之后。）从形式上看，返回最大的V，而V = (A[i] + A[i+1] + ... + A[i+L-1]) + (A[j] + A[j+1] + ... + A[j+M-1])并满足下列条件之一：0...
2019-04-29 15:11:13
429
原创 【Leetcode_总结】1023. 驼峰式匹配 - python
Q:如果我们可以将小写字母插入模式串pattern得到待查询项query，那么待查询项与给定模式串匹配。（我们可以在任何位置插入每个字符，也可以插入 0 个字符。）给定待查询列表queries，和模式串pattern，返回由布尔值组成的答案列表answer。只有在待查项queries[i]与模式串pattern匹配时，answer[i]才为true，否则为fal...
2019-04-24 13:45:26
201
原创 【Leetcode_总结】1030. 距离顺序排列矩阵单元格 - python
Q：给出R行C列的矩阵，其中的单元格的整数坐标为(r, c)，满足0 <= r < R且0 <= c < C。另外，我们在该矩阵中给出了一个坐标为(r0, c0)的单元格。返回矩阵中的所有单元格的坐标，并按到(r0, c0)的距离从最小到最大的顺序排，其中，两单元格(r1, c1)和(r2, c2)之间的距离是曼哈顿距离，|r1 -...
2019-04-24 10:59:25
323
原创 【Leetcode_总结】1022. 从根到叶的二进制数之和 - python
Q:给出一棵二叉树，其上每个结点的值都是0或1。每一条从根到叶的路径都代表一个从最高有效位开始的二进制数。例如，如果路径为0 -> 1 -> 1 -> 0 -> 1，那么它表示二进制数01101，也就是13。对树上的每一片叶子，我们都要找出从根到该叶子的路径所表示的数字。以10^9 + 7为模，返回这些数字之和。示例：输入...
2019-04-22 14:12:11
206
原创 【Leetcode_总结】1021. 删除最外层的括号 - python
Q：有效括号字符串为空("")、"(" + A + ")"或A + B，其中A和B都是有效的括号字符串，+代表字符串的连接。例如，""，"()"，"(())()"和"(()(()))"都是有效的括号字符串。如果有效字符串S非空，且不存在将其拆分为S = A+B的方法，我们称其为原语（primitive），其中A和B都是非空有效括号字符串。给出一个非...
2019-04-22 11:42:36
302
原创 tensorflow error LossTensor is inf or nan : Tensor had Inf values
如果在TensorFlow的程序中使用了tf.log()函数，也就是求了tf.log(0) 这样值就是inf 因此会报错解决办法：将tf.log改为如下：-tf.log(tf.clip_by_value(value, 1e-8, 1.0))...
2019-04-18 11:31:55
838
原创 【Leetcode_总结】1018. 可被 5 整除的二进制前缀 - python
给定由若干0和1组成的数组A。我们定义N_i：从A[0]到A[i]的第i个子数组被解释为一个二进制数（从最高有效位到最低有效位）。返回布尔值列表answer，只有当N_i可以被5整除时，答案answer[i]为true，否则为false。示例 1：输入：[0,1,1]输出：[true,false,false]解释：输入数字为 0,...
2019-04-02 16:35:49
274
原创 【Leetcode_总结】1016. 子串能表示从 1 到 N 数字的二进制串 - python
Q：给定一个二进制字符串S（一个仅由若干'0' 和 '1' 构成的字符串）和一个正整数N，如果对于从1到N的每个整数X，其二进制表示都是S的子串，就返回true，否则返回false。示例 1：输入：S = "0110", N = 3输出：true链接：https://leetcode-cn.com/problems/binary-string-wi...
2019-04-02 13:23:16
190
原创 【Leetcode_总结】1013. 将数组分成和相等的三个部分 - python
Q：给定一个整数数组A，只有我们可以将其划分为三个和相等的非空部分时才返回true，否则返回false。形式上，如果我们可以找出索引i+1 < j且满足(A[0] + A[1] + ... + A[i] == A[i+1] + A[i+2] + ... + A[j-1] == A[j] + A[j-1] + ... + A[A.length - 1])就可以将数组三等分...
2019-04-02 13:22:04
330
原创 【Leetcode_总结】1012. 十进制整数的反码 - python
Q：每个非负整数N都有其二进制表示。例如，5可以被表示为二进制"101"，11可以用二进制"1011"表示，依此类推。注意，除N = 0外，任何二进制表示中都不含前导零。二进制的反码表示是将每个1改为0且每个0变为1。例如，二进制数"101"的二进制反码为"010"。给定十进制数N，返回其二进制表示的反码所对应的十进制整数。示例 1：...
2019-03-19 15:02:08
337
原创 【Leetcode_总结】1003. 检查替换后的词是否有效 - python
Q：给定有效字符串"abc"。对于任何有效的字符串V，我们可以将V分成两个部分X和Y，使得X + Y（X与Y连接）等于V。（X或Y可以为空。）那么，X + "abc" + Y也同样是有效的。例如，如果S = "abc"，则有效字符串的示例是："abc"，"aabcbc"，"abcabc"，"abcabcababcc"。无效字符串的示例是："abcc
2019-03-07 11:21:35
188
原创 【Leetcode_总结】999. 车的可用捕获量 - python
Q：在一个 8 x 8 的棋盘上，有一个白色车（rook）。也可能有空方块，白色的象（bishop）和黑色的卒（pawn）。它们分别以字符 “R”，“.”，“B” 和 “p” 给出。大写字符表示白棋，小写字符表示黑棋。车按国际象棋中的规则移动：它选择四个基本方向中的一个（北，东，西和南），然后朝那个方向移动，直到它选择停止、到达棋盘的边缘或移动到同一方格来捕获该方格上颜色相反的卒。另外，车...
2019-02-27 21:38:48
125
原创 【Leetcode_总结】997. 找到小镇的法官 - python
Q:在一个小镇里，按从 1 到 N 标记了 N 个人。传言称，这些人中有一个是小镇上的秘密法官。如果小镇的法官真的存在，那么：小镇的法官不相信任何人。 每个人（除了小镇法官外）都信任小镇的法官。 只有一个人同时满足属性 1 和属性 2 。给定数组 trust，该数组由信任对 trust[i] = [a, b] 组成，表示标记为 a 的人信任标记为 b 的人。如果小镇存在秘密法...
2019-02-27 09:58:23
410
原创 【Leetcode_总结】897. 递增顺序查找树 - python
Q:给定一个树，按中序遍历重新排列树，使树中最左边的结点现在是树的根，并且每个结点没有左子结点，只有一个右子结点。 示例 ：输入：[5,3,6,2,4,null,8,1,null,null,null,7,9] 5 / \ 3 6 / \ \ 2 4 8 / / \ 1 7 9...
2019-02-22 19:25:01
222
原创 【Leetcode_总结】114. 二叉树展开为链表 - python
Q:给定一个二叉树，原地将它展开为链表。例如，给定二叉树 1 / \ 2 5 / \ \3 4 6将其展开为：1 \ 2 \ 3 \ 4 \ 5 \ 6链接：https://leetcode-cn.com/problems/f...
2019-02-22 13:20:51
352
原创 【Leetcode_总结】106. 从中序与后序遍历序列构造二叉树 - python
Q：根据一棵树的中序遍历与后序遍历构造二叉树。注意:你可以假设树中没有重复的元素。例如，给出中序遍历 inorder = [9,3,15,20,7]后序遍历 postorder = [9,15,7,20,3]返回如下的二叉树： 3 / \ 9 20 / \ 15 7链接：https://leetcode-cn.com/pro...
2019-02-22 11:48:40
228
原创 【Leetcode_总结】105. 从前序与中序遍历序列构造二叉树 - python
Q：根据一棵树的前序遍历与中序遍历构造二叉树。注意:你可以假设树中没有重复的元素。例如，给出前序遍历 preorder = [3,9,20,15,7]中序遍历 inorder = [9,3,15,20,7]返回如下的二叉树： 3 / \ 9 20 / \ 15 7链接：https://leetcode-cn.com/prob...
2019-02-22 11:40:48
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人