- 博客(14)
- 收藏
- 关注
转载 为什么 Kafka 依赖 ZooKeeper?
一、ZooKeeper 简介1.基本介绍 ZooKeeper 的官网是:Apache ZooKeeper。在官网上是这么介绍 ZooKeeper 的:ZooKeeper 是一项集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务。 当我们编写程序的时候,通常会将所有的配置信息保存在一个配置文件中,例如账号、密码等信息,后续直接修改配置文件就行了,那分布式场景下如何配置呢?如果说每台机器上都保存一个配置文件,这时候要一台台的去修改配置文件难免出错,而且要管理这些机器也会变得复杂和困难
2021-11-25 22:19:30 3644
转载 Mac OS安装Burpsuite_pro_v1.7.37
电脑环境:Mac OS版本:10.15.3 (19D76)一、Mac 安装好JDK环境1、JDK下载地址:(https://www.oracle.com/java/technologies/javase-downloads.html)本次选JDK环境为:Java SE 8u251image.png2、将dmg下载包下到本地,双击,出现JDK 8 Update 211.pkg图示,双击按步骤执行安装即可。最终提示:安装成功,图示如下:image.png备注说明.
2021-10-04 19:53:12 610
转载 贪心算法,需要了解什么
关于贪心算法,你该了解这些!正式开始新的系列了,贪心算法! 通知:一些录友表示经常看不到每天的文章,现在公众号已经不按照发送时间推荐了,而是根据一些规则乱序推送,所以可能关注了「代码随想录」也一直看不到文章,建议把「代码随想录」设置星标哈,设置星标之后,每天就按发文时间推送了,我每天都是定时8:35发送的,嗷嗷准时,哈哈。#什么是贪心贪心的本质是选择每一阶段的局部最优,从而达到全局最优。这么说有点抽象,来举一个例子:例如,有一堆钞票,你可以拿走十张,如果想达到最大的金额,你要怎么拿?
2021-09-21 09:54:50 113
原创 Spark 中LocalKmeans算法详解
一、Kmeans算法思想Kmeans算法的具体思想这里省略。Kmeans算法实现步骤一般如下:1、从D中随机取k个元素,作为k个簇的各自的中心,或者随机生成k个中心元素。2、分别计算剩下的元素到k个簇中心的相异度,将这些元素分别划归到相异度最低的簇。3、根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素各自维度的算术平均数。4、将D中全部元素按照新的中心重新聚
2015-11-06 10:14:55 1119
原创 Windows 远程连接Hbase常见错误
错误1:15/10/13 16:49:04 WARN zookeeper.RecoverableZooKeeper: Possibly transient ZooKeeper, quorum=localhost:2181,exception=org.apache.zookeeper.KeeperException$ConnectionLossException: Keepe
2015-10-30 20:48:32 5440
原创 Hadoop WordCount 详解
mapreduce运行机制,这些按照时间顺序包括:输入分片(input split)、map阶段、combiner阶段、shuffle阶段和reduce阶段。 输入分片(input split):InputSplit是Hadoop定义的用来传送给每个单独的map的数据,在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input s
2015-10-30 20:39:41 1692
原创 在Apache Spark上跑Logistic Regression算法及其中的一些错误问题
在spark上跑Logistic Regression算法,主要参考文章http://mp.weixin.qq.com/s?__biz=MzA4Mzc0NjkwNA==&mid=209693842&idx=2&sn=b276dd93fd68e8a948d71a870deb7237&scene=5&srcid=4DbxDWAICfegAjjGyisg#rd这是微信上分享的一篇文章,同时文章http:
2015-08-26 22:01:24 2079
转载 scala 学习
主要转载自十二步学会Scala,主要是翻译自《Programming in scala》,下载了一本中文翻译的版本《scala 编程》,感觉翻译的好差,博客中讲的还好!http://alanwu.iteye.com/blog/477653
2015-05-24 16:46:09 398
原创 spark 单机模式配置
折腾了好几天,开始在windows上直接拿源码编译,中间出现各种问题,最后样例运行不了,各种找解决方案,也没成功。后来又换到Linux上,折腾了一下午终于成功了。首先贴出参考文章:http://blog.csdn.net/hxpjava1/article/details/19177913#t7步骤基本是相同的,不同的就是我遇到了一些错误,找的别的解决方案。首先需要准备的环境:
2015-05-17 16:55:16 1356
原创 windows环境下搭建spark
Spark Windows 调试环境搭建教程本教程介绍的是Windows环境下的Spark调试环境的搭建步骤。 主要参考文章:http://wenku.baidu.com/link?url=ZVIXNbwGZE4Z41zvG6UBO911urnYDRzNJgc6LfcMyh-u896L92lAV1qitmeTsdMREb2hJAcfGjOd3ZI67X9CjkDS7CjchyhGXMu
2015-05-14 20:50:41 1333
原创 斯坦福 机器学习 ex2
1 Logistic Regression1.1 Visualizing the data在plotData.m中,添加如下代码:pos = find(y==1); neg = find(y==0);plot(X(pos,1),X(pos,2),'k+','LineWidth',2,'MarkerSize',7);%X(pos,1)and X(pos,2) 得到正样本的行列坐标
2015-05-02 19:10:16 2496
原创 斯坦福 机器学习 ex1
1 Simple Octave/MATLAB function在warmUpExercise.m,中,添加代码A = eye(5);%定义5*5的对角矩阵运行ex1.m后结果为:Running warmUpExercise ... 5x5 Identity Matrix: ans = 1 0 0 0 0 0
2015-05-02 15:15:45 2213 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人