- 博客(30)
- 收藏
- 关注
RSS订阅转载 探索如何使用Flink CEP
写在前面前言的前言本文转自我自己的掘金主页，原文链接：https://juejin.im/post/5de1f32af265da05cc3190f9在学习Flink的过程中，我看过很多教程。无论是视频还是博文，几乎都把Flink CEP作为进阶内容来讲授。究其原因，大概是CEP涉及到的计算机基础知识很多，而我对于诸如NFA、DFA之类名词的印象，基本只停留在很多年前编译原理的课本上。那么如...
2019-12-01 18:07:37
431
2
原创 Python中一种四舍五入的方法
在大神的帮助下，了解了Python中四舍五入的方法。需要注意以下几点：不能使用浮点数，应该使用Decimal，因为浮点数储存的是近似值；传统的round()并没有错，它采用了“奇进偶舍”的策略，有兴趣的去搜索一下；要实现一般意义上的四舍五入，使用decimal库中的函数即可。# 使用一般的round()函数print(round(1.2345, 3))# 使用Decimal类的q...
2019-10-08 20:55:50
937
原创 Hive中，row_number() over(partition by) 和group by的区别
row_number() over (partition by) 和 group by 的区别现在假设Score表中有如下数据：NameClassGradeZhang SanA80Li SiB83Wang WuA88Zhao LiuC92Chen QiB79Wu BaC85现在需要求得各个班级最高分，那么我们可以...
2019-02-20 15:31:16
11608
3
原创 Spark踩坑：JsonMappingException: Incompatible Jackson version: 2.9.6
在Spark2中，如果使用了kafka库，则很容易产生如下错误：Exception in thread "main" java.lang.ExceptionInInitializerError at org.apache.spark.streaming.dstream.InputDStream.<init>(InputDStream.scala:80) at o...
2018-07-30 11:15:39
8544
4
原创 Spark踩坑：NoClassDefFoundError: org/apache/spark/streaming/dstream/DStream
在IDEA下，使用Maven构建Spark项目时，总是容易报如下错误： java.lang.NoClassDefFoundError: org/apache/spark/streaming/dstream/DStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Clas...
2018-07-30 10:51:01
2788
原创 IDEA下添加Hadoop2依赖
这几天在学习Hadoop，下载的是2.9.0的版本。期间，遇到了很多问题，其中有一个问题是在Intellij IDEA中配置Maven依赖项时遇到的。在网上的教程里，配置方式如下：<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> ...
2018-07-18 12:58:33
2367
原创 自编码器简介
作用AutoEncoder，中文译名自编码器。主要用于特征提取，可以理解为一种基于神经网络的压缩、降维算法，和PCA等类似。自编码器为一种有损压缩算法，通过压缩（编码）获得数据等抽象特征，并可以通过解压缩（解码），将抽象特征尽可能地还原成原始数据。 因此，根据原PPT中对自编码器“学习用户高度抽象的特征”这一描述，可以推测出在模型任务中，主要使用自编码器对数据进行特征提取。网络结构...
2018-07-18 12:56:09
1915
1
原创 使用SSD模型检测自定目标
SSD简介SSD（Single Shot MultiBox Detector）是深度学习领域一种新型的目标检测算法。在过去的几次国际比赛中，SSD在速度和准确性方面均取得优异成绩，与其他检测算法一度拉开很大差距。SSD的算法流程大体可以概括为产生候选区域、框选、判断、过滤几个步骤。其中，产生候选区域、框选和过滤的算法是固定的，而针对给定的候选区域，判断区域中的图像是否是待检测目标，需要使用...
2018-07-18 12:55:38
2652
2
原创 Spark算子之combineByKey
学习combineByKey算子的时候，对它的3个参数很是疑惑。经过一番实际练习，算是基本弄明白了，因此记录一下。combineByKey是针对不同partition进行操作的。它的第一个参数用于数据初始化（后面着重讲），第二个是针对一个partition的combine操作函数，第三个是在所有partition都combine完毕后，针对所有临时结果进行combine操作的函数。关于...
2018-07-18 12:54:40
2137
原创 Hadoop2中MR在上Yarn运行的流程
最近一直在补充Hadoop相关知识，发现网上相关知识很多，但是也比较杂，因此希望把自己的理解记录下来，方便日后查阅。首先要说明的是，Hadoop2和Hadoop1中，MapReduce程序的运行流程是不相同的。之前有关JobTracker的文章，讲述的主要是Hadoop1中的知识点。接下来，我按照流程，说一下自己对于Hadoop2中，MapReduce程序运行在Yarn上的流程。第一步...
2018-07-18 12:53:56
1090
原创 使用虚拟机配置分布式Ubuntu
有时候为了稳定高效，同时减少内存占用，我们需要使用没有GUI界面的Linux系统。例如，我在学习Hadoop的过程中，希望配置完全分布式环境，但是买不起价格高昂的VPS，因此虚拟机成了一个很好的选择。下面，我将结合自己的实际操作，向大家简要介绍一下VirtualBox下Ubuntu Server的安装和分布式配置方式。安装Ubuntu Server首先前往Ubuntu主页下载安装包，然...
2018-07-18 12:53:23
714
1
原创 ZooKeeper的安装、配置和使用
这大概是我第一次以教程的形式写博文。但是准确地说，这更应该是一次学习笔记。希望在自己学习的过程中，能够帮助他人。这篇博文的内容是我在学习ZooKeeper的同时撰写的，因此并不是很深入，适合和我一样希望学习ZooKeeper的同学。另外，如果你在文章中发现了错误，欢迎在评论中指正。下载和安装ZooKeeper的下载和安装还是很简单的，首先到Apache网站上找到Zookeeper的镜像...
2018-07-18 12:50:39
645
原创 Linux下更换pip镜像源
由于服务器距离太远，以及不可描述的原因，pip从国外服务器下载whl包的速度太慢，有时候甚至根本就无法下载。这时候就有必要切换到国内源服务器了。之前我上网查资料，发现很多资料中关于Linux系统下切换源的描述不是很准确，可能随着pip版本的升级，切换的方式改变了。因此在这里重新记录一下。首先到~/.config/.pip目录下新建（或修改）pip.conf文件。然后在文件中输入如下信息：...
2018-07-18 12:49:36
20464
3
原创 Maven中配置Hadoop 2.x版本
这几天在学习Hadoop，下载的是2.9.0的版本。期间，遇到了很多问题，其中有一个问题是在Intellij IDEA中配置Maven依赖项时遇到的。在网上的教程里，配置方式如下：<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> ...
2018-02-21 22:23:55
3371
1
原创 Mtcnn人脸检测实践
放寒假了，闲来无事就开始捣鼓人脸识别了。这次看了一篇2016年的论文，算是比较新的了。论文提到一种名为“基于多任务级联卷积神经网络进行人脸检测和对齐”的算法，英文名 Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks，简称MtCNN。论文地址如下：MTCNN_face_detec...
2018-02-21 22:21:37
9191
5
原创 机器学习作业9 - 自动确定k值的k均值聚类
自动确定k值的k均值聚类说实话刚刚看到这个作业我是懵逼的。k均值本身不难，可是要自动确定k值，我就不知所措了。于是脑补了无数种方法，最后决定求助度娘。研究了几个小时以后，渐渐有了思路，于是一步步展开，写一下自己的想法吧。
2017-12-08 22:36:40
3522
2
原创 机器学习作业8 - AdaBoost
AdaBoostUmm…这次作业写了很长时间，走了不少弯路，其实算法难度并不大，但是我一开始数据集选的比较奇葩，所以效果一直非常差，在50%左右徘徊，真是十分的绝望呀……后来换了个数据集，效果稍微好了点，超过了75%，还算能看吧。
2017-12-04 00:14:18
771
原创 机器学习作业7 - 随机森林
随机森林首先吐槽下，这个星期作业实在是太多了……一周两个机器学习项目实在伤不起啊！！！所以这一次的随机森林我决定放点水，决策树部分就不自己写了，还是调库吧……当然随机森林部分还是得自己写的。事实上，如果决策树部分直接调库的话，随机森林可能是实现起来最简单的机器学习算法了
2017-12-02 11:23:28
918
原创 机器学习作业6 - EM算法和朴素贝叶斯
EM算法和朴素贝叶斯上节课老师讲解了EM算法，然后要求我们使用EM算法完成一个低配版的朴素贝叶斯分类器。说实话网上的EM算法介绍的都比较抽象，对于数学并不是很好的我来说，看起来遇到了很大的障碍。对于EM算法的详细介绍可以参考 emma_zhang 的博文 机器学习之EM算法，下面我简单讲一下自己对于朴素贝叶斯分类器中EM算法的理解。
2017-11-28 13:58:42
4333
原创 机器学习作业5 - 使用SkLearn中的SVM进行学习
使用SkLearn中的SVM进行学习这次的作业还是很简单的。可能是由于SVM实现起来难度太大吧，老师就不要求我们实现了，直接用库就好啦！这酸爽~
2017-10-24 21:11:11
848
原创 机器学习作业4 - 决策树和剪枝
决策树和两种剪枝方式（预剪枝和后剪枝）首先吐槽一下本次作业的残暴！手写决策树也就算了，还要剪枝！还要两种剪枝方式！！！写的我手残眼花，不过还好，勉强达到了题目要求。不过可以说明的是，我的代码肯定有需要改进的地方，甚至可能存在Bug，所以大家如果在看的时候发现任何问题，都可以通过评论或者私信指出，在这里谢谢大家了！
2017-10-19 10:20:05
3187
3
原创 机器学习作业3 - 中心化的作用
中心化的作用这次作业是周志华《机器学习》中习题10.3，比较简单，就是一道问答题：在对高维数据进行降维的时候，为什么往往需要中心化呢？当然这个问题随便百度一下就一大堆答案啦，在这里放上我的理解，如有不对之处，还请指教。
2017-10-12 19:51:06
3454
1
原创 机器学习作业2 - MDS和ISOMAP降维
MDS和ISOMAP降维本作业使用MDS和ISOMAP两种降维算法，对耶鲁大学人脸数据集进行降维，然后使用作业1中的对率回归（逻辑回归）分类器进行训练。
2017-09-28 21:46:54
5132
2
原创 机器学习作业1 - 对率回归（逻辑回归）
使用10折交叉验证法和留一法评测对率回归分类器标题有点长哈……这是第一次作业，来自周志华《机器学习》作业3.4，题目如下： 选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归（逻辑回归）的错误率。
2017-09-28 21:06:15
6595
原创 Java使用ClassLoader抛ClassNotFoundException
Java使用ClassLoader抛ClassNotFoundException的可能情况
2017-06-27 16:52:33
2681
1
原创 Java使用URLClassLoader加载指定位置的类
在Java中，有时候需要加载不属于当前项目下的Class文件，此时可以使用URLClassLoader。 创建一个URL对象，指向需要加载的文件的目录注意要以“file:”开头，然后使用该URL对象新建一个URLClassLoader。接下来按照普通ClassLoader的使用方式加载类即可。 public static void main(String args[]) {
2016-12-01 23:10:20
2781
原创 Java中字符串常量相加
前几天写作业，遇到了一道很经典的基础题，在班群里还引起了一小波争论。经过一番探讨，得出了正确答案，所以记录一下~ 问题很简单： String str = “a” + “b” + “c”;这段代码在运行时会产生多少个对象？ 很明显”a”, “b”, “c”都是字符串常量，如果事先存在，是不会产生新对象的。 而Java编译器在编译期间就会将类似的代码优化为： String str = “
2016-09-06 16:21:32
2065
原创 Java和C++构造函数调用其它函数
Java和C++构造函数调用其它函数这些天一直在写老师布置的Java作业，其中有一道面试题引起了我的注意，内容如下：class Father{ Father(){ Print(); } void Print(){ System.out.println("I am Father."); }}class Son extends Fathe
2016-08-11 17:28:05
560
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人