咖啡加点儿冰-CSDN博客

原创 Pycharm连接MySQL

1.如果你在Pycharm中导入MySQL数据库失败，那么首先要安装MySQLdb包，去官网下载，下载好以后一路“下一步”安装即可。这个地方一定要注意，下载的MySQLdb模块要和你使用的Pycharm模块保持一致，不然后面会报错，64位下载地址。2.在Pycharm中添加Database Navigator依赖3.这个时候你的导航栏会有DB Navigator4.然后就可以调出DB Browse...

2018-04-12 15:39:49 10964

转载用Python来实现决策树、SVM和线性回归等机器学习算法

一、Python实现决策树我们看一组实例，贷款申请样本数据表。希望通过所给的训练数据学习一个贷款申请的决策树，用以对未来的贷款申请进行分类，即当新的客户提出贷款申请时，根据申请人的特征利用决策树决定是否批准贷款申请。在编写代码之前，我们先对数据集进行属性标注。年龄：0代表青年，1代表中年，2代表老年；有工作：0代表否，1代表是；有自己的房子：0代

2018-01-22 17:14:52 2337

原创 JDK语言包

JDK所提供的所有标准Java类都存放在Java包中，如java.lang包中包含了运行Java必不可少的系统类。由于系统会自动将java.lang引入，所以不需要在源文件中用import语句来显示地引入这个包。另外，Java跪地过java.util和java.io是必须提供的标准包，在JDK中常用的包有以下几种：1.java.lang：语言包2.java.util：实用包3.java

2017-10-16 15:45:09 774

原创 java.util包

按照Java8官方文档对java.util包的定义：java.util包是包含集合框架、遗留的 collection 类、事件模型、日期和时间设施、国际化和各种实用工具类（字符串标记生成器、随机数生成器和位数组、日期Date类、堆栈Stack类、向量Vector类等）、集合类、时间处理模式、日期时间工具等各类常用工具包。下面这张图概括了java.util包的基本构成下面按照重要性以及常

2017-10-16 10:47:40 636

原创 Java基础知识入门

1.当一个类有多个构造器时，一个构造器调用另外一个构造器，可以使用this。class Post { private String title; private String content; // 第一个构造器 public Post(String title) { this.title = title; } // 第二个构造器 publ

2017-10-14 20:58:50 14774 6

原创 Spark Streaming模拟网络热搜词和黑客过滤

近几年来，“热搜词”逐渐成为人们热议的话题，透过热搜词我们能迅速知道当下最流行的话题、最受欢迎的美食、播放最多的电影电视剧....object Top5 { def main(args:Array[String]){ val conf=new SparkConf() conf.setAppName("JasonShu") conf.setMaster("sp

2017-09-17 18:20:31 439

原创 Spark重点难点知识总结（一）

Master和Woker（相当于总经理和小组组长）Master：在基于standalone模式的Spark集群中，Cluster Manger就是Master，Master负责分配资源。Worker：Worker负责监控自己节点的内存和CPU等状况，并向Master汇报。资源的管理和分配：资源的管理和分配，由Master和Worker来完成。Master给Worker分配资源，M

2017-07-14 16:33:58 3712

原创 Spark重点难点知识总结（二）

一.Tuple2讲解1.何谓Tuple？Tuple就是用来把几个数据放在一起的比较方便的方式，注意是“几个数据”，因此没有Tuple1这一说。2.怎么用Tuple？val scores=Array(Tuple2(1,100),Tuple2(2,90),Tuple2(3,100),Tuple2(2,90),Tuple2(3,100))val content=sc.paralle

2017-07-03 16:12:24 3970 2

原创 JDBC,CaseClass,JSON,Parquet和Schema五种方式创建DataFrame

看了不少的wordcount程序，感觉这篇是比较好的，转载过来。点击打开链接import org.apache.spark.{SparkContext, SparkConf}/** * Created by Administrator on 2016/7/24 0024. */object WordCount { def main(args: Array[String]) {

2017-06-28 15:19:16 668 1

shuhaojie的博客