- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 java记录-集合
一、集合与数组数组（可以存储基本数据类型）是用来存储对象的一种容器，数组的长度是固定的，不适合在对象长度未知的情况下使用。集合（只能存储对象，对象的类型可以不一样）他的长度是可变的，可在多数的情况下使用。二、层次关系Collection├List│├LinkedList│├ArrayList│└Vector│ └Stack└SetMap├Hashtable├HashMap└WeakHashMapC...
2018-06-20 18:10:35
198
原创 java记录-String的基础知识
1.String 类是不可改变的，所以你一旦创建了 String 对象，那它的值就无法改变了，因为String使用private final char value[]来实现字符串的存储。2.String是一个对象，不是基本的数据类型，char[]和所有的对象一样存放在堆内存中，而基本数据类型是保存在栈中的。3.Java中的内存分析：栈（stack）：存放基本数据类型的变量数据和对象的引用。对象不放...
2018-06-20 11:26:51
234
原创 spark调优-并行度调优
一个spark任务为一个application一个job的划分为一个action操作触发一个job可以被分为多个stage，在一个lineage中，发生shuffle操作时会拆分一个stage，shuffle操作一般发生在以下的几个算子中，distinct、groupbykey、reduceByKey、aggregateByKey、join、cogroup、reparation等中。这其中也是最容...
2018-06-14 14:34:36
444
原创 spark性能调优-配置调优
1.在spark-submit shell中主要参数为：--num-executors 3 \ 配置executor的数量--driver-memory 100m \ 配置driver的内存容量--executor-memory 100m \ 配置每个executor的内存大小--executor-cores 3 \ 配置每个executor的cpu执行数量2.调优增加executor的数...
2018-06-14 14:05:53
313
转载 java记录-几种常用的工厂模式
简单（静态）工厂：一个栗子： 我喜欢吃面条，抽象一个面条基类，(接口也可以)，这是产品的抽象类。public abstract class INoodles { /** * 描述每种面条啥样的 */ public abstract void desc();}123456先来一份兰州拉面（具体的产品类）：public class LzNoodles extend...
2018-06-05 18:51:42
1024
原创 java记录-JDBC连接池的设计
设计一个数据库连接池的几个步骤和要点一：步骤首先要创建一个工具类，然后在类中创建静态代码块中加载驱动。// 静态代码块中直接加载数据库驱动static { try { String driver = ConfigurationManager.getProperty(Constants.JDBC_DRIVER); Class.forName(driver);...
2018-06-05 16:39:35
378
原创 java记录-关于内部类的使用
1.何为内部类：顾名思义就是包含在类中的类，就叫做内部类，内部类就两种：静态内部类和非静态内部类；2.静态内部类：public class School{ private static School school = null; static class Teacher {} }非静态内部类：public class School { private String ...
2018-06-05 10:54:52
85
原创 java记录-单例模式的原理
1.单例模式是什么意思：我们自己定义的类，默认情况下是可以被外界的代码随意创建任意多个实例的，但是有时候我们不希望外界去随意的创建实例，而是在整个程序运行期间，只有一个实例类。2.实现单例模式有几个要点：（1）.不想让外界随意创建实例，那就必须是类的构造函数的类型为private；（2）.既然构造函数被私有化了，那外界要获取类的实例就必须调用类内部的静态方法获得；（3）.所以类要创建一个静态方法g...
2018-06-04 17:57:19
316
原创 spark 学习记录 二次Key排序的使用方法
目的是为了当key相同的时候，对value进行自定义排序//二次排序，具体实现步骤//第一步：按照Ordered和Serrializable接口实现自定义排序的Key按照需要排序的字段重写ordered的方法//第二步：将要进行二次排序的文件加载进来生成《key，value》类型的RDD将pairRDD转换成二次排序的bean，将原来的反转一次Maptopair("二次排序的bean",key)/...
2018-05-23 15:54:39
631
转载 spark 学习记录 rdd 转 dataframe 写入mysql的示例
spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topic名称和sql语句，后台读取自己配置好的内容字段反射成一个class并利用出入的sql对实时数据进行计算，这种情况下不会spark streaming的人也都可以方便的享受到...
2018-05-23 14:33:31
1172
原创 spark 学习记录 -- Spark中foreachPartition和partitions.foreach的区别
foreachPartition 属于action运算操作，而mapPartitions是在Transformation中，所以是转化操作，此外在应用场景上区别是mapPartitions可以获取返回值，继续在返回RDD上做其他的操作，而foreachPartition因为没有返回值并且是action操作，所以使用它一般都是在程序末尾比如说要落地数据到存储系统中如mysql，es，或者hbase中...
2018-05-15 18:49:43
3931
原创 简单小球弹砖块游戏
前段时间，在学习了Java编程以后，为深化面相对象的理解，编写了一个简单的小球弹砖块游戏！希望可以给同为初学者的你一些借鉴！ 以下为实现以后的截图，分享给大家！开始界面设置界面游戏界面
2015-05-06 14:50:36
2157
1
弹小球打砖块游戏
2015-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人