- 博客(8)
- 收藏
- 关注
RSS订阅原创 部署spring boot项目到spark上
先说一下开发环境大概情况：IDE：IntelliJ IDEA使用spring boot和gradle进行项目的构建jdk版本 1.8，这里注意一下，开发环境打jar包时的jdk版本要和spark配置里的jdk的版本一致。步骤1、完成coding后，把当前module打成jar包，具体可参考 这篇文章，自行修改build.gradle打包。成功后从目录build/l
2018-01-16 17:12:27
4303
1
原创 python2.7和3.5的http请求（urllib, urllib等）
需求的请求格式： http://www.baidu.com/s?wd=word&time=timepython2.7# !/usr/bin/python# -*- coding:utf-8 -*-import urllib2import urllibdef sendReq(): url = 'http://www.baidu.com/s' values =
2018-01-08 21:26:19
5578
原创 SPARK基础概念
Spark集群spark的核心模块专注于调度和管理虚拟机上分布式计算任务的执行，集群中的计算资源则交给Cluster Manager这个角色来管理。Cluster Manager一般采用Master-Slave结构。以Yarn为例，部署ResourceManager服务的节点为Master，负责集群中所有计算资源的统一管理和分配；部署NodeManager服务的节点为Slave，负责在
2018-01-05 19:30:01
296
原创 （string）、toString（）和String.valueOf（）三种类型转换
1、（String） 这是标准的类型转换，将object转成String类型的值。使用这种方法时，需特别小心的是因定义为 Object 类型的对象在转成String时语法检查并不会报错，这将可能导致潜在的错误存在。这时要格外小心。例： Object obj = new Integer(100); String strVal = (String)obj;在运行时将会
2017-12-23 13:52:29
3140
原创 Java容器
简单的容器分类图。其中总共有四种容器：Map、List、Set和Queue，它们各有两到三个实现版本。常用的容器用黑色粗线框表示。点线框表示接口，实线框表示具体的类。带有空心箭头的点线表示一个特定的类实现了一个接口，实心箭头表示某个类可以生成箭头所指向类的对象。接下来说一说Iterator和Iterable两个接口的区别。Iterable接口（Java.lang.Iterable）
2017-07-08 10:29:08
219
原创 阶乘问题
问题1.给定一个整数N，那么N的阶乘N！末尾有多少个0呢？例如：N=10，N！=3628800，N！的末尾有两个0.问题分析碰到这个问题，有些人可能回想：是不是要完整计算出N！的值？实际上可以从“哪些数相乘能得到10”这个角度来考虑，问题就变得简单了。首先考虑，如果N！=K×10M且K不能被10整除，那么N！末尾有M个0。再开率对N！进行因数分解，N！=（2X）× （3Y）×
2017-07-03 15:10:20
345
原创 求二进制数中1的个数
Q：对于一个字节（8bit）的无符号整型变量，求其二进制表中“1”的个数，要求算法的执行效率尽可能高。解法1对于二进制操作，对一个二进制数除以一个2，原来的数字会减少一个0。如果除的结果中有余，那么就表示当前位置有一个1。int Count(BYTE v){ int num = 0; while (v) { if (v % 2 ==1){
2017-06-30 13:37:45
216
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人