初级以上-CSDN博客

原创 java - io - RandomAccessFile 源码走读

RandomAccessFile 用于随机访问文件，这里的随机是指可以自动由移动读取文件内容的指针/位置（position），实现可进可退，可跳跃的访问文件内容。不像流，只能向前读写。另外 RandomAccessFile 即支持读操作，也支持读操作。RandomAccessFile 有多种访问文件的模式（mode ）

2017-12-12 23:32:24 667

原创浅说云计算之 OpenStack

OpenStack 是一套开源的，实现了 IaaS （基础设备即服务）的解决方案。OpenStack 通过一系列相互关联的内部服务组件，以提供基础设施即服务的解决方案。而且这些服务组件是可以按需安装的，可以按自己的要求选择服务组件搭配。

2017-09-02 21:09:43 708

原创 Spark Web UI 的应用说明

每个 SparkContext 运行时，都会运行一个 Web UI ，默认 4040 端口。解读：每个 Spark Application 都会开启一个自己的 Web UI，默认端口号为4040。访问地址： http://:4040 。如果同一 node 上运行了多个 Spark Application 则这些应用的端口将会往上累加，eg ： 4040,4041,4042 。Spark A

2017-08-31 23:45:32 8219

Jupyter notebook 安装后，启动后，默认的工作空间是当前用户目录。为了方便对文档进行管理，往往需要自行设置工作空间。下面介绍一种便捷的工作空间设置方法。对 Jupyter notebook 快捷方式进行修改。右击 jupyter notebook 快捷方式 -> 属性 -> 把“目标”中的 %USERPROFILE% 替换成你想要的目录，eg：D:\python-workspace。

2017-08-31 23:41:21 4447

原创实战 - Hive 中构建 dual 表

使用过 Oracle 的人，估计对 dual 表都不会陌生，但是 Hive 中，默认情况下是没有 dual 表的，需要我们自己动手去构建。其实方法很简单。

2017-08-22 09:19:11 1837

原创有道云笔记 Markdown 中如何引用自己的图片

Markdown 可以引用网上的图片，但是自己的图片，要想在Markdown中引用，则需要想办法把自己的图片上传到网上，常用的方法无非2两种：github、博客。我发现有另外的第3种方法，它更简单，而且也方便管理自己的图片。以下我介绍这第3种方法：管理自己的图片：在有道云笔记中新建一个目录/文件夹——我的图片；上传图片到有道云笔记上的“我的图片”目录下；分享图片，会得到1个文件的分享URL，复

2017-08-18 11:33:57 13933 6

原创评估算法的“时间复杂度”与“空间复杂度”

温故。分析一个算法的优劣，需要考虑当输入非常大的情况下，算法的“时间复杂度”和“空间复杂度”的算法计算量的变化趋势。如果输入比较小，那就没有比较算法的必要了。而且算法的估计也只是一种抽象比较方法，相对于高级语言而言。

2017-07-23 13:17:27 925

原创实战 - 部署 Spark Application 到集群

命令格式【命令式】 spark-submit [options] <app jar | python file> [app options]【例子】spark-submit --master spark://host:7077 --executor-memory 10g my_script.py参数： 1. –master ：指定 cluster connetion URL ，可以有多种集群

2017-07-21 09:50:49 750

转载全球最好的IT企业文化：Netflix 企业文化

作者｜Netflix 编辑｜核子可乐、李梦原文地址：挫这里Netflix 企业文化我们负责联结人与故事，也拥有许许多多的人和故事。全球数亿的用户是个良好开端，但将来我们希望能娱乐每一个人。如同友谊，娱乐是人类的核心需求之一。无论是大是小、戏剧性抑或讽刺性，娱乐总会触动我们、改变我们的感受并引起共识。我们的企业文化强调自身如何以员工身份团结起来服务用户和自我成长。企业文化成就了今天的

2017-07-11 16:45:46 2155

原创实战 - Spark SQL 整合Hive时，报错找不到mysql驱动

在Spark SQL整合Hive时，老报错：The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.尝试过：1. 把 $HIVE_HOME/

2017-07-10 17:33:33 1931 1

原创实战 - shell编程的日期格式化处理大全

shell编程中最用到的日期格式化处理方式大全。

2017-07-07 09:12:11 2106

原创实战 - Spring boot 整合Hive ：java.lang.NoSuchMethodError

使用Spring boot整合Hive，在启动Spring boot项目时，报出异常：java.lang.NoSuchMethodError: org.eclipse.jetty.servlet.ServletMapping.setDefault(Z)V经过排查，是maven的包冲突引起的，具体做法，排除：jetty-all、hive-shims依赖包。对应的pom配置如下： <depende

2017-07-05 13:40:36 5135

原创概念 - 云计算分层架构

云计算有3种服务模式：IaaS、PaaS、SaaS。这3种服务模式在云计算中承担着不同的角色。

2017-07-02 11:39:25 5409

原创实战 - LTS服务关闭

light-task-scheduler （LTS）国内开源的分布式作业调度系统。主要用于解决分布式任务调度问题，支持实时任务，定时任务和Cron任务。请大家一起支持国产开源。LTS的安装部署，请参见另一篇博客：实战-LTS安装部署

2017-06-30 11:22:49 1049

原创实战 - Java程序最后的清道夫Runtime.addShutdowHook

做一个爱护环境，热爱资源的程序员，在使用应用程序后，记录及时释放资源，在阅读LTS源码时，发现了Runtime.addShutdownHook()的用法，稍微记录一下。使用该方法可以给当前JVM注册一个关闭挂勾线程，在程序退出时，会执行这个关闭挂勾线程，而这个时间点，最适合进行资源的释放工作。以下直接看实例代码：/* * JVM虚拟器关闭挂勾：在JVM关闭时，触发执行：一般用于资源释放。 * 在

2017-06-30 09:39:26 509

转载人人都应该掌握的9种数据分析思维

作者：马尔克数据圈成员来自36大数据（36dsj.com)：http://www.36dsj.com/archives/86944说到数据分析，啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容，往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路，希望大家能喜欢~

2017-06-28 23:49:09 857

原创实战 - LTS安装部署

light-task-scheduler （LTS）国内开源的分布式作业调度系统。主要用于解决分布式任务调度问题，支持实时任务，定时任务和Cron任务。请大家一起支持国产开源。项目地址：github地址: https://github.com/ltsopensource/light-task-scheduleroschina地址: http://git.oschina.net/hugui/ligh

2017-06-28 09:26:27 10495

原创实战 - 切换项目svn资源库

由于对SVN代码仓库的目录进行了调整，所以本地的项目都关联不到源。在STS等IDE工具中，切换项目的svn资源库位置。切换后，会自动比较本地项目与仓库中项目的版本，并不会造成影响代码。

2017-06-27 22:57:55 2172

转载 REST API URI的七大设计原则

在了解REST API URI设计的规则之前，让我们快速浏览一些我们将要讨论的术语。URIsREST API使用统一资源标识符（URI）来寻址资源。在当今互联网上，充斥着各种各样的URI设计规则，既有像//api.example.com/louvre/leonardo-da-vinci/mona-lisa这样能够清楚的传达API资源模型的文章，也有很难理解的文章，例如：//api.example.c

2017-06-27 10:19:07 748

原创实战 - Python基础之导入模块

在Python中，有很多功能以模块的形式已经准备好了，但是Python默认不会自动帮你导入模块，这样是为了保持脚本的简洁，根据需求来导入。Python中模块的概念，类型于java和C#中的库。使用import可以导入Python模块。 Python模块：是一个.py文件。通过 from import 导入模块的指定部分。#--coding:utf-8--#python脚

2017-06-26 23:25:08 681

原创实战 - Python基础之字符串格式化

python的字符串中，使用 %s 、 %d 来说明该位置留给变量，可在字符串后面用 %(变量列表) ，一一对应地将 %s 、 %d 替换成变量的值。 %s : 可以用于代替’字符串变量’，’数字变量’。 d% ：只能用于代替’数字变量’。#-- coding:utf-8 --my_name = 'LuLu'my_age = 30my_height = 174my_wei

2017-06-24 13:13:59 340

原创实战 - Hive 写入数据时报错：java.lang.IllegalArgumentException: java.net.URISyntaxException

通过Hive向表中写入数据时，报错：java.lang.IllegalArgumentException: java.net.URISyntaxException: Illegal character in scheme name at index 0: file:///usr/software/hive-1.2.1/lib/hive-hbase-handler-1.2.1.jar纵观网上帖子，经过

2017-06-23 10:20:04 3812

原创实战 - Python基础之注释

Python编程语言，使用#号作为注释说明，#号之后的内容，Python会忽略，注释可以在行的开始位置，也可以在代码行的后面。在代码中适当地使用注释，有利于增强代码的可读性，同时也是养成良好编成习惯的必备技能。下面通过代码实现ex2.py，展现Python中如何使用注释。

2017-06-22 23:43:07 399

原创实战 - Python基础之中文输出

如果想要在python程序中打印中文，默认情况下，你只会收到错误。在ex1.py中加入打印中文的代码，改成如下：print "Hello Python!"print "Hello Again."print "I like typing this."print "This is fun."print "Yay!Printing."print "I'd much rather you 'not

2017-06-22 23:11:57 461

原创实战 - Python基础之 HelloWorld打印文本

环境说明操作系统： Ubuntu14.0.4-LTSPython：2.7.6编辑器：gedit编辑器设置设置tab键的宽度：Edit->Preference->Editor->Tab Width设置为4。用空格来替换tab：勾选，Insert spaces instead of tabs。显示行号：Edit->Preference->View，勾选，Display line numbe

2017-06-22 23:00:53 487

转载实战 - 修改MySql数据库的字符集

本文内容，参照网上资料，进行梳理整理而成，经过实际试验总结如下。环境说明操作系统：Centos6.5MySql数据库：mysql-5.7修改数据库字符集数据库的字符集，会影响到中文显示，建议在安装完MySql数据库后，修改好数据库的编码方式。如果不修改，在实际业务系统运行过程中，可能会出现中文乱码的问题。 1. Mysql数据库字符集设置参考：+-----------------------

2017-06-22 17:01:38 902

原创实战 - 修改MySql 数据库最大连接数

查看数据库最大连接数 show variables like ‘max_connections’;修改数据库最大连接数：进入MYSQL安装目录C:\ProgramData\MySQL\MySQL Server 5.6\my.ini（此目录默认为隐藏文件，可显示系统隐藏文件找到或直接拷贝此目录打开）打开MYSQL配置文件 my.ini查找” max_connections = 100” 修

2017-06-22 16:34:52 634

原创实战 - Hive 日期时间运算与比较

日期比较：2个时间的比较，返回2个时间相差的天数。--函数： datediff(string end_date,string start_date); select datediff("2017-06-16 15:00:01","2017-06-15 15:01:01"); --输出： 1select datediff("2017-06-16 15:00:01","2017-06-18 16:

2017-06-19 12:23:47 29160

原创实战 - Hive 日期时间格式函数

系统的当前时间的时间戳-- 输出当前的系统时间，以时间戳形式输出，bigint类型；select nunix_timestamp();字符串时间转换为时间戳--默认，字符串日期格式必须是以"yyyy-MM-dd HH:mm:ss"格式，否则会返回0。select unix_timestamp("2017-06-16 15:50:00");--输出：1497599168select unix_ti

2017-06-19 11:00:08 2175

原创实战 - Hive cli命令行工具默认显示当前数据库

Hive 支持多数据库，Hive 默认的数据库是 default，每个数据库都是一个 hdfs 目录，default 比较特殊，位于 Hive 存储根目录下，其他新建的数据库都会位于根目录子目录，子目录名为数据库名。默认情况下，Hive cli并不会显示当前数据库，但 hive 提供了一个属性： hive.cli.print.current.db=true; 来设置打印当前数据库名称。具体设置方法

2017-06-06 23:45:45 5468

原创实战 - hive 数据库SQL操作

在 hive cli 中创建数据库hive (default)> CREATE DATABASE IF NOT EXISTS testdb;查看hive中的数据库#查看所有已创建的数据库hive (default)> SHOW DATABASES;#匹配查询数据库: 查找test开头，且后续有字符的数据库hive (default)> SHOW DATABASES LIKE 'test.*'

2017-06-05 16:24:10 1271

原创实战 - Hive中使用变量（环境变量、命令行变量、Hive 配置属性）

在Hive命令行工具中，可以使用系统环境变量、Hive配置文件中定义的属性以及Hive命令行工具中定义的变量。通过 set 命令，可以访问变量和修改变量的值。不同的变量，存储在不同的命名空间中。通过命名空间可以访问到变量。系统环境变量，存储于 evn 命名空间中，该命名空间中的变量是只读的；Hive配置属性，存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的；Hive命令行变

2017-06-02 11:17:52 13798 1

原创概念 - Docker 介绍及主要概念

Docker介绍认识Docker从Docker的logo来理解Docker，这是一只鲸鱼，它载着许多集装箱。可以把Docker宿主的机器看作是这条鲸鱼，把相互隔离的容器看成集装箱，每个集装箱中包含自己的应用程序及运行环境。Docker的思想是：创建软件程序可移植的轻量容器，即容器可以在任何安装了Docker的机器上运行，而不需要关注宿主机器的操作系统。Docker能做什么？Docker能够做虚拟机可

2017-05-27 18:01:35 671

原创实战 - Docker的Hello World

学习一门新的技术，已经都习惯有hello world这样的简单示例，学习Docker也不免俗吧。在安装好Docker之后，我们可以开始实现Docker的hello world示例。我们需要一个linux系统的镜像busybox，busybox是最小化的版本的linux操作系统，然后使用镜像来启动容器，实现我们的docker hello world。具体实现的过程如下。拉取镜像由于刚安装了Docker

2017-05-27 17:48:40 547

原创实战 - 快速安装 Docker

在国内要安装Docker，真不是一件顺心的事情，我根据Docker官方文档安装Docker，安装速度非常的慢啊，折腾了好几次都没有安装成功，也度了好多网上教程，也没有安装成功，最后发现DaoCloud有快速的安装方法，DaoCloud即简化了繁杂的步骤，也加速了部署速度，一下子就安装好了。本文把我部署Docker的过程分享给需要的朋友，避免再走弯路。环境说明安装Docker需要64位的Ubuntu，

2017-05-27 00:10:29 2010

原创实战 - WPF 窗口中展现网页

一、有需求在WPF应用程序中，需要使用到WEB项目的资源，第一时间想到的就是在WPF窗口中，展现WEB项目中的页面，这样子有两点好处：一是，实现简单，不需要在WPF应用程序中实现UI布局和数据绑定；二是，灵活适应变化，需求有变化时，只需修改WEB项目，WPF项目不需要变动。事物都是两面的，有优点就有缺点，这样做的缺点是：没有充分利用WPF绚丽的界面风格。二、具体实现在WPF中展现WEB页面有多种实现

2017-05-26 10:48:12 5555

原创实战 - Nexus搭建Maven私服

1、安装环境说明操作系统：Windows 10 x64 或 Windows Server 2008 R2 x64Java : java 1.82、下载Nexus进入官网： https://www.sonatype.com/download-oss-sonatype目前使用的比较多的是Nexus Repository Manager OSS 2.x ，下载bundle

2017-05-25 21:05:24 736 2

原创 Ubuntu桌面版如何像Windows一样使用软件桌面快捷方式

Ubuntu桌面版是一个非常友好的linux桌面版操作系统，界面漂亮，使用起来也方便，是很多使用linux开发环境的人喜欢用的版本。Ubuntu的桌面太干净，我需要把常的软件工具放到桌面来点缀她，同时也方便开展工作。linux下的软件有安装版的，源码编译版的，绿色免安装版的，不管哪种版本，在安装后想开启软件，都需要使用可执行程序的完整路径才能启动，当然，也可以把软件安装路径加入到PATH环境变量，就

2017-05-24 09:19:47 2401

原创 java - 实战 - 导入的java项目不能运行main方法类

在网上下载的java项目，通过IDE（Eclipse或STS）import项目后，发现导入的工程只有src目录，没有 JRE System Library，包。打开带有main方法的类，右击run as，并没有看见Java Application。当使用run as -> AspectJ/Java Application 运行时，会报错：//弹出的报错窗口信息：editor does not co

2017-05-19 16:49:16 8136 1

原创 MySql drop database时报错：Error dropping database can't rmdir

在删除MySql的数据库时，通过客户端程序、命令行控制器删除数据库时，都报错：ERROR 1010 (HY000): Error dropping database (can't rmdir './db_test', errno: 39)解决方法：直接去到MySql的数据目录，直接把数据库对应的文件目录删除掉。然后再刷新查看数据库，你就会发现该数据库已经不见了。# rm -rf /usr/l

2017-05-18 22:13:52 5096 1

protobuf-java-2.5.0.jar

空空如也