在路上

原创 Hadoop基础之MapReduce

Hadoop基础1. Hadoop集群的配置安装（非安全模式）重要的配置文件：（1）Read-only default configuration： core-default.xml hdfs-default.xml yarn-default.xml mapred-default.xml （2）S

原创 MyBatis基础（2）

MyBatis基础1. MyBatis开发dao1. SqlSession的使用范围（1）SqlSessionFactoryBuilder通过SqlSessionFactoryBuilder创建会话工厂SqlSessionFactory，将SqlSessionFactoryBuilder当成一个工具类使用，不需要使用单例模式进行管理（2）SqlSession

原创 MyBatis基础（1）

MyBatis基础1. 对原生态jdbc程序中问题的总结（1）数据库连接，使用时就创建，不使用立即释放，对数据库进行频繁地连接和关闭，造成数据库资源浪费，影响数据库性能解决方案：使用数据库连接池管理数据库连接（2）将sql语句硬编码到java代码中，如果sql语句修改，需要重新编译java代码，不利于系统维护解决方案：将sql语句配置在xml文件中，即使sq

原创 Spring基础（3）

Spring进阶1. 基于AspectJ的注解AOP使用注解方式实现AOP操作（1）创建对象（2）开启AOP操作的自动代理（3）在增强类上使用注解完成AOP操作代码：@Aspectpublic class MyBook{// 在方法上使用注解完成增强配置@Before(value="exec

原创 Spring基础（2）

Spring进阶1. Spring的Bean管理（注解）1. 代码中的特殊标记，使用注解可以完成功能2. 注解的写法：@注解名称（属性名称=属性值）3. 注解可以使用在类、属性、方法上4. Spring注解开发1.准备（1）导入Jar包（a）导入Spring的基础Jar包（b）导入AOP的Jar包Spring-aop-

原创 Spring基础(1)

Spring概述1. Spring概述Spring是开源的轻量级框架1. Spring核心两部分（1） AOP：面向切面编程，扩展功能不是修改源代码（2） IoC：控制反转，对象的创建不是通过new的方式，而是交给Spring配置创建类对象2. Spring一站式框架在JavaEE的三层结构中，每一层都提供了不同的解决技术（1）web

原创 Struts2基础（4）

Struts2拦截器和标签库1. 拦截器概述（1） Struts2中封装的功能都是在拦截器中实现的（2） Struts2中封装了很多功能，有很多拦截器，但是每次只执行默认的拦截器（3） Struts2里默认拦截器的位置struts2-core-2.3.24.jarstruts-default.xml（4） 什么时候执行在Action对

原创 Struts2基础（3）

Struts2值栈1. OGNL概述1. 是一种表达式，特点：（1）支持对象方法调用：objName.methodName()（2）支持静态方法调用和值访问：@[类全名]@[方法名|值名]（3）支持赋值操作和表达式串联（4）访问OGNL上下文（OGNL Context）和ActionContext（5）操作集合对象2. 在Struts

原创 Struts2基础（2）

Struts2基础1. Struts2结果页面配置（1）全局结果页面如果多个Action的方法返回值相同，结果页面也相同，可以使用全局结果页面进行配置/success.jsp（2）局部结果页面如果既配置了全局结果页面，也配置了局部结果页面，则以局部结果页面我准（3）Result标签中的Type属性

原创 Struts2基础（1）

Struts2入门1. Struts2概述1. Struts2应用在Web三层结构中的Web层2. 能解决的问题：减少Servlet的数量3. Struts2版本：Struts-2.3.24-all.zip4. Web层常见框架：Struts2SpringMVC2. Struts2入门案例1. 导入Jar包

原创 Hibernate基础（4）

一、Hibernate查询1. 对象导航查询（1）根据ID查询某个客户，再查询这个客户里面所有的联系人（2）代码：Customer customer = Session.get(Customer.class,1)Set linkMan = customer.getSetLinkMan()2. OID查询（1）根据ID查询某一个记录

原创 Hibernate基础（3）

一、Hibernate进阶1. 表与表之间的关系1.一对多（1）分类和商品（2）客户和联系人（3）一对多建表通过外键建立关系：在多的一方创建字段作为外键，指向一方的主键2. 多对多（1） 订单和商品（2）用户和角色（3）多对多建表创建第三张表维护关系：至少有两个字段作为外键，指向两个表的主键3. 一对一

原创 Hibernate基础（2）

一、Hibernate进阶1. 实体类编写规则1. 实体类里的属性是私有的2. 实体类里的私有属性使用公开的set和get方法操作3. 要求实体类中有一个属性唯一标识实体类（一般使用ID值）4. 实体类中的属性建议不使用基本数据类型，而使用基本数据类型对应的包装类2. Hibernate主键生成策略1. Hibernate要求实体

原创 Hibernate基础（1）

1. JavaEE三层结构web层：struts2框架service层：spring框架dao层：hibernate框架（1）对数据库进行CRUD操作2. MVC思想model：模型view：视图controller：控制器3. Hibernate概述1. Hinernate是什么（1）Hibernate应用在

原创 Spark内核

一、Spark RDD（Spark弹性分布式数据集）1. RDD是分布式函数式编程的抽象2. RDD的弹性：1. 自动地进行内存和磁盘数据存储的切换2. 基于Lineage的高效容错3. Task如果失败，则会自动进行特定次数的重试4. Stage如果失败，则会进行特定测试的重试，且只会计算失败的分片5. Checkpoint和Persist

原创 Spark运行原理-WordCount解密

原创 Spark集群环境搭建

一、开发工具JAVA：JDK(Oracle官网最新版)Hadoop(Version:2.7.3)Spark(Version:2.1.1)VirtualBoxScala(Vesion:2.1.12)Ubuntu(Vesion:16.04)二、Linux基本配置VirtualBox安装UbuntuUbuntu下切换到rootsudo passwd //设置roo

原创 Scala_(5)_隐式转换|并发编程

一、隐式转换1.语法：implicit def xxxToxxx()代码1：class Person(val name : String)class Engineer(val name : String, val salary : Double){ def code = println("coding.....")}implicit def person2Eng

原创 Scala_(4)_模式匹配

一、Scala模式匹配源码：Master①def bigdata(data：String){data match{case "Spark" => print("")case "Hadoop" =>print("")case _ => print("")}}②def bigdata(data：String，age：Int){

原创 Scala_(3)_函数式编程

一、Scala函数式编程1.函数定义及赋值给变量def fun1(name : String){printf("test")}// 函数定义fun1 : (name：String) Unitval fun1_v = fun1 _ //函数赋值给变量fun1_v ：String => Unit = 2.匿名函数val fun = (conten

原创 Scala_(2)_面向对象

1.类class HiScala{private var name="Spark"def sayName(){...}def getName = name}创建实例：new HiScala暴露get 方法的两种方式：①class HiScala{private var myName = "flink"

原创 Scala_(1)_基础

1.函数sum(1 to 100:_*)// 提取出1-100中的所有元素,并实现sum操作2.lazy只有在初次运行时调用如：lazy val content = fromFile(path)3.集合val arr = new Array[Int](5)4.高阶函数arr.filter(_%2 == 0).map(i =>i * i

转载 Python之Requests模块使用详解

Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。一、导入下载完成

转载 人工智能、机器学习、深度学习三者之间的同心圆关系

当谷歌 DeepMind 团队的 AlphaGo 打败了李世石时，媒体就用人工智能、机器学习和深度学习这三个术语来描述 DeepMind 是如何取得胜利的。今年早些时候，当谷歌 DeepMind 团队的 AlphaGo 打败了李世石时，媒体就用人工智能、机器学习和深度学习这三个术语来描述 DeepMind 是如何取得胜利的。这三个名词都是 AlphaGo 大胜李世石的原因中的一部分

转载 消息队列设计精要

消息队列设计精要消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。本文不会一一介绍这些消息队列的所有特性，而

转载 5类系统推荐算法

最近因为PAC平台自动化的需求，开始探坑推荐系统。这个乍一听去乐趣无穷的课题，对于算法大神们来说是这样的：  而对于刚接触这个领域的我来说，是这样的： 在深坑外围徘徊了一周后，我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法，作为初探总结，也希望能抛砖引玉，给同样想入坑的伙伴们提供一些思路。  1.什么是推荐系统

转载 如何部署软件

本文为 Coding 用户协作翻译，转载请注明来源。如果你对本文的翻译有建议，欢迎提交 Pull Request 。让我们来聊聊部署无论你何时对自己的代码库做出改动，总会伴随着要破坏一些东西的风险。没有人喜欢宕机, 没有人喜欢暴躁的用户, 也没有人喜欢生气的经理，所以部署新代码到生产环境变成颇具压力的一个环节。你完全没必要对它有压力，我将在这里重复一遍又一遍这句话：你的部署

转载 RPC 的概念模型与实现解析

今天分布式应用、云计算、微服务大行其道，作为其技术基石之一的 RPC 你了解多少？一篇 RPC 的技术总结文章，数了下 5k+ 字，略长，可能也不适合休闲的碎片化时间阅读，可以先收藏抽空再细读:)全文目录如下：定义起源目标分类结构模型拆解组件实现导出导入协议编解码

原创 Web前端资源汇总

Web前端资源汇总本文地址：http://www.cnblogs.com/jihua/p/webfront.html网页特效库 CSS3+jQuery实现时钟插件Html5入门实例"Far away from home"jQuery网页版五子棋小游戏源码下载一句jQuery代码返回顶部HTML5知识初级题目jquery仿搜狐投票动画代码jQuery简洁大

原创 HHTP基础之状态码

状态码的职责是当客户端向服务器端发送请求时，描述返回请求结果。借助状态码，用户可以知道服务器端是正常处理了请求，还是出现了什么错误。RFC2616定义的状态码，由3位数字和原因短信组成。数字中的第一位指定了响应类别，后两位无分类。响应类别有以下5种：TypeReason-phraseNote1XXInformation

转载 开源大数据处理工具汇总（二）

日志收集系统一、Facebook Scribe贡献者：Facebook简介：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统

转载 开源大数据处理引擎汇总（一）

查询引擎一、Phoenix贡献者：：Salesforce简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HB

转载 MongoDB学习整理

MongoDB概念database：数据库。一个MongoDB实例可以容纳多个数据库。collection：集合。类似于关系型数据库中的表。document：文档。类似于关系型数据库中的行。field：域。类似于关系型数据库中的字段。常用的命令show dbs：显示所有的数据库db：显示当前数据库对象use XXX：连接到指定的数据库，XXX为数据库名创建与删除

转载 Java开发常用的在线工具

作为一个Java开发人员，经常要和各种各样的工具打交道，除了我们常用的IDE工具以外，其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。博主偏爱使用在线工具，因为个人觉得这样比较方便。本文就总结了一下我常用的在线工具。欢迎纠正及补充。Java源代码搜索Grepcode是一个面向于Java开发人员的网站，在这里你可以通过Java的projects、classes等各种关键字

转载 Java习惯用法

实现equals()1234567891011121314151617class Person {  String name;  int birthYear;  byte[] raw;

原创 提高工作效率的工具

一、媒体平台类微信公众号的红利期已经远去，现在想要从0开始做一个10万+的公众号，如果不考虑商业推广手段的话，已经很难做到了。所以，多平台分发显得非常重要，尽可能多地让你的内容被更多的人看到才能聚集起有粘性的粉丝。1.微信公众平台： https://mp.weixin.qq.com2.企鹅媒体平台： http://om.qq.com/userAuth/index

原创 50个学习新技能的最佳网站

参加在线课程edX—参加来自全球最好的大学的在线课程。Coursera—参加全世界最好的在线免费课程。Coursmos—随时在任何设备上学习一个微课程。Highbrow—用邮箱获取bite大小的日常课程Skillshare—激发你的创造力的在线课程与项目。Curious—通过在线视频课程提升你的技能。lynda.com—学习技术、创意和业务技

转载 Linux常用命令（二）

01ls [选项] [目录名 | 列出相关目录下的所有目录和文件-a 列出包括.a开头的隐藏文件的所有文件-A 通-a，但不列出"."和".."-l 列出文件的详细信息-c 根据ctime排序显示-t 根据文件修改时间排序---color[=WHEN] 用色彩辨别文件类型 WHEN 可以是’never’、’always’或’auto’其中之一 白色：表示普通

转载 Linux常用快捷键

下述所有命令在Linux/unix的shell下有效，这里以bash为主。如有出入，以你自己的服务器为准。本文所指的Linux主要指RHEL/CentOS，unix指的是FreeBSD，这也是服务器中用得最多的版本。　　Ctrl + a 切换到命令行开始　　这个操作跟Home实现的结果一样的，但Home在某些unix环境下无法使用，便可以使用这个组合；在Li

转载 mysql创建字段选数据类型参考大全

分类子类型数据类型上限数据类型说明 日期和时间数据类型 date3字节日期，格式：2014-09-18日期和时间数据类型 time3字节时间，格式：08:42:30日期和时间数据类型