refuil的博客

原创 mysql 数据库locked

命令行直接SQL：SHOW PROCESSLISTSHOW OPEN TABLES WHERE In_use > 0;查询运行时间较长的pid，杀掉KILL 476432SHOW PROCESSLIST查找最终原因，可能是数据量过大，请求时间过长。...

原创 机器学习之数学基础-线性代数python案例（一）

线性代作为数学的一个分支，主要研究向量空间以及在向量空间之间的线性变换。机器学习在很大程度上依赖于线性代数，因此需要了解向量和矩阵，以及它们的特性和运作机制向量定义向量是由大小和方向定义的量。例如，火箭的速度是一个三维向量：它的大小是火箭的速度，它的方向是向上。向量可以由称为标量（scalar）的数字数组表示。每个标量对应于关于每个维度的向量的大小。例如，假设火箭以一个微小的角度上升：它...

原创 理解梯度下降（三）- python实现随机梯度下降

上一篇理解梯度下降（二）- spark和python分别实现批量梯度下降实现了简单的批量梯度下降。最后引出了随机梯度下降（Stochastic gradient descent）。什么是随机梯度下降，SGD是对全批量梯度下降法计算效率的改进算法。本质上来说，我们预期随机梯度下降法得到的结果和全批量梯度下降法相接近；SGD的优势是更快地计算梯度。我们先回顾以下全批量法是如何计算每次迭代中的...

原创 理解梯度下降（二）- spark和python分别实现批量梯度下降

上一篇通俗理解-梯度下降法（一）说明梯度下降的数学原理，这一篇讲讲具体的实现。分为spark（scala）实现和python版本具体实现批量梯度下降（Batch gradient descent）。最后引出下一篇的问题。spark版本假设目标函数y=θx，spark模拟梯度下降法求解参数θ的值。直接上代码：import scala.collection.mutable.Hash...

原创 通俗理解-梯度下降法（一）- 数学基础

什么是梯度下降梯度下降法（gradient descent）是一种常见的一阶（first-order）优化方法，是求解无约束优化问题最简单、最经典的方法之一。所谓的一阶方法就是仅使用目标函数的一阶导数，不利用其高阶导数。那什么是无约束优化问题呢？举个例子，在一元函数法f(x)的图像中，求无约束最优化问题，即不对定义域或值域做任何限制的情况下，求解函数f(x)的最小值。 没有理解，没事儿，本...

原创 spark异常处理

spark 异常处理类javascala可以写成类似java的异常处理模式，如果是读取本地文件，import java.io.FileReaderimportjava.io.FileNotFoundExceptionimport java.io.IOExceptionobject Demo {def main(args: Array[String]) {

原创 TextRank 处理短文本获得指定关键字

我用的TextRank是python，安装方式参考：https://github.com/letiantian/TextRank4ZH当前目录创建 test.txt 文件，输入两行文字：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算

原创 mysql && hbase && hive && hdfs(部分) 数据互导

5. mysql && hbase && hive && hdfs(部分) 数据互导5.1 mysql -> hive (包含增量导入)import命令导入到hdfs中默认采用','进行分割字段值，导入到hive中默认采用'\u0001'来进行分割字段值，如果有特殊的分割方式，我们可以通过参数指定。 import命令导入到hive的时候，会先在/user/${user.

原创 Spark SQL源码函数解读及UDF/UDAF例子 spark研习第六集

四、 Spark SQL源码函数解读1. Spark SQL内置函数解密与实战SparkSQL的DataFrame引入了大量的内置函数，这些内置函数一般都有CG（CodeGeneration）功能，这样的函数在编译和执行时都会经过高度优化。问题：SparkSQL操作Hive和Hive on Spark一样吗？=> 不一样。SparkSQL操作Hive只是把H

原创 Spark SQL相关API操作实例 spark研习第五季

三、Spark SQL的操作实例1. Spark SQL数据加载和保存Spark SQL重要是操作DataFrame，DataFrame本身提供了save和load的操作， Load：可以创建DataFrame， Save：把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格式来指出我们要输出的文件是什么类型。

原创 Spark SQL与DataFrame原理解析与实现 spark研习第四季

二、 SparkSQL与DataFrame原理解析与实现1. SparkSQL与DataFrameSparkSQL之所以是除了SparkCore外最大的和最受关注的组件，原因是： A）处理一切存储介质和各种格式的数据（同时可以方便地扩展SparkSQL的功能来支持更多类型的数据，例如Kudo，Kudo在存储和计算效率间取得了完美的平衡），包括实时数据处理。201

原创 spark on hive原理与环境搭建 spark研习第三季

SparkSQL前身是Shark，Shark强烈依赖于Hive。Spark原来没有做SQL多维度数据查询工具，后来开发了Shark，Shark依赖于Hive的解释引擎，部分在Spark中运行，还有一部分在Hadoop中运行。所以讲SparkSQL必须讲Hive。一、spark on hive原理与搭建1. hive的本质1）Hive是分布式数据仓库，同时又是

原创 spark 各内部机制流程图

原创 快学scala 第十二章 高阶函数 读书笔记及习题答案代码

chapter 12 高阶函数标签：快学scala一、笔记scala可以在变量里存放函数，比如：import scala.math._val num = 3.14val fun = ceil _ //fun: Double => Double = 从技术上讲，_将ceil方法转成了函数，scala中，无法直接操纵方法，而只能直接操纵函数

原创 spark快速入门与WordCount程序机制深度解析 spark研习第二季

2、spark wordCount程序深度剖析标签： spark一、Eclipse(scala IDE)开发local和cluster（一）. 配置开发环境要在本地安装好java和scala。 由于spark1.6需要scala 2.10.X版本的。推荐 2.10.4，java版本最好是1.8。所以提前我们要需要安装好java和scala并在环境变量中配

原创 快学scala 第十一章 操作符 读书笔记及习题答案代码

chapter 11 操作符标签：快学scala一、笔记scala种可以在反引号中包含几乎任何字符序列,val 'val' = 42所有的操作符都是左结合的，除了以冒号(:)结尾的操作符，和赋值操作符。用于构造列表的::操作符是又结合的。1::2::Ni1的意思是1::(2::Ni1)，先创建出包含2的列表，这个列表又被作为尾巴拼接到以1作为头部的列表中

原创 spark集群与spark HA高可用快速部署 spark研习第一季

1、spark 部署标签： spark0 apache spark项目架构spark SQL -- spark streaming -- MLlib -- GraphX0.1 hadoop快速搭建，主要利用hdfs存储框架下载hadoop-2.6.0，解压，到etc/hadoop/目录下0.2 快速配置文件

原创 快学scala 第十章 特质 读书笔记及习题答案代码

chapter 10 特质标签：快学scala一、笔记scala和java一样不允许从多个超类继承，scala提供特质而非接口。特质可以同时拥有抽象方法和具体方法，而类可以实现多个特质。 不需要将方法声明为abstract，特质中未被实现的方法默认就是抽象的。在重写特质的抽象方法时不需要给出override关键字。特质跟类更为相像。用with添加额外的特质：

原创 快学scala 第九章 文件和正则表达式 读书笔记及习题答案代码

chapter 9 文件和正则表达式标签：快学scala一、笔记读取文件的所有行，可以调用scala.io.Source对象的getLines方法：import scala.io.Source val source = Source.fromFile("test.txt", "UTF-8")val lineIterator = source.getL

原创 快学scala 第八章 继承 读书笔记及习题答案代码

chapter 8 继承标签：快学scala一、笔记scala中重写一个非抽象方法必须使用override修饰符。scala中调用超类方法与java完全一样：public class Employee extends Person{ override def toString = super.toString + "[salary=" + sa

原创 快学scala 第七章 包和引入 读书笔记及习题答案代码

chapter 7 包和引入标签：快学scala一、笔记scala中的包名是相对的，源文件的目录与包之间没有强制的关联关系，完全可以在同一文件中为多个包贡献内容。 包可以包含类、对象和特质，但是不能包含函数和变量的定义，这是java虚拟机的局限，但是包对象package object可以。当引入包的几个成员，使用选取器(selector) import

原创 快学scala 第6章 对象 读书笔记及习题答案代码

chapter 6 对象标签：快学scala一、笔记如果一个对象从未被使用，那么其构造器也不会被执行。对象本质上可以拥有类的所有特性，它甚至可以扩展其他类或特质。但不能提供构造器参数。 java中通常用到既有实例方法又有静态方法的类，scala中可以通过类与类同名的“伴生”对象来达到同样目的。类与其伴生对象可以互相访问私有特性，必须在同一源文件中。一个app

原创 快学scala 第五章 读书笔记及习题答案代码

chapter 5 类标签：快学scala一、笔记scala类方法默认是公有的，class Counter{ private val value = 0 def increment() { value += 1} def current() = value}val = myCounter = new Counter //或new

原创 快学scala 第四章 读书笔记及习题答案代码

chapter 4 元组与映射标签：快学scala一、笔记默认Map为不可变映射，可变映射定义：scala> val scores = scala.collection.mutable.Map("Allic"->1, "Bob"->3, "Cindy"->8)scala> val scores = new scala.collection.mutab

原创 快学scala 第三章 读书笔记及习题答案代码

chapter 3 数组相关操作标签：快学scala一、笔记scala的Array以java数组方式实现，数组在JVM中的类型为java.lang.String[].scala> import scala.collection.mutable.ArrayBufferimport scala.collection.mutable.ArrayBuffer

原创 快学scala 第二章 读书笔记及习题答案代码

chapter 2 控制结构和函数标签：快学scala一、笔记scala的if/else表达式有值，这个值就是跟在if或else之后的表达式的值。所以可以赋值给变量。每个表达式都有一个类型。val s = if(x>0) 1 else -1if (x>0) "positive" else -1 这个表达式类型是两个分支类型的公共超类型，第

原创 快学scala 第一章 读书笔记及习题答案代码

chapter 1 scala基础标签：快学scala《快学scala》原书《scala for the Impatient》一、笔记技术上讲，scala程序并不是一个解释器。实际发生的是，输入的内容被编译成字节码，然后字节码交由Java虚拟机执行。 不需要给出值或变量的类型，这个信息可以从你用来初始化它的表达式推断出来。但是，声明值和变量一定要初始

原创 3. Java 语法基础 类型 条件语句 数组

3. Java 语法基础 类型 条件语句 数组标签： java3.1 变量–Java中的变量有四种： •实例变量（成员变量） •静态变量 •局部变量 •参数 –变量的命名 •任何变量名称都是以任意长度的Unicode编码的字符组成的，首字符必须是字母、美元符或者是下划线，后面跟字母、数字、美元符或下划线 –通常来说，我们建议类的名

原创 2.Java 程序与结构

2. Java 程序与结构标签： java2.1 Heloword该运行你的第一个Java程序了 –建立以下内容的文本文件：public class Test { public static void main(String[] args) { System.out.println(“Hello world!”); }}–将以上内容

原创 Java环境jdk安装

1. Java环境jdk安装标签： java1.1 jdk安装http://www.centoscn.com/image-text/install/2015/0217/4721.html一般情况下，我们都要将linux自带的OPENJDK卸载掉，然后安装SUN的JDK。 首先查看Linux自带的JDK是否已安装。 输入如下命令，查看已经安装的JA

原创 python正则表达式

五、python正则表达式标签： python 正则表达式1. 正则表达式的使用>>> p = re.compile("abc")>>> m= p.match("abcdf")>>> type(m) type '_sre.SRE_Match'>>>> print m.group()abc>>> m= p.match("acbcdf")>

原创 python 并行开发

四、并行开发标签（空格分隔）： 未分类并行串行与并行阻塞与非阻塞任务共享与冲突多线程与多进程的区别和特点多进程开发 Linux、unix平台专属ForkwaitWaitpid#coding=UTF-8import osimport timedef myfork():

原创 python 内置容器

三、python内置容器标签： python 容器3.1 List定义 访问 切片操作 嵌套 内置函数>>> a = [1,'2', ["abc", 1],34]>>> print a[1, '2', ['abc', 1], 34]>>> for o in a:... print o #必须有tab空格，否则o未定义... 12['abc',

原创 python使用基础

二、python使用基础标签： python1. 基本概念常量、数、字符串、变量、数据类型、逻辑行与物理行、缩进复数的使用和表示法eval的各种用法什么是hash逻辑概念和物理概念2. 运算符与表达式表达式在计算机中是如何展开的a =1b=2'''if a ==1: print 1

原创 Python开发环境部署

一、python开发环境部署1、linux开发环境下载地址https://www.python.org/downloads/source/wget [https://www.python.org/ftp/python/2.7.12/Python-2.7.12rc1.tar.xz][2]tar –zxcv Python-2.7.3.tgzcd Python-2

原创 c++ primer（第五版）学习笔记及习题答案代码版（第十五章）面向对象程序设计

笔记较为零散，都是自己不熟悉的知识点。习题答案至于一个.h 和.cc 中，需要演示某一题直接修改 #define NUM****， 如运行15.30题为#define NUM1530；chapter 151. 面向对象程序设计的核心思想是数据抽象、继承和动态绑定。通过使用数据抽象，我们可以将类的实现和接口分离。使用继承可以定义相似额类型并对其相似关系建模：使用动态绑定，可以

原创 c++ primer（第五版）学习笔记及习题答案代码版（第十四章）重载运算与类型转换

笔记较为零散，都是自己不熟悉的知识点。习题答案至于一个.h 和.cc 中，需要演示某一题直接修改 #define NUM****， 如运行14.30题为#define NUM1430；Alice Emma has long flowing red hair. Her Daddy says when the wind blows through her hair, it looks almo

原创 c++ primer（第五版）学习笔记及习题答案代码版（第十三章）拷贝控制

笔记较为零散，都是自己不熟悉的知识点。习题答案至于一个.h 和.cc 中，需要演示某一题直接修改 #define NUM****， 如运行13.30题为#define NUM1330；chapter 131. 拷贝构造函数不应该是explicit的。每个成员的类型决定了它如何拷贝：对类类型的成员，会使用其拷贝构造函数来拷贝；内置类型的成员则直接拷贝。虽然我们不能直接拷贝一个

转载 FastDFS + Nginx 多服务器完整配置与反向代理缓存等

网上很多FastDFS的资料都很久了，现在FastDFS全面升级为5.0v以上版本，其中最大的改变是不再自身支持http协议，而是需要与apache/Nginx/tomcat等组合配置。以下两篇深度好文，埋没在百度搜索中，现将其推荐出来：FastDFS + Nginx 反向代理缓存 安装与配置http://blog.51yip.com/server/1630.html

原创 c++ primer（第五版）学习笔记及习题答案代码版（第十二章）动态内存与智能指针

笔记较为零散，都是自己不熟悉的知识点。习题答案置于一个 .h 和.cc 中，需要演示某一题直接修改 #define NUM****， 如运行12.22题为#define NUM1222；chapter 121.  新标准库提供了两种智能指针类型来管理动态对象。智能指针的行为类似常规指针，重要的区别是它负责自动释放所指向的对象。新标准提供的这两种智能指针的区别在于管理底层指针的方式：