- 博客(101)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 高可用集群搭建系列文章之七：Oozie 搭建
本篇文章主要介绍Oozie的搭建，Oozie在任一节点安装即可。1、下载安装包，并解压下载地址，选择hadoop和oozie的对应版本，版本一定要对应，否则可能安装成功但运行时可能不成功。解压命令如下：tar -zxvf oozie-4.1.0-cdh5.8.0.tar.gz...
2019-10-11 19:53:30
573
2
原创 高可用集群搭建系列文章之六：Sqoop搭建
本篇文章主要介绍Sqoop的搭建，Sqoop在任一节点安装即可。1、下载安装包，并解压下载地址解压命令如下：tar -zxvf sqoop-1.4.5.bin__hadoop-2.0.4.tar.gz 2、配置/etc/profileexport SQOOP_HOME=/home/hadoop/app/sqoop/sqoop-1.4.5export PATH=$PATH:$SQOO...
2019-10-09 19:48:30
572
原创 高可用集群搭建系列文章之五：Hive搭建
本篇文章主要介绍Hive的搭建，由于公司环境要求，这里选择的是hive-1.2.1。安装Hive之前必须安装MySQL，因为这里Hive的元数据是保存在MySQL中的。1、下载安装包，并解压下载地址解压命令如下：tar -zxvf apache-hive-1.2.1-bin.tar.gz2、配置/etc/profileexport HIVE_HOME=/home/hadoop/app...
2019-10-09 19:18:36
768
原创 高可用集群搭建系列文章之四：HBase集群搭建
本篇文章主要介绍HBase的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hbase-0.98.10-hadoop2-bin.tar.gz 2、配置/etc/profileexport HBASE_HOME=/home/hadoop/app/hbase/hbase-0.98.10-hadoop2export PATH=$PATH:$HBASE_HOME/bin...
2019-10-08 20:21:14
160
原创 高可用集群搭建系列文章之二：ZooKeeper集群搭建
本篇文章主要介绍Hadoop HA的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hadoop-2.6.5.tar.gz2、配置/etc/profile
2019-10-08 19:19:27
155
原创 高可用集群搭建系列文章之三：Hadoop集群搭建
本篇文章主要介绍Hadoop HA的搭建1、下载安装包，并解压下载地址解压命令如下：tar -zxvf hadoop-2.6.5.tar.gz2、配置/etc/profile3、配置hadoop-env.sh，添加jdk路径export JAVA_HOME=/opt/java/jdk1.8.0_221...
2019-10-02 17:30:38
561
原创 高可用集群搭建系列文章之一：创建用户、免密钥登录、时间同步
由于工作需要，最近搭建了一系列的大数据相关组件的集群，现在讲搭建的过程和遇到的一些问题进行整理记录，主要包含ZooKeeper、Hadoop、HBase、Hive等集群的搭建。1、服务器环境机器IP内存磁盘master01192.168.133.1616g200gmaster02192.168.133.1716g200gslave01192.1...
2019-09-01 17:15:23
312
原创 VMware+CentOS7.0+Hadoop2.6.5完全分布式搭建
由于工作需要，最近自己搭建了一个虚拟机，并且在虚拟机上搭建了一个Hadoop集群用于测试。一、虚拟机搭建，并设置IP 虚拟机搭建比较简单不再介绍，其中网络配置参考《VMware中CentOS 7设置固定IP同时连接内外网，网络配置！！！》二、设置主机名 &nb...
2019-07-22 23:50:38
526
1
转载 虚拟机（VMware14）内CentOS7安装jdk
这里以CentOS7配置jdk为例，Ubuntu配置jdk的过程可参考ElasticSearch的安装及jdk的配置1、在官网下载jdk1.8的安装包jdk-8u171-linux-x64.tar.gz2、创建目录/usr/java/jdkcd /usr mkdir java cd j...
2019-07-21 10:39:25
906
转载 XGBoost原理简介
一、简述 这里先简单介绍下RF（Random Forest）、GBDT（Gradient Boosting Decision Tree）和XGBoost算法的原理。 RF：从M个训练样本中随机选取m个样本，从N个特征中随机选取n个特征，然后建立一颗决策树。这样训练出T棵树后，让这k颗树对测...
2019-06-09 17:47:28
7241
1
原创 隐马尔科夫模型HMM（四） -- 参数估计问题
最后，我们研究第三个问题，参数估计问题。也即是给定一个观察序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT，如何根据最大似然估计来求模型的参数值？即如何调节模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π...
2019-06-07 11:36:59
2739
原创 隐马尔科夫模型HMM（三） -- 序列问题
接下来，我们研究第二个问题，序列问题。也即是给定一个HMM模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π)和观测序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT，如何快速有效地选择在一定意义下“最优”的...
2019-06-07 00:41:24
307
转载 GBDT原理小结
最近在做文本分类的工作，使用到了XGBoost用于多分类。因此本文针对自己学习的XGBoost相关知识进行简单记录，并延伸了GBDT的相关理论知识。一、监督学习算法 监督学习算法主要有以下三个重要组成部分：模型参数目标函数1、模型 &...
2019-06-02 18:16:22
456
原创 隐马尔科夫模型HMM（二） -- 估计问题
首先我们来研究HMM的第一个问题 – 估计问题。给定一个HMM模型μ=(S,K,A,B,π)\mu =\left ( S,K,A,B,\pi \right )μ=(S,K,A,B,π)和观测序列O=O1O2O3...OTO=O_{1}O_{2}O_{3}...O_{T}O=O1O2O3...OT，如何快速地计算出给定模型μ\muμ的...
2019-06-01 23:55:37
350
原创 隐马尔科夫模型HMM（一） -- 模型介绍
目前在工作中使用到了jieba分词，主要是对文章进行切词，在深入理解jieba切词原理的时候，发现其采用了隐马尔科夫模型HMM，因此对HMM进行了研究，这里就自己学习到的知识进行记录。文章主要参考了宗成庆老师的《统计自然语言处理》第二版，非常感谢宗老师！一、马尔科夫模型马尔可夫过程（Markov process）是一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年...
2019-06-01 09:30:41
373
原创 Windows10安装Docker遇到的问题
无法安装hyper-v该固件中的虚拟化支持被禁用windows 10开启 hyper-v的过程中（右键开始–>程序和功能–>启用和关闭windows功能–>Hyper-V）提示出现无法安装hyper-v该固件中的虚拟化支持被禁用的问题。原因：window未启用虚拟化功能。打开任务管理器如图所示，虚拟化显示为“禁用”。解决办法：开机进入BIOS，找到Advanced --&...
2019-05-05 22:58:18
6140
原创 Hadoop.dll问题
MapReduce程序在window环境本地运行时，出现Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误。Exception in thread "main" jav...
2019-04-10 22:02:25
3217
原创 IDEA上传 HDFS文件出错
错误如下：org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 n...
2019-03-26 00:22:59
1594
转载 MapReduce shuffle过程详解
一、MapReduce计算模型MapReduce计算模型主要由三个阶段构成：Map、Shuffle、Reduce。Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，而这个将Map输出进...
2019-03-25 18:09:39
9338
2
原创 weex build android 时出现 Annotation processors must be explicitly declared now 的问题
问题运行 weex build android 命令时出现如下错误：BUILD FAILED in 2s at checkExecSyncError (child_process.js:601:13) at Object.execSync (child_process.js:641:13) at C:\Users\feng\.xtoolkit\node_modules...
2019-01-24 23:17:10
871
原创 weex build android 时无法设置 outputFile 的问题
问题运行 weex build android 命令时 ，出现如下错误BUILD FAILED in 11s at checkExecSyncError (child_process.js:601:13) at Object.execSync (child_process.js:641:13) at C:\Users\feng\.xtoolkit\node_modul...
2019-01-24 21:44:06
4156
2
原创 weex build android 时 gradle 版本问题
问题运行 weex build android 命令时 ，出现如下错误BUILD FAILED in 1s at checkExecSyncError (child_process.js:601:13) at Object.execSync (child_process.js:641:13) at C:\Users\feng\.xtoolkit\node_module...
2019-01-24 17:20:44
1260
原创 Weex 构建、打包、签名 Android 项目
一、weex 构建项目 1、Weex-Toolkit 安装 Weex 提供了一个命令行工具 weex-toolkit 来帮助开发者使用 Weex。它可以用来快速创建一个空项目、初始化 iOS 和 Android 开发环境、调试、安装插件等操作。安装命令： npm install weex-toolkit -g npm install weex-toolkit -g...
2019-01-24 10:56:22
997
原创 weex run android 时 gradle 下载缓慢
问题运行 weex run android 命令时，下载 gradle 缓慢，如图：原因gradle-wrapper.properties（.\platforms\android\gradle\wrapper文件夹下） 文件里指定了工程需要的 gradle 版本，如果 weex run android 命令时发现 gradle 缓存目录"C:\Users\feng.gradle\wra...
2019-01-23 22:54:07
448
原创 Android Studio安装与配置
一、下载Android studio安装包下载地址：[https://www.androiddevtools.cn/](https://www.androiddevtools.cn/)
2019-01-23 20:38:47
262
3
原创 npm install 出现 proxy 问题
问题如下：npm ERR! Windows_NT 10.0.10586npm ERR! argv "D:\\Program\\nodejs\\node.exe" "D:\\Program\\nodejs\\node_modules\\npm\\bin\\npm-cli.js" "install" "-g" "gulp"npm ERR! node v4.4.0npm ERR! npm v2...
2019-01-23 16:38:47
14456
转载 项目npm install时报错[email protected]安装失败
问题：通过git clone命令克隆项目后，运行npm install安装项目所需的依赖包时，出现如下错误：Failed at the [email protected] install script，意思就是[email protected]安装失败，如图所示：解决方法：执行npm install [email protected] --i...
2019-01-21 22:04:34
6679
原创 ajaxForm() 和 ajaxSubmit() 的用法与区别
Query.form.js 介绍Query.form.js 是一个 form 插件，可以实现表单提交并在当前页面中处理返回值，即 html 中提交表单并实现不跳转页面处理返回值。下载地址http://malsup.github.io/jquery.form.jsajaxForm() 和 ajaxSubmit() 的用法引入 js 文件<script src="./static/j...
2018-12-01 11:49:21
3827
转载 Runtime类中的freeMemory、totalMemory、maxMemory几个方法
最近在网上看到一些人讨论到java.lang.Runtime类中的freeMemory(),totalMemory(),maxMemory ()这几个方法的一些问题，很多人感到很疑惑，为什么，在java程序刚刚启动起来的时候freeMemory()这个方法返回的只有一两兆字节，而随着 java程序往前运行，创建了不少的对象，freeMemory()这个方法的返回有时候不但没有减少，反而会增加。...
2018-09-13 16:36:09
237
原创 搭建PHP环境（XAMPP+PhpStorm），并设置断点调试（XDebug+Chrome）
一、安装PhpStorm 官网：jetbrains官网二、安装XAMPP 网址：XAMPP如图所示：默认情况下，Server里面全部选中，由于本人电脑上已经安装过MySQL，因此这里取消了MySQL选项。本人的安装路径是F:\software； 安装之后的界面如下： 三、安装XDebug 3.1 确定需要的XDebug版本 3.1.1 启动XMAPP的Apache ...
2018-07-11 12:30:07
2129
转载 logback节点配置详解
一 ：根节点 属性： debug：默认为false ，设置为true时，将打印出logback内部日志信息，实时查看logback运行状态； scan：配置文件如果发生改变，将会重新加载，默认值为true； scanPeriod：检测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位时毫秒，当scan为true时，这个属性生效，默认时间间隔为1min。<configu...
2018-04-11 00:23:22
241
原创 maven引入自定义jar
最近在开发程序的时候需要使用到beautyeye工程，但是maven仓库中没有该工程的JAR包，又因为软件开发的时候使用了maven来管理依赖包。因此为了对所有依赖包进行统一管理，需要将beautyeye依赖加入到本地仓库中。一、本地安装mvn环境（略）确保在cmd中可以使用mvn命令二、使用mvn install命令安装自定义的JAR包如图所示，-Dfile参数指你自定义JA...
2018-02-20 16:53:36
2875
原创 设计模式 --简单工厂模式
一、定义 简单工厂模式，依据传入的参数，生成对应的具体产品对象。简单工厂模式属于创建型模式，又称为静态工厂方法模式，但不属于23种模式之一。二、要点 工厂方法一般设为静态方法； 返回值一般是是抽象类或者接口； 具体的产品类一般继承或实现抽象类、接口。三、类图 四、简单工厂模式代码 1、Product类：抽象产品类，负责定义产品的共性package simpleFacto...
2018-02-07 23:59:14
178
原创 设计模式 --单例模式
一、定义 单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。 单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。二、要点 某个类只能有一个实例； 单例类必须自己创建自己的实例； 单例类必须向整个系统提供这个实例；三、单例模式的类图
2018-01-31 16:48:42
254
原创 Angularjs框架集成pagination
一、安装插件（参考：https://github.com/angular-ui/bootstrap）1.首先集成bootstrap.min.css，下载地址：https://cdn.bootcss.com/bootstrap/3.3.7/css/bootstrap.min.css2.其次集成angular.js3.最后集成ui-bootstrap-tpls-1.
2017-09-21 20:44:49
1000
原创 chrome手机模式调试AngularJs项目时，点击不了select里面的内容
用Chrome浏览器调试项目时，发现无法点击select标签的内容（前端采用angularjs框架）。代码如下： 请打分 -- 请选择 -- {{item}} 问题原因：由于同时引入了ionic框架，导致angularjs框架无法使用。
2017-09-19 16:50:30
1039
原创 SSM框架集成PageHelper插件，实现分页功能
本文简单的介绍了如何运用PageHelper插件实现分页功能。一、在 pom.xml 中添加如下依赖：从下面的地址中查看最新版本的 jar 包https://oss.sonatype.org/content/repositories/releases/com/github/pagehelper/pagehelper/http://repo1.maven.org/mave
2017-09-14 22:48:45
12466
2
原创 eclipse启动项目出现的问题
一、eclipse中tomcat的add and remove找不到项目，即是在下图中左边没有项目可用解决办法： 1. 选择项目，右击，选择最后的properties选项。 2. 在左侧，点击project facets。右边勾选如图示的三项：Dynamic Web Module、Java、JavaScript。确认即可。此时add and remove中将出现
2017-07-28 10:52:25
1187
原创 Web项目调用webservice服务
一、发布WebService服务（服务端）1.创建一个java工程，不需要导入jar包。工程完全完成后的结构如图：2. 创建接口，即HelloWorld.java文件，代码如下：package com.test;import javax.jws.WebService;@WebService public interface HelloWorld {
2017-07-26 17:14:21
3203
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人