- 博客(145)
- 资源 (23)
- 收藏
- 关注
RSS订阅
原创 Hadoop生态专辑 —— 总体架构目录
Hadoop 生态介绍CDH（Cloudera）版本的 Hadoop 介绍 Mahout 简介Hadoop 版本编译Hadoop 版本编译前的准备编译64位 Hadoop 2.2.0 Hadoop-2.3.0-cdh5.0.0 获取源码及编译 Hadoop-2.5.0-cdh5.2.0 获取源码及编译 Hadoop-2.5.0-cdh5.2.1 / 5.3.2 获取源码及编译 Ha
2015-10-26 10:59:21
968
原创 Linux 操作系统配置——总体架构目录
安装 Linux 操作系统Centos6.5 系统安装Centos6.5 基本配置创建新用户网络配置 JAVA 配置SSH免密码登陆配置KVM下虚拟机网卡桥接配置 KVM克隆及在不同物理机下的移植Centos6.5 安装软件VNC 配置Maven 安装 + 开源中国 Maven 库使用帮助SVN配置Centos6.5+Python+安装各种包安装 Matlab R2
2015-10-21 21:13:13
1378
原创 TCP/IP/HTTP 网络——总体架构目录
Wireshark 分析 IP/TCP 数据包Wireshark 数据分析 (一) Wireshark 数据分析 (二) Wireshark 数据分析 (三)
2015-10-12 10:44:48
1078
原创 Scala——总计架构目录
Scala 介绍Scala 入门介绍开发运行环境搭建Scala开发环境搭建和HelloWorld解析 Scala 学习教程
2015-10-11 21:23:10
886
原创 生活小常识——总体架构目录
软件类OpenWrt-LuCI 路由器设置端口映射(RDP & SSH)Cisco RV180W 路由器设置百度云下载慢/epub格式/pdf正反面打印浏览器打开谷歌与谷歌学术的最简单方式生活类如何准备一次长途旅游
2015-10-11 20:18:24
556
原创 科研/文献/论文——总架构目录
如何做好科研准备科研有方 ——科研准备和科研步骤如何查找文献如何查找综述文献 如何阅读文献阅读科研文献心得分享(一) 阅读科研文献心得分享(二) 如何开始论文撰写如何动笔写你的第一篇论文 科研有方——英文论写作 如何写科研文章如何处理论文返修论文返修（response letter)一些很有用的套话 学术软件使用打开谷歌与谷歌学术的最简单方式
2015-10-11 19:26:40
995
原创 Latex 书写 IEEE 会议论文
一 必备软件安装二 Latex 撰写论文1 下载 IEEE 论文模板2 WinEdt使用3 论文撰写4 正确的输出三 常见问题1 latex排版CTeX winEdit输出系统找不到指定的文件的终极解决办法2 LaTeX如何正确输入引号双引号单引号3 如何将MathType公式转化为LaTeX4 latex中让图片放在指定文字段落后5 LaTeX之公式及编号6 LaTe
2016-06-21 22:03:04
13592
1
原创 基于 ODR 和 BSMOTE 的不均衡 SVM 分类算法
概述支持向量机已经成功的应用在许多大规模样本集分类中，但是在这些样本集中可能存在着大量的噪声和冗余信息，进而导致分类器的分类精度不高。因此近年来，大量的去噪声和删减样本的文章不断涌现出。其中欠抽样算法就是通过删减多数类样本的数目以达到均衡样本集的目的。然而常用的欠抽样方法都是些随机欠抽样方法，这种方法存在着一些缺陷：采样具有很大的随机性，这是由于随机欠抽样方法未考虑样本的分布情况，可能会删
2016-03-06 15:33:57
5166
9
原创 不均衡学习的抽样方法
通常情况下，在不均衡学习应用中使用抽样方法的目的就是为了通过一些机制改善不均衡数据集，以期获得一个均衡的数据分布。研究表明，对于一些基分类器来说，与不均衡的数据集相比一个均衡的数据集可以提高全局的分类性能。数据层面的处理方法是处理不均衡数据分类问题的重要途径之一，它的实现方法主要分为对多数类样本的欠抽样和对少数类样本的过抽样学习两种。其主要思想是通过合理的删减或者增加一些样本来实现数据均衡的目
2016-03-04 16:58:35
44661
13
原创 不平衡数据集下的SVM算法研究
概论传统的样本一般是从精心设计的实验装置中筛选出来的，这些样本往往满足一定条件。而我们获得的网络样本、金融样本以及生物样本中，这些观测样本往往具有涌现性，且与传统意义的样本并不相同，大量的样本中往往有用的样本点却很少。这种某类样本的数量明显少于其他类样本数量的样本集称为不均衡样本集问题的本质从技术角度上说，任何在不同类之间展现出不等分布的样本集都应该被认为是不均衡的，并且应该展现出明显的不平
2016-02-14 10:47:54
22251
2
原创 Window 7 小常识集合
如何查看隐藏文件并显示文件的类型1. 打开文件夹 2. 在下图所示位置的空白处，按 Alt 键3. 点击出现的 工具** ，选择 文件夹选项，并选择查看，然后….
2016-02-13 22:50:17
546
原创 教研室 ftp 文件服务器使用教程
一 网页下载模式二 Window 客户端1 连接 FTP 服务端2 下载文件3 新建删除目录4 上传文件三 Linux 客户端1 连接登陆与退出2 下载文件3 上传文件4 创建目录与删除目录或文件一. 网页下载模式在浏览器上键入以下网址即可ftp://10.6.3.43然后单击选择你想要进入的目录，并下载你所需的软件即可，就是不能参加新目录和上传新文件。下载压缩包 FileZil
2016-01-29 21:00:05
1457
原创 FTP 服务器(一)之数据链路原理
FTP (File Transfer Protocol) 可说是最古老的协议之一了，主要是用来进行档案的传输，尤其是大型档案的传输使用 FTP 更是方便！不过，值得注意的是，使用 FTP 来传输时，其实是具有一定程度的『危险性』， 因为数据在因特网上面是完全没有受到保护的『明码』传输方式！但是单纯的 FTP 服务还是有其必要性的，例如很多学校就有 FTP 服务器的架设需求啊！一 FTP 功
2016-01-29 20:19:50
2884
原创 FTP 服务器(二)之vsftpd 服务器基础设定
终于要来聊一聊这个简单的 vsftpd 啰！vsftpd 的全名是『Very Secure FTP Daemon 』的意思， 换句话说，vsftpd 最初发展的理念就是在建构一个以安全为重的 FTP 服务器呢！我们先来聊一聊为什么 vsftpd 号称『非常安全』呢？然后再来谈设定吧！一 为何使用 vsftpd1 vsftpd 服务器介绍2 vsftpd 特点二 所需要的软件以及软
2016-01-29 20:19:23
1248
原创 FTP 服务器(三)之客户端的图形接口 FTP 联机软件
客户端的联机软件主要有文字接口的 ftp 及 lftp 这两支指令，详细的使用方式请参考第五章常用网络指令的说明。至于 Linux 底下的图形接口软件，可以参考 gftp 这支程序喔！图形接口的啦！很简单啊！那 Windows 底下有没有相对应的 FTP 客户端软件？一 Filezilla二 通过浏览器取得 FTP 联机三 让 vsftpd 增加 SSL 的加密功能1 检查 vsft
2016-01-29 20:18:39
1875
原创 FTP 服务器(四)之实战搭建
先前,我总结了一篇关于ubuntu下建立ftp的方法,可发现在建立后连接ftp仍然连接不上.很懊恼!在命令行下连接ftp提示错误:500 OOPS: vsftpd: refusing to run with writable anonymous root于是,在网上找了找,才知道,是分享目录权限的问题.vsftpd出于安全考虑对 /home/ftp是不允许没有限制的，这导致了上述错误的
2016-01-29 20:17:30
1474
原创 FTP 服务器(五)之客户端命令
参考博客：FTP 服务器(一)之数据链路原理：http://blog.csdn.net/u011414200/article/details/50598134FTP 服务器(二)之vsftpd 服务器基础设定：http://blog.csdn.net/u011414200/article/details/50598154FTP 服务器(三)之客户端的图形接口 FTP 联机软件：http://b
2016-01-29 20:16:28
1355
1
原创 Centos6.5 网络配置
网络配置本教程配置说明以下为本教程安装时的配置，用户根据实际情况进行调整 * 在root用户权限下安装下完成 * IP地址设置为 10.10.108.160 * 本机DNS设置为 8.8.8.8 * 主机名设置为 name1. 配置静态IP地址A. 以管理员身份root登陆Centos6.5 服务器su root B. 首先vim编辑eth0的配置文件vim /etc/sysconfi
2016-01-28 21:18:47
2394
翻译 欢迎来到 Apache Hadoop®!
官网地址：http://hadoop.apache.org/一 Hadoop是什么呢二 开始三 下载 Hadoop四 谁使用Hadoop一. Hadoop是什么呢？Apache™ Hadoop®的项目开发开源软件可靠，可扩展，分布式计算。Apache Hadoop 软件库是一个允许跨集群用简单的模型对于大数据的分布式处理的框架。它的目的是扩大从单一服务器到成千上万的机器，提供每个本地计算和存
2016-01-26 21:45:03
814
原创 Windows 无法连接到无线网络
有时候会遇到 Windows 无法连接到无线网络的问题，导致这种情况的原因有可能是因为无线网络的密码变了，也有可能是系统自身的问题。下面简单介绍下怎么解决这个问题的方法。此时请点击系统右下方任务栏区域中的无线网络图标，然后再点击“打开网络和共享中心”选项，如图所示在网络共享中心窗口中，点击左侧的“管理无线网络”选项，如图所示随后会显示当前电脑曾经连接成功的所有无线网络，选择当前不能连接的网络，再点击
2016-01-26 14:15:59
1714
转载 MapReduce job.setNumReduceTasks(0)思考
一 概述二 jobsetNumReduceTasks0唯一影响的是map结果的输出方式1 有 reduce2 无 reduce三 总结一. 概述本文转自 http://zy19982004.iteye.com/blog/2068112?utm_source=tuicool&utm_medium=referral在 http://zy19982004.iteye.com/blog/203754
2016-01-26 10:21:22
974
转载 vim 程序编辑器
原文参考鸟哥私房菜 Vim 程序编辑器系统管理员癿重要工作就是得要修改不设定某些重要软件癿配置文件，因此至少得要学会一种以上癿文字接口癿文书编辑器。 在所有癿 Linux distributions 上央都会有癿一套文书编辑器就是 vi ，而且很多软件默讣也是使用 vi 做为他们编辑癿接口， 因此鸟哥建议您务必要学会使用 vi 这个正觃癿文书编辑器。此外，vim 是迚阶版癿 vi
2016-01-26 09:08:31
977
原创 Hadoop 常见指令
一 概述二 HDFS 管理命令 fs三 作业管理命令 job四 作业提交命令 jar五 如何停止正在运行的 Hadoop 程序六 附录一. 概述bin 目录下的 Hadoop 脚本是最基础的集群管理脚本，用户可以通过该脚本完成各种功能，如 HDFS 文件管理、MapReduce 作业管理等。该脚本的使用方式：hadoop [--config confdir] COMMAND–config
2016-01-25 23:15:35
3108
转载 Hadoop Shell命令
原文地址：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS ShellcatchgrpchmodchowncopyFromLocalcopyToLocalcpdudusexpungegetgetmergelslsrmkdirmovefromLocalmvputrmrmrsetrepstat
2016-01-25 22:59:23
766
转载 Hadoop 与 Spark 和 HBase 常用配置参数总结
本文转自 http://dongxicheng.org/framework-on-yarn/hadoop-spark-common-parameters/一 背景二 MapReduce重要配置参数1 资源相关参数2 容错相关参数3本地运行 mapreduce 作业4 效率和稳定性相关参数三 HBase 相关配置参数四 Spark 相关配置参数1 效率及稳定性相关参数2
2016-01-25 16:10:08
970
原创 CDH5 Integration with Eclipse
原文转自：https://brucebcampbell.wordpress.com/2014/09/08/cdh5-integration-with-eclipse/笔者按照教程上来了一遍：1.1 前期准备1. 拷贝源码包 笔者先从已经部署好的 Hadoop 安装包下将 eclipse-plugin 的包给 copy 到其他路径，为了防止破坏 Hadoop 已部署的安装包。c
2016-01-25 16:09:12
1114
原创 Apache/CDH 版本下 Hadoop 编译 Eclipse 插件总结
一 背景介绍二 cloudera CDH5 开发方式及 CDH eclipse 插件编译总结1 hadoop 插件开发方式2 CDH 开发方式三 Hadoop Eclipse 插件制作1 Hadoop25 Eclipse插件制作2 CDH5 Integration with Eclipse3 Hadoop 220 编译 hadoop-eclipse-plugin 插件四 各
2016-01-25 16:01:10
2491
原创 编译 Hadoop Eclipse Plugin
1.首先从 git 下载源码 下载地址： https://github.com/winghc/hadoop2x-eclipse-plugin百度网盘下载： 链接：http://pan.baidu.com/s/1o6DMY4U 密码：y95i下载 ant-1.9.6 下载地址：http://mirrors.noc.im/apache//ant/binaries/apache-ant-1
2016-01-25 15:59:19
924
原创 配置 hadoop 开发环境+运行 wordcount 程序
一 eclipse 中 hadoop 环境部署概览二 前期准备三 配置 Hadoop 开发环境四 Eclipse 中直接提交 MapReduce任务1 新建 MapReduce工程2 新建 java 工程五 以 Jar 包方式运行1 系统 Export 输出 jar 包2 使用第三方插件 FatJar六 参考资料1 FatJar 安装2 参考链接一. eclipse 中
2016-01-14 11:08:32
3981
原创 Centos6.5 VNC 配置
VNC 配置本教程配置说明目的：实现Window下VNC登陆Linux服务器本机是在root用户下操作完成两台主机已实现基本网络配置，且相互ping通 1. 检查图形界面确保服务器端需要运行级别为5的图形界面，且GNOME桌面图形界面已经安装。rpm -qa gnome runlevel2. 查看tigervnc是否安装rpm -q tigervnc tigervnc-server
2016-01-07 10:31:12
1704
翻译 Hadoop 下一代 MapReduce - 集群参数设置与启动
原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html一 目的二 先决条件三 安装四 运行 Hadoop Non-Secure 模式1 配置 Hadoop 守护进程的运行环境2 配置非安全模式下的 Hadoop 进程五 Hadoop 的机架感知六 监控 N
2016-01-05 19:41:42
2139
转载 HBase 默认配置
1. hbase.rootdir这个目录是 RegionServer 的共享目录，用来持久化 HBase。URL 需要是 “完全正确” 的，还要包含文件系统的 scheme。 例如 “/hbase” 表示 HBase 在 HDFS 中占用的实际存储位置，HDFS 的 NameNode 运行在主机名为 master5 的 8020 端口，则 hbase.rootdir 的设置应为 “hdfs
2016-01-05 15:58:03
23391
原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动关闭管理脚本
HA 集群启动与关闭的顺序请参考：http://blog.csdn.net/u011414200/article/details/50437356笔者的集群规划如下：
2016-01-01 11:32:04
2983
原创 HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序
2 主机规划一 首次启动集群网络上的大部分教程的顺序启动顺序停止顺序1.2 主机规划 IP 主机名 用户名 部署模块 进程 10.6.3.43 master5 hadoop5 NameNodeResourceManager NameNodeDFSZKFailoverControllerResourceMana
2016-01-01 11:31:38
18246
1
转载 Hadoop YARN配置参数剖析
本文部分转自 Hadoop YARN配置参数剖析(1)—RM与NM相关参数 本文部分转自 Hadoop YARN中内存的设置一 ResourceManager 相关配置参数1 通信配置参数2 调度器配置参数3 内存和 CPU 配置参数二 NodeManager 相关配置参数1 内存与 CPU 配置参数1 日志配置参数3 运行配置参数三 Hadoop YARN 中
2016-01-01 11:30:33
4884
1
翻译 YARN (MRv2) ResourceManager High Availability
本文源自官网 Cloudera 5.3.x文档 http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_hag_rm_ha_config.htmlYARN ResourceManager (RM) 负责跟踪群集中的资源并安排应用程序（例如，MapReduce 作业）。在 CDH 5
2016-01-01 11:28:49
2338
翻译 ResourceManager High Availability
Apache 官方原文地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html一 简介二 架构1 RM 切换11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManager2 恢复之前 Activ
2016-01-01 11:24:42
1846
翻译 HDFS High Availability Using the Quorum Journal Manager
原文的参考文章：《HDFS High Availability Using the Quorum Journal Manager》 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Deployment%E3%80%81一 目的二 使
2016-01-01 11:22:06
1322
Pattern Recognition and Machine Learning
2015-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人