- 博客(16)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Hadoop & Spark 集群搭建 理念思想
版本信息：Centos7 + Hadoop 2.7.2 + Spark 1.6.2 + Scala 2.11.8前言断断续续吭哧吭哧了好几天，终于搞定了Hadoop集群三种模式的搭建，以及Spark+Hadoop集群的搭建，使用的都是最新（稳定）版本，除了官网，网上几乎没有现成资料，也因此遇到很多大大小小的坑，使劲吭哧吭哧，终于都吭哧着爬了出来。安装过程中，顺便把安装详细步骤总结出来，强烈建议按顺
2016-07-17 10:16:34
2501
原创 Python 内建函数小结
Python 3.5.1 Anaconda 4.0.0 (64-bit)Python 内置函数 abs abs(x)：返回x的绝对值，若是复数，则返回其大小In [67]: abs(complex(3, 4))Out[67]: 5.0all & any all(iterable)：当iterable里所有元素都是True时才返回True，用于判断iterable是否都满足某个条件 (
2016-07-23 16:54:43
658
原创 Spark 1.6.2 + Hadoop 2.7.2 集群搭建
版本信息：Centos7 + Hadoop 2.7.2 + Spark 1.6.2 + Scala 2.11.8Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 Hadoop 2.7.2 集群搭建 Spark 1.6.2 + Hadoop 2.7.2 集
2016-07-16 19:39:48
3030
原创 Hadoop 相关命令说明
版本信息: Centos7 + Hadoop 2.7.2以下命令在 Hadoop 集群搭建一文里会有涉及，现将相关基本命令使用方法汇总如下。hadoop hadoop distcp : 并行复制文件或文件夹 hadoop jar : 运行一个 jar 文件 hadoop classname : 运行一个名字为 classname 的类 hadoop fs : Ha
2016-07-16 16:44:49
682
原创 Hadoop 2.7.2 集群搭建
版本信息：Centos7 + Hadoop 2.7.2Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 Hadoop 2.7.2 集群搭建 (不用点了，就是本文) Spark 1.6.2 + Hadoop 2.7.2 集群搭建Hadoop 共有3种运行
2016-07-14 22:46:53
3280
2
原创 Hadoop 2.7.2 集群搭建－预备工作
版本信息：Centos7 + Hadoop 2.7.2Hadoop + Spark 集群搭建系列文章，建议按顺序参考： Hadoop & Spark 集群搭建 理念思想 Hadoop 2.7.2 集群搭建－预备工作 (不用点了，就是本文) Hadoop 2.7.2 集群搭建 Spark 1.6.2 + Hadoop 2.7.2 集群搭建一般设置Hadoop集群最
2016-07-14 14:06:55
952
原创 /etc/profile和~/.bash_profile等文件的区别和联系
本文系统环境：Centos7/etc/profile和~/.bash_profile等文件的区别和联系对比说明 /etc/profile：为系统的每个用户设置环境信息和启动程序，当用户第一次登录时，该文件被执行，其配置对所有登录的用户都有效。当被修改时，必须重启才会生效。英文描述：”System wide environment and startup programs, for login
2016-07-10 15:45:01
3660
原创 Python 线程和进程
1. 多线程1.1. 线程的创建import timeimport threadingclass MyThread(threading.Thread): def run(self): for i in range(5): print('thread {}, @number: {}'.format(self.name, i))
2016-06-05 00:22:00
762
原创 Python 学习点滴
本文使用版本：Python 3.5.11. 错误初始化集合In [8]: type({})Out[8]: dictIn [9]: type(set())Out[9]: set 初始化集合不宜用s = {}，而要用s = set()2. 巧用 zip/enumerate/itertoolsIn [10]: nums = [3,4,2,5,7,2]In [11]: strs = ['aa
2016-06-04 22:48:28
395
翻译 [Python for Data Analysis] Chapter10 时间序列
1. 日期和时间数据类型及工具datetime 里面有 datetime, time 以及 calendar 模块，其中 datetime 用得最多datetime 模块中的数据类型： date：以公历形式存储日历日期（年、月、日） time：将时间存储为时、分、秒、毫秒 datetime：存储日期和时间，相当于 date 与 time 的结合 timedelta：
2016-05-19 00:14:41
4453
原创 centos7下挂载U盘和移动硬盘
本人系统为centos7 64bit挂载U盘1.使用fdisk -l命令查看磁盘情况[root@localhost liuyao]# fdisk -l磁盘 /dev/sda：1000.2 GB, 1000204886016 字节，1953525168 个扇区……（此处为电脑内硬盘信息，省略）磁盘 /dev/sdb：16.0 GB, 16005464064 字节，31260672 个扇区Unit
2016-05-03 17:12:26
39387
原创 centos7下使用PlayOnLinux安装windows软件
本人系统为centos7 64bit本人在使用wine时遇到了各种各样的问题，折腾了一下午和一晚上也没有解决，总是出现BAD EXE之类的错误…… 听说PlayOnLinux很好用，尝试使用它来安装Windows软件～1.当前YUM源里找不到playonlinux这个程序（虽然已经添加了很多YUM源，参见之前的博客），所以需要为playonlinux添加它的YUM源[root@localhost
2016-05-03 00:41:52
7576
原创 centos7下添加常用YUM源(EPEL/Remi/RPMforge/php/Nginx)
注意：本人系统为centos7本人在安装ktorrent时，发现默认的YUM源里安装不了ktorrent，需要手动给YUM添加源，丰富YUM软件源！添加常用YUM源步骤（以添加EPEL为例）1.安装之前先看一下初始状态下yum的源，只有3个：base/extras/updates[liuyao@localhost ~]$ yum repolist已加载插件：fastestmirror, lang
2016-05-02 20:44:39
22686
1
原创 centos7下安装mplayer及其解码器和皮肤
安装mplayer及其解码器和皮肤 本人系统为centos7参考：http://jingyan.baidu.com/article/1709ad80ab17fc4635c4f070.html1.去mplayer官网(http://mplayerhq.hu/design7/dload.html)下载相应的软件[root@localhost mplayer]# lsessential-20071
2016-05-02 01:13:56
8706
原创 Linux基本命令01
本人系统为centos7Linux里文件系统 蓝色：文件夹 红色：压缩包 灰白色：一般文件 绿色：可执行文件 浅绿色：修改Terminal的语言[liuyao@localhost ~]$ echo $LANGzh_CN.UTF-8[liuyao@localhost ~]$ LANG=en_US[liuyao@localhost ~]$ ls�?��?? ��
2016-05-02 01:13:11
2150
原创 Linux基本操作01
解压tar.gz/tar/rar/zip文件到指定位置[root@localhost Software]# tar -zxvf rarlinux-x64-5.3.0.tar.gz -directory=/usr/local[root@localhost Software]# rar x Tunet2015_linux.rar[liuyao@localhost Libraries]$ unzip jp
2016-05-01 20:22:52
1068
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人