Lucius89-CSDN博客

翻译第2章 Unix/Linux 系统基本概念

Unix/Linux 系统编程基本概念2.1 The Core Opreating System: The KernelTasks performed by the kernellinux kernel：用于管理和分配计算机资源的核心软件。kernel负责执行以下任务：进程调度：一个计算机有一个或者多个核心处理单元(central processing units, CPUs),用于执...

2018-09-28 17:56:29 744

原创 superset安装部署

https://superset.incubator.apache.org/druid.htmlhttps://superset.inccubator.apache.org/installation.htmlOS: centos7Superset版本：0.18.4Python版本：2.7Druid版本：0.9.2步骤一：安装cryptographycryptog

2017-07-29 12:23:08 9856 1

原创 Oozie4.2 安装部署、以及example测试

编译：使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1 -Dpig.versi

2015-08-01 19:51:55 19094 9

转载第14章文件系统

在第4章、第5章和第13章中，我们介绍了文件I/O,特别是普通磁盘文件。在本节和接下来的章节中，我们会深入探究一系列文件相关的主题：本章主要探究文件系统第15章主要阐述各种与文件相关的属性，包括时间戳、所属权和权限第16章和17章介绍Linux2.6的两个新特性：扩展属性(extended attributes) 和访问控制列表(ACLs)。扩展属性可将任意元数据与一文件关联，而ACL则...

2018-11-02 15:08:54 389

为了速度和效率起见，I/O系统调用（即内核）和标准C库的I/O函数（即stdio函数）在对磁盘文件进行操作时，会缓冲（buffer）数据。本章我们将介绍缓冲的类型以及它们是如何影响性能的。我们还会阐述影响和禁用缓冲的各种技术，并且探讨名为直接I/O（direct I/O）的技术，用于在某些情况下绕过内核缓冲。13.1 Kernel Buffering of File I/O: The Buf...

2018-10-31 14:59:52 574

翻译第12章系统和进程信息

在本章中，将介绍访问各种系统和进程信息的方法。本章的主要重点是讨论 /proc 文件系统。还将阐述uname()系统调用，用于获取各种系统标识符。12.1 The /proc 文件系统在旧的UNIX实现中，一般没有简单的方法通过查看分析（或者改变）内核的属性来回答以下问题：系统中有多少个正在运行的进程，这些进程的所属者是谁？进程打开了哪些文件？哪些文件当前是锁住的，哪些进程持有这些锁？...

2018-10-20 19:54:54 285

翻译第11章系统限制和选项

每个UNIX实现对各种系统特性和资源设置了限制（limits），并提供（或选择不提供）由各种标准定义的选项。包含如下例子：进程同时可以打开多少文件？系统是否支持实时的信号？int类型的变量中可以存储的最大值是什么？程序中的参数列表最大可以有多少？路径名的长度最大是多少？虽然我们可以在应用中对假定的limit和选项进行硬编码（hard-code），但这降低了可移植性，因为限制和选项...

2018-10-16 21:42:54 575

翻译第9章进程凭证

每个进程都有一组与之相关的数值型用户标识符（UIDs）和组标识符（GIDs）。有时，把这些标识符称之为进程凭证（process credentials）。这些标识符有：实际【真实】（real）用户ID和实际组ID；有效（effective）用户ID和有效组ID；保存的set-user-ID（saved set-user-ID）和保存的set-group-ID;文件系统用户ID和文...

2018-10-14 21:48:34 401

翻译第8章用户和组

每个用户都有唯一的登录名和相关的数值型用户标识符（UID）。用户可以属于一个或多个组（group）。每个组都有唯一名称和组标识符（GID）。UID和GID的主要目的是决定各种系统资源的所有权和控制进程访问这些资源的权限。例如，每个文件都属于一个特定的用户和组，每个进程都有一些UIDs和GIDs，决定了进程的所有者是谁，访问文件是有哪些权限（详情请看第9章）。在本章中，我们介绍...

2018-10-11 23:17:33 767

翻译第7章内存分配

很多系统程序需要为动态数据结构（例如链表和二叉树）分配额外的内存。动态数据结构的大小（size）取决于运行时的信息。本章阐述了用于在堆中或栈中分配内存的函数。7.1 Allocating Memory on Heap进程可以通过增大堆（heap）来分配内存。堆是一块可变大小的连续内存，随着内存的分配和释放而增大和减小（见Figure 6-1）。堆的当前界线（current limit）被称为 ...

2018-10-09 23:30:56 374

翻译第6章进程

在本章中，我们看下进程的结构，重点关注进程虚拟内存的布局和结构。还会介绍下进程的某些属性。在后续的章节中，会进一步介绍进程的属性 (例如，在第9章中介绍进程凭证，在第35章介绍进程优先级和调度) 。从第24章到27章，我们会介绍进程是如何创建的，如何终止的，如何执行新的程序。6.1 Processes and Programs一个进程(process) 是一个正在运行程序(program)的...

2018-10-08 21:33:20 594

翻译第5章文件IO：更多详情

在本章中，我们接着讨论文件I/O。继续open()系统调用的讨论，我们会解释原子(atomicity) 的概念–系统调用以单个不间断的步骤执行的行为。这是许多系统调用正确执行的必要步骤。我们介绍另一个文件相关的系统调用–多用途的 fcntl() ,并且展示它的一个用途：获取和设置打开文件的状态标志(status flags)。接下来，我们看一下内核中用于表示文件描述符和打开文件的数据结构。...

2018-10-03 22:24:13 504

翻译第4章文件IO：通用的IO模型

我们现在正式看一下系统调用API。文件是一个很好的起点，因为它们是UNIX的核心。本章的重点是用于执行文件输入和输出的系统调用。我们会介绍文件描述符(file descriptor) 的概念,然后看一下I/O模型中用到的系统调用。这些系统调用用于打开和关闭文件，读取和写入数据。我们主要介绍磁盘文件的I/O。但是这里涉及到的大部分知识点与后面章节相关，因为执行I/O的系统调用适用于所有文件类型...

2018-10-03 17:32:47 466

翻译第3章 Linux/UNIX 系统编程概念

第3章系统编程概念本章涉及到的多个主题是系统编程的预备知识。我们首先会介绍系统调用(system calls)以及在执行过程中的细节。然后我们会讲到库函数，以及它们与系统调用之间的区别，同时对C库(GNU)进行相关描述。当我们使用系统调用或者调用一个库函数时，我们应该经常检查一下返回的状态，以确保是否成功返回了结果。我们会描述如何执行这些检查，并且给出一组函数，用于诊断示例程序中的系统调用和...

2018-10-01 21:36:53 216

翻译 Java NIO Tutorial

Java NIO Tutorial参考资料：https://javapapers.com/java/java-nio-tutorial/https://howtodoinjava.com/java-nio-tutorials/https://www.javatpoint.com/java-nio标准IO和NIO之间的不同：首先，标准IO是基于流的，NIO是面向buffer的。面向Buf...

2018-09-26 14:59:19 291

原创 druid-0.9.2 or 0.10.0 下载安装部署

下载：http://druid.io/downloads.htmlA version may be declared as a release candidate if it has been deployed to a sizable production cluster. Release candidates are declared as stable after we

2017-07-29 15:03:36 2767

原创 Redis Sentinel 安装部署

主机名centos01、centos02、centos03主机名ipredis 实例Sentinelcentos01192.168.175.11mastersentinel process 1centos02192.168.175.12slavesentinel process 2contos03192.168.175.13slavesentinel process 3修改redis.co

2017-07-29 14:53:10 355

原创 Centos中使用yum安装java时，没有jps的问题的解决。

解决方法：需要安装java-1.X.X-openjdk-devel这个包，他提供了jps这个工具。

2015-12-11 15:13:04 22964 3

原创 Sqoop2的安装与使用

InstallationSqoop ships as one binary package however it’s compound from two separate parts - client and server. You need to install server on single node in your cluster. This node will then serv

2015-07-14 13:27:25 13943 1

原创 Mesos单点Master集群部署和High Availability集群部署

参考的网址：Mesos Deploy Scripts、Mesos High Availability Mode、Mesos Configuration、Re：Problems Of Running mesos-0.20.0 with ZooKeeper实验环境：mesos版本：0.21.0、操作系统：Red Hat 6经过三天的折腾，终于将Mesos编译好，并进行了单点Maste...

2015-06-09 14:10:01 5674 5

原创 mesos下载、准备安装环境、编译以及测试

参考网址：http://mesos.apache.org/gettingstarted/实验环境：mesos版本：0.21.0、操作系统：Red Hat 6为了了解Spark的三种部署standalone、mesos和YARN。所以想尝试部署下mesos集群。我根据自己的需求，参考了官方文档的如下步骤：Downloading MesosThere are dif

2015-06-07 21:26:59 12255 1

转载用Sqoop将mysql中的表和数据导入到Hive中

1、安装mysql 查询以前安装的mysql相关包 rpm -qa | grep mysql 暴力删除这个包 rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps rpm -ivh MySQL-server-5.1.73-1.glibc23.i386.rpm rpm -ivh MySQL-clien

2015-04-10 17:52:36 19114

原创 “格式化HDFS后，HMaster进程启动失败”的问题解决

用 hadoop namenode -fromat 格式化后，用./start-hbase.sh 启动HMaster和HRegionServer，但是过几秒种后HMaster进程自动关闭，HRegionServer进程没有关闭，查看日志报如下错： 2015-04-08 10:49:12,164 INFO [worker01:16020.activeMasterManager] mas

2015-04-08 19:16:02 16447 1

原创 NameNode格式化失败问题的解决

NameNode格式化失败，查看日志，报如下错：15/04/08 10:05:43 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]15/04/08 10:05:43 INFO namenode.NameNode: createNameNode [-format]15/04/08 1

2015-04-08 18:40:12 39185 11

转载 Hadoop2.4.1集群搭建

本文转载自传智播客赵老师的课堂笔记hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译（建议...

2015-04-02 18:28:02 899

原创 ZooKeeper集群搭建

搭建zookeeper集群：1、将下载好的zookeeper-3.4.6.tar.gz进行解压到/slave/cloud/目录下2、进入到conf目录下，并且将zoo_sample.cfg 复制一份，名为zoo.cfg。zoo.cfg是Zookeeper的配置文件。3、查看一下zoo.cfg的内容1).tickTime：CS（client

2015-04-02 15:16:54 1072

原创设置ssh免密码登录

本文是我看传智播客赵老师视频所记的笔记。初学Hadoop，难免会有一些理解上不正确的地方，欢迎批评指正。配置ssh免密码登录需要生成一对密钥（公钥和私钥）。ssh-keygen -t rsa (-t表示加密的类型，采用rsa加密算法)也可以直接执行：ssh-keygen (默认采用的是rsa加密算法) 执行之后产生了id_rsa (私钥)和 id_rsa.pub（公...

2015-03-27 16:37:12 1315

原创 VMware NAT模式配置

环境：主机操作系统版本：Windows 8.1, 64-bit (Build 9600) 6.3.9600 虚拟机：VMware® Workstation 11.0.0 build-2305329 Linux版本：Red Hat Enterprise Linux Server release 6.0 1、这边有VMnet8对应的是NA...

2015-03-25 11:42:42 911

Lucius的专栏