weixin_43381828的博客

原创 二、storm 深入学习及案例讲解

storm的容错保障机制storm发送完整性数据的容错机制当storm在传递数据，如在spout传递tuple时会随机生成一个16位的二进制数，在传递数据的时候，下一个bolt不仅会收到一个tuple，而且还会收到这个16位的二进制数，为了保证传递数据的完整性，会将这两个二进制数进行异或运算，如果异或的结果是16个0的二进制数，那么说明传递的数据是完整的，反之，说明传递的数据是不完整的。...

原创 一、storm 介绍及部署

storm介绍概念：storm是一种实时的分布式的流式计算框架。可以用来实时的处理流式数据，因为它是基于内存进行计算的，因此它的计算速度比较快，它与map/reduce相比具有实时性高，计算速度较快的特点，但是它相比于map/reduce而言，它处理的数据较小。map/reduce适合处理数据量较大的离线数据。...

原创 一、CDH_clouderaManager使用_impala_oozie

impala大数据的核心思想是：分而治之，计算向数据移动。hive是如何进行大数据计算的？hive本身不会不会进行计算的，hive会将sql转化为map/reducer来进行大数据计算的。使用map/reducer的shuffle的特点：采用的是基于序列化的环形字节数组来进行存储。...

原创 2、网站日志分析系统_flume、数据存储及ETL

flume的架构图(flume是用来监控本地日志的某一文件)安装配置flume

原创 1、【项目】网站日志分析系统_数据源讲解及数据收集

Hbase补充：微博案例讲解

原创 2、hbase 基本操作及性能优化

Hbase的API介绍准备操作Hbase的DDL操作Hbase的DML操作：hbase的查询操作：查询hbase数据库中某一列族下的某一列的值，查询是要指定具体的rowKeyHBase之六：HBase的RowKey设计https://www.cnblogs.com/duanxz/p/4660784.htmlhbaseprotobuf讲解安装 Google Proto...

原创 1、hbase 架构设计及hbase 部署

Hbase 简介及数据模型Hbase 架构分析Hbase 完全分布式搭建安装时间同步软件免秘钥登陆

原创 3、hive 权限管理及优化

Hive权限管理服务器端客户端的配置文件进行相应的修改后，客户端的配置文件也要做相应的同步修改。创建角色：发现当前角色不能创建角色，只有当前管理员才可以创建角色查看当前角色，发现是public，将用户的角色设置(切换为)为admin创建新的角色Hive的优化如果加extended可以看到更加详细的输出采用本地模式来分析数据是执行小林明显提高。...

原创 2、hive 基本操作

Hive SQL通过分析需求来查看文档来完成指定的需求：查看表中插入的数据如果想查看更加详细的表的结构可以使用下面的sql语句查看表中的信息内部表与外部表在使用时的区别：内部表在删除表时会将数据和元数据都会删除；外部表在删除表时只会将元数据删除，但是数据还保存在hdfs的文件系统中上述原因分析：内部表创建后的数据还由hive进行对数据进行管理；外部表创建的只是一个...

原创 1、hive 架构设计及集群搭建

hive单用户模式的搭建挂载本地yum通过yum来安装mysql-server注意mysql安装时要注意安装的mysql-server,而不是mysql，安装mysql只是一个客户端启动mysql服务设置mysql的开机启动进行授权操作直到下面这步mysql正式安装成功启动node01、node02、node03、node04等节点，并查看启...

原创 3、MapReduce 分布式计算框架架构设计及项目案例

hadoop-mapreduce-架构概念01_1

原创 2、Hadoop 高可用集群及java API

单机伪分布式hadoop的搭建参照：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.htmlnode01ssh远程登录node02来远程操作node02节点的内容，此过程是不会加载/etc/profile文件的。1、 进行免密钥操作2、安装jdk配置环境变...

原创 1、hadoop简单介绍及架构介绍

hadoop-hdfs-角色介绍hadoop-hdfs-fsimage与edits合并hadoop-hdfs-读写流程读流程：1、读的时候namenode会对datanode排好序，根据距离优先，会先读取距离近的datanode.2、hdfs分布式读取系统可以根据排好的序选择最近的datanode进行读取，很好的解决了本地化读取文件的流程...

原创 9、高并发与负载均衡-nginx-session一致性

注意session时间的一致性，就是session的时间的失效问题。

原创 8、高并发与负载均衡-nginx配置虚拟服务器

可以做广告计费，通过分析日志文件**查看nginx的官方中文文档定义反向代理定义负载均衡

原创 7、高并发与负载均衡-nginx安装配置

做配置产生makefile文件nginx支持模块化热部署，可以在不停服务的时候，修改配置文件，master重新加载配置文件，产生新的worker，加载完毕后销毁旧的worker。...

原创 6、高并发与负载均衡-nginx反向代理

原创 5、高并发与负载均衡-keepalived-概念介绍与实验

keepalived-概念介绍LVS存在的问题：1、LVS存在单点故障，导致服务不能访问；2、真实机存在单点故障，导致部分用户能访问。keepalived实验清除node1的lvs的内核部分keepalived的配置文件目录node1配为master,node4配为backup,当node1宕机后，node4会变为master当node1恢复后，node1又变成m...

原创 4、高并发与负载均衡-lvs-DR模型试验

目前所用的配置都是临时配置**简写对all目录中的两个文件也做这两个操作对node3节点重复操作上述操作启动两台 real server,并且访问刷新地址栏后会轮询切换到102与103两台真实机上查看lvs偷窥...

原创 3、高并发与负载均衡-lvs-功能配置介绍

原创 2、高并发与负载均衡-lvs-三种模型推导

私有地址是不允许接入互联网的，任何接入互联网的ip地址都是公网ip地址原地址ipNAT转换 - WMware虚拟机和家庭网络就是按照这种方式来上网的

原创 1、高并发与负载均衡-理论推导和TCP/IP基础知识

-http是面向无连接无状态的，而TCP是面向连接的，可靠的，会经历三次握手和四次挥手端口号一共有65535个查看路由表查看下一跳的mac地址：

原创 22、shell总结

第四种方式使用了管道，管道的左右两边会开辟新的bash,所以涉及变量的值时要注意

原创 21、shell-流程控制

注意while后面必须跟一个命令增加判断是否是一个文件

原创 20、shell-添加用户脚本

shell-添加用户脚本一test 与 [ 的用法是相同的传统方式添加用户通过脚本来添加新用户脚本存在问题：1、如果没有指定参数的时候，输出的错误信息过多。2、没用做到静默输出shell-添加用户脚本完善问题一：针对静默输出进行完善问题二：针对有过多的错误信息的完善问题三：如果用户已经存在也可以添加，需要完善，依据下面的内容提供灵感：如果不是r...

原创 19、shell-引用-逻辑判断

环境变量使用export，无论开启多少个子bash，都可以引用到顶级父bash中的系统变量导出非共享短路与和短路或之逻辑判断

原创 18、shell变量

shell变量一与百度建立socket连接对百度发起请求，并查看响应结果http1.0是一个短连接，一次只能发起一次请求。下次请求必须重新建立连接变量类似的本地变量还有局部变量本地变量与局部变量的区别，定义本地变量时必须加local位置变量shell变量二...

原创 17、文本流及重定向

文本流及重定向一开启三个会话后，后面的0、1、2代表的是虚拟终端干预标准输出方式不要输出到控制台，输出到aaa文件中ls /etc 1>ccc 是覆盖重定向，s /etc 1>>ccc 是追加重定向标准错误输出文本流及重定向二将标准输出和错误输出分别输出到不同的文件中。原因：与顺序无关，先输出错误输出，再输出标准输出下面两种都可以省略标准...

原创 16、bash脚本编程

什么是bashbash用户输入方式bash文本输入方式source的作用：“.”和souce的功能相同查看bash之间的关系开启了一个新的bash，执行完毕后子bash退出到父bash中不敲bash,将文件变为可执行文件后，也会开启新的进程所有的脚本文件都包含的头信息，虽然注释，也会取到后面的命令，如果没有这个头文件也会开启子bash的...

原创 15、yum安装及配置

yum安装及配置方式一(有网络环境)列举目录下的文件rpm安装时针对独立的软件安装时比较有优势，但是如果安装的软件具有依赖关系时需要单独下载依赖关系，那么整个过程就变得相当繁琐，yum安装可以解决这个问题。国内的开源镜像站更换阿里镜像站，不再使用默认的镜像站配置阿里镜像站后直接从阿里镜像站下载，不用从国外下载。下载速快。此时使用yum来下载mysq-server,执行操作...

原创 14、rpm安装

用rpm方式来安装jdk

原创 13、linux编译安装

安装软件不是越多越好，合适就好。安装软件之前要先帮助手册安装c语言的编译环境接着执行make和make install命令说明tengeinel安装成功安装软件不推荐使用编译安装，推荐使用的rpm安装...

原创 12、linux的用户与权限

linux的用户与权限一删除用户时要删除两个地方的文件夹，否则用户删除不了root用户可以修改root用户和普通用户的密码，但是普通用户只能修改普通用户的权限普通用户登陆后只能修改自己的密码在root权限下添加组share ,并在share组中添加sxt01用户和sxt02用户改变属组修改文件或目录的权限，有两种方式：1、字符修改2、数字修改修改权限的两种方式请参考...

原创 11、文本分析工具awk

文本分析工具awk一/etc/passwd 文件的介绍完成下面的作业取passwd文件中每行的第一个冒号之前的内容并打印出来方式一方式二实现下面的操作## 文本分析工具awk二...

原创 10、文本分析-sed

文本分析-sed1查找并替换注意修改源文件必须要加 -i采用正则替换文本分析-sed二使用sed来更改ip地址方式一：缺点：上面的方法比较投机，如果ip地址中出现非法数字，如344，也可以匹配344ip地址大致分为5种情况，要将这5种情况的ip都列举出来，就可以匹配上-以后更改ip可以直接粘贴命令，将命令保存在记事本中，以后改ip时可以...

原创 09、文本分析-cut-sort-wc

按指定的分隔符进行分割，并且只显示第一列加参数s将没有分割符的行过滤对于某些文件我们可以取出指定的列排序方式有两种，一种是按数字顺序排序、另一种是按字典顺序排序按字典顺序进行排序按三种水果按照价格排序sort排序的作用：处理文本文件，可以对文本文件进行分析。wc...

原创 08、linu之正则表达式

linu之正则表达式一查找文本文件中包含“ooxx“”的所有行，并打印，使用grep将包含数字的行全部打印出来将包含字符3或4的字符的行打印出来将包含四位整数的行打印出来上面的简写 -E将包含单词“ooxx”的行打印出来把只包含四位数字的行打印出来这种方式不是很好linu之正则表达式二正则表达式的用途很多，比如匹配邮箱、手机号、IP地址等...

原创 07、vi全屏编辑器

vi全屏编辑器一vi +10 profile 定位到文件的第10行使用场景：我们在更改配置文件后如果报某一行有错，我们可以将光标定位到这一行vi + profile 定位到文件的最后一行vi +/after profile 将光标定位到第一次出现after的位置保存文件的种方式，由于较为简单，不再截图vi是一种全屏编辑器三种模式的切换vi全屏编辑器二c...

原创 06、linux的文本操作命令

cat 来查看文件内容more 分屏来查看文件内容，可以使用回车键一行一行看，也可以使用空格一屏一屏的看缺点：看完之后不能通过后退查看之前的转态，进程已经结束less 命令查看文件时可以通过按b键回到之前的查看状态缺点：less命令会将文件全部加载到内存中，因此如果查看的文件比较大时。不推荐使用该种方式haed 命令默认打印文件的前10行head ...

原创 05、linux系统的文件系统命令

常用命令df、du是用来甩锅用的，du命令可以查看每一个文件的大小ls 命令用来查看目录中的文件，后面可以更多个目录，并且用空格隔开ls -a 用来查看当前目录下的隐藏文件linux系统中文件的类型ls 后面如果有多个目录时不同级会先显示浅一级的目录，如果同一层目录会先显示字典顺序靠前的文件或目录，可以使用tree命令来查看具体的显示信息linux...