- 博客(155)
- 收藏
- 关注
RSS订阅
原创 大数据处理框架技术，你了解了多少？
大数据处理框架技术，你了解了多少？大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非...
2019-08-31 09:23:42
280
原创 大数据处理框架
大数据处理框架说起大数据处理啊，一切都起源于Google公司的经典论文。在当时（2000年左右），由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志；计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输...
2019-08-31 09:16:31
242
原创 三个大数据处理框架：Storm，Spark和Samza 介绍比较
三个大数据处理框架：Storm，Spark和Samza 介绍比许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm在Storm中， 先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（mas...
2019-08-31 09:11:42
269
原创 MySQL详细知识点总结
MySQL详细知识点总结1Windows服务-- 启动MySQL net start mysql-- 创建Windows服务 sc create mysql binPath= mysqld_bin_path(注意：等号与值之间有空格)2连接与断开服务器mysql -h 地址 -P 端口 ...
2019-08-29 10:44:02
226
原创 centos7 下cobbler安装及配置
1.背景介绍作为运维，在公司经常遇到一些机械性重复工作要做，例如：为新机器装系统，一台两台机器装系统，可以用光盘、U盘等介质安装，1小时也完成了，但是如果有成百台的服务器还要用光盘、U盘去安装，就显得有些力不从心了。PXE技术就能很好的解决这个问题，本文将会对PXE的工作原理有所介绍，而cobbler则是基于PXE技术的工作原理的二次封装，通过命令的方式简化了PXE配置过程。2.PXE原理...
2019-08-28 09:03:26
595
原创 Linux_另一种方式设置IP地址：网络组Network Teaming
网络组Network Teaming网络组是将多块网卡逻辑地连接到一起从而允许故障转移或者提高吞吐率的方法。提高服务器网络可用性的一个方式是使用多个网卡。Linux 绑定驱动程序提供了一种将多个网卡聚合到一个逻辑的绑定接口的方法。这是个新的实现绑定的方法，并不影响linux内核中旧绑定驱动。网络组：是将多个网卡聚合在一起方法，从而实现冗错和提高吞吐量 网络组不同于旧版中bonding技术...
2019-07-17 00:21:37
806
原创 运维85条军规
运维85条军规1) 承载能力优先 ——随后再进行优化 —— 不遵守这条规则必定带来故障停机时间。不要在故障停机时间的压力下进行优化——要先集中精力提高承载能力。2) 以Postgres为例，一定要确保你的每一个网络都能匹配得上你的WAL文件、Slony复制、快照技术以及基于磁盘的DB版本化（快照的衍生品）3) 不要把问题‘优化’到你的架构之中。为了解决问题而新加进来的一些东西往往后来都...
2019-07-15 10:47:56
329
原创 “三个‘高考’，五个模拟”为面试加分
“三个‘高考’，五个模拟”，“五个技巧”为面试加分在你找工作前，你要高度拷问自己自己3个问题1.我们会什么？2.我们能给企业做什么？3.我们的核心竞争力是什么？如果知道这三个问题 那么你就会很自信模拟出面试场景，并做好5个准备那么成功就职就离你不远了谨记：你所表现出的态度和决心决定一切！1、做好准备拿好你的简历，在面试官面前表现出你对这个职位是多么地认真。能够打动对方的永远是...
2019-07-15 10:47:39
147
原创 在IT中什么叫运维？
什么叫运维？运维中关键技术点解剖：1 大量高并发网站的设计方案 ；2 高可靠、高可伸缩性网络架构设计；3 网站安全问题，如何避免被黑？4 南北互联问题,动态CDN解决方案；5 海量数据存储架构一、什么是大型网站运维？首先明确一下，全文所讲的”运维“是指：大型网站运维，与其它运维的区别还是蛮大的；然后我们再对大型网站与小型网站进行范围定义，此定义主要从运维复杂性角度考虑，如网站规范、知...
2019-07-15 10:47:15
1826
原创 在IT界取得成功应该知道的10件事
导读：人人似乎都同意IT行业是一个艰难领域，但怎样才能克服逆境，成为一名成功的IT专业人士呢？下文这些特质应该是关键。此文作者还是JackWallen，他在前段时间写过不少文章讨论IT职场，比如退出IT行业的10个理由，和身心疲惫的IT人的8条出路。之后收到很多有类似感受和观点读者的反馈，故又从另外一个角度，试图帮助更多人。1.厚脸皮-Thickskin让我们面对现实吧。从各个...
2019-07-15 10:46:57
161
原创 大数据平台一键安装OS【定制化OS镜像制作】
定制化 大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【搭建脚本篇】定制化OS镜像制作1.操作环境操作环境：VMware Workstarion 9 and vSphere client系统：CentOS -6.8-x86_64工具：gconf-editor anaconda repodata createrepo mkisof...
2019-07-15 10:46:39
830
原创 大数据平台一键安装OS【搭建脚本篇】
定制化大数据平台一键安装OS大数据平台一键安装OS系列大数据平台一键安装OS【定制化OS镜像制作】搭建脚本篇脚本命名随便，只要能看懂就行镜像包说明os1.1.iso 用于安装服务端和客户端操作系统hdp.iso 用于安装hdp服务1.架构图：服务端客户端2.原理分析安装系统-安...
2019-07-15 10:46:21
533
原创 服务器集中检测Cacti
服务器集中检测Cacti一、cacti概述1. cacti是用php语言实现的一个软件，它的主要功能是用snmp服务获取数据，然后用rrdtool储存和更新数据，当用户需要查看数据的时候用rrdtool生成图表呈现给用户。因此，snmp和rrdtool是cacti的关键。Snmp关系着数据的收集，rrdto...
2019-07-14 10:23:16
190
原创 快速学习 Python 的全套 14 张思维导图
本文主要涵盖了 Python 编程的核心知识（暂不包括标准库及第三方库）。 按顺序依次展示了以下内容的一系列思维导图：基础知识，数据类型（数字，字符串，列表，元组，字典，集合），条件&循环，文件对象，错误&异常，函数，模块，面向对象编程； 结合这些思维导图主要参考的资料，分享一下我的学习体验，一方面可供初学者参考，另一方面，也便于大家结合思维导图深入学习、理解、思考...
2019-07-13 17:58:18
353
原创 华为_防火墙（一）
华为防火墙华为防火墙产品介绍：华为防火墙目前共有四款系列的防火墙：USG2000、USG5000、USG6000和USG9500分别适用于不同的网络环境中，其中USG2000和USG5000系列定位于UTM，统一威胁管理的网络需求，其中USG6000系列属于下一代防...
2019-07-09 13:45:06
5980
原创 ELK日志分析系统
ELK日志分析系统介绍：顾名思义ELK是由ElasticsearchLogstash Kibana三大组件构成的一个基于web页面的日志分析工具。日志分析是运维工程师解决系统故障，发现问题的主要手段。日志包含多种类型，包括程序日志，系统日志以及安全日志等。通过对日志分析，预发故障的发生，又可以在故障发生时，寻找到蛛丝马迹，快速定位故障点。及时解决。组件结构：Elasticse...
2019-07-08 10:17:39
23425
1
原创 Haproxy+Keeplived双机热备加高可用
Haproxy+Keeplived：把调度器双机热备，保证我们的调度器的负载均衡和高可用即使坏了一台调度器也能正常使用网页。介绍：Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相对而言，LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，性能没有haproxy好。HTTP请求...
2019-07-07 13:42:56
446
原创 Firewalld防火墙(二)
Firewalld防火墙一．Firewalld高级配置：1.IP伪装与端口转发：随着IPv4地址的缺乏，地址的分配不均匀，虽然在原有的IPv4地址空间的基础上划分出来三段私网地址空间：10.0.0.0/8、172.16.0.0/12、192.168.0.0/16。虽然这些地址可以在企业或者公司内部重复使用，但是不能用于互联网，因为这三个范围的地址是无法在Internet上路由的。于...
2019-07-07 11:51:06
323
原创 Docker学习笔记 — Docker Volume
Volume可以将容器以及容器产生的数据分离开来，这样当你删除容器的时候，才不会影响相关的数据。注意：容器并不是为了持久化。Volume的创建Volume可以使用两种方式创建：- 在Dockerfile中制定VOLUME /some/dir- 执行docker run -v /some/dir命令指定Docker会在主机上创建一个目录，默认情况下是在/var/lib/...
2019-07-02 14:57:52
173
原创 CentOS系统做日志转发
rsyslog守护进程可以被配置成两种环境，一种是配置成日志收集服务器，rsyslog进程可以从网络中收集其它主机上的。，这些主机会将日志配置为发送到另外的远程服务器。rsyslog的另外一个用法，就是可以配置为客户端，用来过滤和发送内部日志消息到一台可以。在最后增加一条后面的*为日志服务器的ip）增加内容 （后面的*为日志服务器的ip）是远程日志服务器的IP地址或者主机名，代表所有的local0优先级的日志，是远程日志服务器监听的端口。是本地存储转发日志的路径。代表所有的日志优先级，
2024-03-14 15:39:24
355
原创 100个Linux Shell脚本经典案例解析
bin/bash# 进度条,动态时针版本# 定义一个显示进度的函数,屏幕快速显示| / ‐ \INTERVAL=0.5 #设置间隔时间COUNT="0" #设置4个形状的编号,默认编号为 0(不代表任何图像)while :doCOUNT=`expr $COUNT + 1` #执行循环,COUNT 每次循环加 1,(分别代表4种不同的形状)case $COUNT in #判断 COUNT 的值,值不一样显示的形状就不一样"1") #值为 1 显示‐;;
2023-10-20 10:19:16
185
原创 运维必备的《网络端口大全》
这将会停止缓慢的连接。入侵者的帐户被关闭，他们需要连接到高带宽的E-MAIL服务器上，将简单的信息传递到不同的地址。说明：它是动态端口的开始，许多程序并不在乎用哪个端口连接网络，它们请求系统为它们分配下一个闲置端口。大多数对这个端口的扫描是基于UDP的，但是基于TCP的mountd有所增加（mountd同时运行于两个端口）。记住：一种LINUX蠕虫（admv0rm）会通过这个端口繁殖，因此许多这个端口的扫描来自不知情的已经被感染的用户。说明：有时会看到很多这个端口的扫描，这依赖于用户所在的位置。
2023-10-12 09:18:12
148
原创 24 个常见的 Docker 疑难杂症处理技巧
启动服务的时候，发现有时候服务之前可以相互连通，而有时启动的多个服务之前却出现了无法访问的情况。平台部署服务的时候，也有时会因为启动问题需要，使启动的服务不直接退出，来手动调试和排查问题原因。中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。但是奇怪的是，本地调试的时候发现服务都是可以正常运行的，文件加锁也是没问题的。而是，因为对于分区的。容器在导入或者启动的时候，如果提示磁盘空间不足的，那么多半是真的因为物理磁盘空间真的有问题导致的。
2023-10-12 09:16:02
543
原创 Linux 怎么防止 ssh 被暴力破解
SSH 是一种广泛使用的协议，用于安全地访问 Linux 服务器。大多数用户使用默认设置的 SSH 连接来连接到远程服务器。但是，不安全的默认配置也会带来各种安全风险。具有开放 SSH 访问权限的服务器的 root 帐户可能存在风险。尤其是如果你使用的是公共 IP 地址，则破解 root 密码要容易得多。因此，有必要了解 SSH 安全性。这是在 Linux 上保护 SSH 服务器连接的方法。
2023-10-12 09:11:34
162
原创 Linux中用于文本处理的awk命令
导读：awk是流式编辑器，针对文档中的行来操作，一行一行地执行。awk可以非常方便、高效地操作文档以及字符，从而实现我们想要的格式。它的功能非常强大，我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。1. 截取文档中的某个段本例中，-F选项的作用是指定分隔符。如果不加-F选项，则以空格或者tab为分隔符。print为打印的动作，用来打印某个字段。$1为第 1 个字段，$2为第 2 个字段，以此类推。但$0注意awk的格式，-F后面紧跟单引号，单引号里面为分隔符。
2023-09-04 10:37:23
95
原创 Linux 运维工程师的 6 类好习惯和 23 个教训
通常我们运维接到任务，都会进行简单查看如果无法解决，就请求他人帮忙，可是当问题焦头烂额的时候，客服主管（懂点Linux），网管，你上司一起调试一个服务器，当你各种百度,各种对照，完了发现，你的服务器配置文件，跟上次你修改不一样了，然后再改回来，然后再谷歌，兴冲冲发现问题，解决了，别人却告诉你，他也解决了，修改的是不同的参数……其实不止是数据，在整个服务器环境，都是稳定大于一切，不求最快，但求最稳定，求可用性，所以未经测试，不要在服务器使用新的软件，比如Nginx+PHP-FPM，生产环境中PHP各种挂啊。
2023-09-04 10:32:56
38
原创 最全的tcpdump使用详解
TCPDump可以将网络中传送的数据包完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。
2023-03-01 15:51:49
4078
原创 TCP/IP 协议大全，你想要的干货都在
TCP/IP 协议一图看完本文一、 计算机网络体系结构分层计算机网络体系结构分层计算机网络体系结构分层不难看出，TCP/IP 与 OSI 在分层模块上稍有区别。OSI 参考模型注重“通信协议必要的功能是什么”，而 TCP/IP 则更强调“在计算机上实现协议应该开发哪种程序”。二、 TC...
2019-11-18 16:22:51
3578
原创 dicker 镜像(images)
docker 镜像(images)docker 架构体系图dockerfile：制作镜像我们在容器运行一个镜像，如果本地没有会自动下载最小镜像：hello-world dockerfileFROM scratch //抓取，挠，从无到有创建的一个过程COPY hello / //镜像所要进行的操作...
2019-10-30 13:56:57
512
1
原创 docker的基本命令及操作逻辑
docker的基本命令及操作逻辑image：镜像container：容器registry：仓库docker hub ----> 公共的仓库查找php的镜像[root@localhost /]# docker search php查看docker详细信息[root@localhost /]# docker info...
2019-10-30 13:49:14
610
原创 Docker 的体系结构
Docker 的体系结构Nanespce、Cgroup:容器虚拟化核心技术，在内核的概念。Namespace：六项隔离 UTS：主机名和域名IPC：信号量消息列队和共享内存PID：进程编号NET：网络栈，端口号USER：用户和组MNT：挂载点（文件系统）只要解耦的这六项，其他资源即便有共同的情况，计算机也认为是在两个不同的系统中...
2019-10-30 13:41:15
429
原创 搭建双机热备并迁移docker
搭建双机热备并迁移docker实验要求：1)两台keepalined做负载均衡，让在keepalined上面做nginx的反向代理服务。2)一台NFS服务器提供nginx的页面3)两台docker上面做nginx，并且页面必须是NFS上面的页面。4)最后将docker上面的nginx迁移到另一台主机上面。使用拓扑图：实验环境：实验...
2019-10-28 13:55:07
1285
原创 校园网双出口
H3C—校园网双出口配置：案例概述本案例以某高校的校园网出口为例，来展示NAT及策略路由等主流技术的应用场景。案例中共有4台设备，包括3台路由器和1台交换机，分别是电信公网路由器、教育网路由器，模拟校园网出口路由器和校园网接入交换机。本案例出口路由器使用H3C-MSR3011E来实现相关功能，电信和教育网使用H3C-MSR2020来实现相关功能，使用s3600三层交换机来模拟校园网接入交...
2019-10-26 13:47:16
2767
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人