- 博客(114)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 lnmp(11)—— MySQL-Proxy实现mysql的读写分离
1.mysql数据库的读写分离的基础知识（为什么要进行读写分离）对于很多大型网站（pv值百万、千万）来说，在所处理的业务中，其中有80%的业务是查询（select）相关的业务操作 （新闻网站，插入一条新闻，查询操作） 剩下的则是写（insert、update、delete，只要能对MySQL的数据造成更改的操作都叫写操作）操作在使用负载均衡集群之后，可以很大程度的提升网站的整体性能，但是最终的数据处理的压力还是会落到MySQL数据库上所有很有必要使用一些技术来提升MySQL的负载能力。（读写分离）
2020-09-08 22:58:02
207
原创 LNMP架构（10）——mysql的全同步复制（组复制）
1.mysql的全同步复制（组复制）的基础知识组复制模型：不分主从，都一样它支持单主模型和多主模型两种工作方式(默认是单主模型)单主模型：从复制组中众多个MySQL节点中自动选举一个master节点，只有master节点可以写，其他节点自动设置为read only当master节点故障时，会自动选举一个新的master节点，选举成功后，它将设置为可写，其他slave将指向这个新的master多主模型：复制组中的任何一个节点都可以写，因此没有master和slave的概念只要突然故障的节点数量不太
2020-09-08 18:55:54
237
原创 LNMP架构（9）——mysql的半同步复制原理及配置
前言：相比异步复制提高了数据的完整性，因为增加了ack信号确认是否正常。1.介绍mysql半同步复制的基础知识半同步复制：一主多从模式下，有一个从节点返回成功，即成功，不必等待多个节点全部返回MySQL半同步，该模式可以确保从服务器接收完主服务器发送的binlog日志文件并写入自己的中继日志（relay log）里，然后会给主服务器一个反馈，告诉对方已经接收到完毕，这时主库线程才返回当前session告知操作完成，当出现超时情况时，源主服务器会暂时切换到异步复制模式，直到至少有一台设置为半同步复制模式
2020-09-08 16:07:01
162
原创 LNMP架构（8）——mysql的异步复制（positon和gtid主从复制原理及主从数据库配置）
前言：在数据库中进行操作时，事实上大小写都是通用的，但尽量使用大写1.1.MYSQL的主从复制（异步复制）的基本信息异步复制（主从复制）master节点不会关心slave节点的状态，只需要写自己的数据即可能不能完成复制看slave节点的io线程和sql线程是否开启1.1.1 主从复制的要求：（1）主库开启binlog日志（设置log-bin参数）（2）主从server-id不同（3）从库服务器能连同主库1.1.2 主从复制的原理：mysql的主从配置又叫replication，AB复制，
2020-09-08 15:27:22
155
原创 LNMP架构（7）——myql数据库同步及phpMyadmin的图形化管理界面
1.myql数据库同步到另一台服务器将server2中的mysql共享至server3，并在server3启动mysqlserver2：[root@server2 local]# rsync -a mysql server3:/usr/local/[root@server2 mysql]# scp /etc/my.cnf server3:/etc/server3：[root@server3 mysql]# groupadd -g 1001 mysql [root@server3 mysql
2020-09-08 14:23:01
200
原创 LNMP架构（6）——apache和nginx可视化动态日志分析平台GoAccess的部署
一、简介1.goaccess主要用于分析apache和nginx日志，功能十分强大。二、安装$ wget https://tar.goaccess.io/goaccess-1.4.tar.gz$ tar -xzvf goaccess-1.4.tar.gz$ cd goaccess-1.4/$ ./configure --enable-utf8 --enable-geoip=legacy$ make# make install三、用goaccess分析nginx的日志[root@serv
2020-09-08 13:37:35
114
原创 lnmp架构（5）——应用服务器集群的nginx+tomcat+memcache+session保持
在上一个实验当中，实现了服务器的会话保持，但当一个服务器挂掉后，之前的数据会丢失， 这个时候就要用到memcache这个存储节点，它属于交叉存储tomcat1和tomcat2上面都有memcache存储（把数据缓存在内存当中） 分别为memcache1和memcache2这两个存储节点属于存储节点 当tomcat1挂了之后，客户1就会去访问tomcat2对应的memcache这时候会把用户放在memcache1的数据全部放到memcache2上面如果tomcat服务器都正常，memcache不会同步
2020-09-08 13:19:55
111
原创 lnmp架构（4）——nginx+sticky粘制模块实现tomcat负载均衡中的会话保持
前言：弥补上篇的缺憾现使用粘制位sticky来实现会话保持1.什么是会话保持（Session Persistence）在一段时间内将同一客户的某一类型请求绑定至 同一台服务器上，使得这一时间段中该客户端所有该类型请求均由同一服务器进行处理让一个用户的访问始终是一个tomcat服务器，可以保证用户的数据在一个tomcat服务器上面让一个用户始终访问一个tomcat服务器，不能让同一个用户轮询访问后台的两个tomcat服务器，否则会造成用户的数据丢失2.nginx会话保持之nginx-sticky-
2020-09-08 12:48:07
140
原创 LNMP架构（3）——Tomcat（jsp）简介配置以及nginx +jsp+ tomcat实现客户端的动态请求、负载均衡和反向代理
lnmp架构工作的整个过程1.什么是tomcat？Tomcat是一个中间件，真正起作用的，解析java脚本的是jdk jdk（java development kit）是整个java的核心，它包含了java运行环境和一堆java相关的工具以及java基础库Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服
2020-09-08 12:07:07
262
1
原创 LNMP架构（2） ——php + memcache的结合（memcache的介绍）
一、Memcache简介Memcached是一个自由开源的，高性能，分布式内存对象缓存系统。用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-value存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。Memcache是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种
2020-09-08 10:19:38
129
原创 LNMP架构（1）LNMP架构介绍及源码安装PHP
1 什么是lnmp说明：以前叫做lamp，因为那时候用的apache而现在用的是nginx。 lump=Linux Nginx Mysql PhpLNMP是指一组通常一起使用来运行动态网站或者服务器的自由软件名称首字母缩写L指Linux，N指Nginx，M一般指MySQL，也可以指MariaDB，P一般指PHP，也可以指Perl或PythonLNMP代表的就是：Linux系统下Nginx+MySQL+PHP这种网站服务器架构Linux是一类Unix计算机操作系统的统称，是目前最流行的免费操作系统
2020-09-07 21:55:17
1744
原创 13、nginx——内存占用优化，版本隐藏·，systemd启动配置，主配置文件的调参
1.内存占用优化vim /root/nginx-1.18.0/auto/cc/gcc 2.版本隐藏vim /vim /root/nginx-1.18.0/srv/core/nginx.h 3.systemd启动配置[root@server2 logs]# cat /usr/lib/sy...
2020-09-07 20:46:07
171
原创 12、负载均衡的高可用集群——共享存储（scisc+nginx+pacemaker+fence)（3）
1.共享存储（scisc+nginx+pacemaker+fence) 该项目主要是实现的是资源共享存储，结合nginx的负载均衡，pacemaker的高可用，解决单点故障，实现双机热备，用fence解决脑裂。2.实验环境的搭建提前配置好fenceServer1 172.25.254.1 pacemakerServe...
2020-09-07 20:42:33
289
原创 11、负载均衡的高可用集群——nginx七层的负载均衡+nginx的虚拟主机（2）
1.nginx七层的负载均衡实验环境server3（172.25.25.3 nginx） server4（172.25.25.4 后端服务器） server5（172.25.25.5 后端服务器） vim /usr/local...
2020-09-07 20:39:36
93
原创 10、负载均衡的高可用集群——nginx的介绍和部署（编译nginx）（1）
一、介绍 Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。 Nginx是一款轻量级的Web服务...
2020-09-07 20:38:14
368
原创 9、负载均衡的高可用集群-haproxy负载均衡+pacemaker高可用（5）
haproxy负载均衡+pacemaker高可用实验环境server1（172.25.254.1）（hapoxy+pacemaker） 安装hapoxy+pacemakerserver2（172.25.254.2）(hapoxy+pacemaker） 安装hapoxy+pacemakerserver4（172.25.254.4）apache 后端服务器server5（172.25.254.5）apache 后端服务器pacemakerserver1 和server2的haproxy配置一样，能
2020-09-07 20:36:11
95
1
原创 8、负载均衡的高可用集群——haproxy负载均衡+keepalived高可用（4）
haproxy负载均衡+keepalived高可用1.实验环境sever2（172.25.254.2）haproxy+keepalived 安装并配置 haproxy+keepalivedsever3（172.25.254.3）haproxy+keepalived 安装并配置 haproxy+keepalivedsever4（172.25.254.4）apache 服务器 安装 apache 服务器sever5（172.25.254.5）apache 服务器 安装 apache 服务器2.配置
2020-09-07 20:33:07
97
1
原创 7、负载均衡的高可用集群——haproxy的动静分离，读写分离（3）
1.haproxy的动静分离实验环境： server3（haproxy） install haproxy server4（动态服务器） install PHP 写一个PHP动态页面 server5（静态服务器） 在里面创建一个/var/...
2020-09-07 20:28:04
152
1
原创 6、负载均衡的高可用集群——haproxy的日志管理，监控管理，算法实现，端口设定转发，黑名单设定（2）
1.haproxy的日志管理vim /etc/rsyslog.conf$ModLoad imudp$UDPServerRun 514*.info;mail.none;authpriv.none;cron.none;local2.none /var/log/messageslocal2.* ...
2020-09-07 20:20:08
125
1
原创 5、负载均衡的高可用集群——haproxy的介绍及负载均衡服务器部署(1)
一、Haproxy介绍HAProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。实现了一种事件驱动，单一进程模型，支持非常大的并发连接，是因为事件驱动模型有更好的资源和时间管理的用户端（user-space）实现这些业务在7层负载均衡方面的功能很强大(支持cookie track, header re...
2020-09-07 20:18:08
124
1
原创 4、负载均衡的高可用集群——LVS负载均衡中的DR模式+高可用keepalived实现健康检测（3）
一、Keepalived是什么？Keepalived是一款高可用软件，它的功能主要包括两方面：1）通过IP漂移，实现服务的高可用：服务器集群共享一个虚拟IP，同一时间只有一个服务器占有虚拟IP并对外提供服务，若该服务器不可用，则虚拟IP漂移至另一台服务器并对外提供服务；2）对LVS应用服务层的应用服务器集群进行状态监控：若应用服务...
2020-09-06 11:41:29
197
原创 3、负载均衡的高可用集群——LVS负载均衡中的DR模式实现（2）
实验环境虚拟机名称 作用 IP server1 lvs 172.25.254.1 server2 RS1 172.25.254.2 server3 RS2 172.25.254.3 VIP为：172.25.254.100测试服务：Http 端口：80物理...
2020-09-06 11:39:42
115
原创 2、高可用负载均衡集群——LVS负载均衡的介绍及LVS的不同模式（1）
目录 一. LVS简介 二.LVS的基本工作原理三、LVS的组成四、LVS相关术语五.LVS三种模式的详解六.总结 七.新的转发模式FULLNAT模式一. LVS简介 LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主...
2020-09-06 11:37:51
127
原创 1、高可用集群- Pacemaker+Corosync实现负载均衡和高可用
1.问题引入计算机集群可用于提供高可用性服务或资源。多台机器的冗余是用来防止多种类型的故障。集群将使用Pacemaker和Corosync提供资源管理和消息传递。下面将介绍所需的包和对其配置文件的修改，以及使用Pacemaker命令行工具生成用于集群控制的XML。2.什么是Pacemake？Pacemaker是一种集群资源管理器，也就是说，它是一种负责部署软件生命周期的逻辑——间接地可能甚至是整个系统或它们的互连——在一组计算机(又名节点)的控制下，并由规定的规则驱动。实现集群服务的最大可用性通过检
2020-09-06 00:04:02
334
1
原创 负载均衡（LB）概述
目录 1 负载均衡产生的背景2、负载均衡工具3、负载均衡算法1 负载均衡产生的背景（1）定义：LB（Load Balance，负载均衡）是一种集群技术，它将特定的业务（网络服务、网络流量等）分担给多台网络设备（包括服务器、防火墙等）或多条链路，从而提高了业务处理能力，保证了业务的高可靠性。（2）作用：负载均衡是高...
2020-09-05 21:36:39
1814
1
原创 python——ansibel+django项目实现
1 项目介绍具体的自动化任务执行流程是什么?逻辑是怎么实现的呢?用户浏览器端向服务器端发起HTTP请求(GET/POST)；Django作为核心框架的请求处理；API接口层： 接收客户端POST提交过来的数据，并将数据传给核心层；核心层: 业务逻辑处理+数据库交互(MySQL/Redis/Mongodb)模块层: 调用ansible...
2020-09-05 21:16:14
326
原创 Python——Ansible自动化任务（Playbook模式）
Ansible Playbook模式1.1什么是Playbook及其组成playbook剧本，适合解决复杂或需固化下来的任务优势:1、可以定制配置，可以按照指定的操作步骤有序执行，支持同步和异步方式。2、通过YAML格式来进行描述定义的, 语法简单，操作方便3、一个或者多个play组成， 一个play-多个task, 因此可...
2020-09-05 21:10:59
440
原创 Python——Ansible自动化任务（ansible的介绍和部署）
一、自动化任务执行的意义1.1 什么是自动化执行任务?假设我们要在10台Linux服务器上安装一个Nginx服务， 手动是如何操作的?第一步: ssh登录Linux(1,2,3...10)服务器第二步: 输入对应服务器密码第三步: 执行命令yum install nginx第四步: 执行命令systemctl start n...
2020-09-05 21:06:13
756
2
原创 项目实战: CMDB自动化资产扫描——3、视图层、前端及路由整合
资产管理探测流程存活探测： 获取局域网内存活的IP列表主机探测: 获取系统版本(SN、版本、MAC地址)主机关系探测: 识别宿主主机和虚拟机的关系1、主机存货探测模块视图层的实现Nmap探测工具Nmap，也就是Network Mapper，最早是Linux下的网络扫描和嗅探工具包。是一款用于网络发现和安全审计的网络安全工具。主机发现 - 识别网络上的主机。例如，列出响应TCP和/或ICMP请求或打开特定端口的主机。nmap -n -sP 172.25.254.197nmap
2020-07-30 16:54:32
689
原创 项目实战: CMDB自动化资产扫描——2、模型层设计
1、项目工程设计当用户发起HTTP请求时， Django的采集接口将HTTP请求的头部信息headers里面的IP和UA信息采集， 并存储到数据库中。 当用户想要访问采集数据时， 从数据库中读取，以界面的方式展示给用户。2、数据库模型层models一个类对应一个数据库表；类的一个属性对应数据库表的一个表头；max_length: 字符串最大长度， 对应数据库的varchar类型default: 指定默认值verbose_name: 指定Django后台显示的列头信息auto_now
2020-07-30 14:57:31
305
原创 项目实战: CMDB自动化资产扫描——1、介绍、环境搭建
1. 项目介绍本项目通过KVM虚拟化搭建Linux系统集群，使用 Ansible实现Linux集群下的批量部署与自动化管理，实现Web形式的自动化运维系统,集中批量控制服务器, 最终实现能支撑1000台实例的环境提供管理和自动化任务， 提高运维工程师的工作质量和效率。 项目基于HTTP实现自动化任务接受和响应接口设计，基于MySQL用作的关系型数据存取， 基于Redis的任务锁机制和消息队列， 基于MongoDB的事件日志记录， 最终实现邮件通知功能、敏感数据加密功能、日志事件记录功能。本博客主
2020-07-30 11:49:55
759
原创 项目实战：psutil结合Django实现文件内容比较（四）
实现功能：用户访问http://ip/, diff/,返回html页面，可以让用户上传文件1.host/urls.py添加diiff的路由功能# +号代表较之前功能添加的行，拷贝时候记得去掉from django.urls import path, includefrom . import viewsurlpatterns = [ path('', views.index, name='index'), path('disk/', views.disk, name='disk')
2020-07-27 17:53:05
218
原创 配置文件内容差异对比difflib
difflib为python的标准库模块，无需安装。用于对比文本之间的差异。并且支持输出可读性比较强的HTML文档，类似Linux系统的diff 命令。应用场景: 代码和配置文件差异对比。准备工作:两个不同时间备份的Nginx配置文件Pycharm集成化编程工具import difflibimport hashlibdef find_file_different(filename1, filename2, output_filename): ## 1.分析两个配置文件的不同，需
2020-07-27 17:00:36
743
原创 【Django框架基础知识】——Django、Torando、Flask，ORM，migration
1. Django框架，Flask框架和Tornado框架各有什么优缺点?为什么你的项目会选择使用Django框架?Django主要特点是大而全,集成了很多组件,例如: Models Admin Form 等等, 属于全能型框架优点：大和全（重量级框架）自带orm，template，view需要的功能也可以去找第三方的app注重高效开发全自动化的管理后台（只需要使用起ORM，做简单的定义，就能自动生成数据库结构，全功能的管理后台）session功能缺点：template不怎么好用（来
2020-07-26 18:54:10
199
原创 【网络基础全家桶】TCP/IP四层、TCP协议（三次握手、四次分手）、GET和POST
1. TCP/IP四层协议模型各层的主要功能：1、链路层(数据链路层/网络接口层)数据链路层实现了网卡接口的网络驱动程序，以处理数据在物理媒介（比如以太网、令牌环等）上的传输。数据链路层两个常用的协议是ARP协议（Address Resolve Protocol，地址解析协议）和RARP协议（ReverseAddress Resolve Protocol，逆地址解析协议）。它们实现了IP地址和机器物理地址（通常是MAC地址，以太网、令牌环和802.11无线网络都使用MAC地址）之间的相互转换。
2020-07-26 18:21:18
387
原创 项目实战：psutil结合Django实现服务器主机监控（三）
3.基于psutil模块监控用户登录监控需求3：用户访问http://ip/users/,返回当前登录用户的详细信息详情如下表:1)配置host/urls.pyurlpatterns = [ # 子路由配置，有对应的视图函数. path('', views.index, name='index'), path('disk/', views.disk, name='disk'), # 快速拷贝一行ctrl + d+ path('users/', views.u
2020-07-26 00:34:51
375
原创 项目实战：psutil结合Django实现服务器主机监控（二）
2. 基于psutil模块监控服务器的磁盘信息需求2:用户访问http://ip/disk/,返回磁盘分区的详细信息监控详情如下表1）配置host/urls.pyurlpatterns = [ # 子路由配置，有对应的视图函数. path('', views.index, name='index'), + path('disk/', views.disk, name='disk'), # 快速拷贝一行ctrl + d] 2）配置 host/views.py#添
2020-07-26 00:12:10
442
原创 项目实战：psutil结合Django实现服务器主机监控（一）
要求：基于psutil模块实现系统信息监控，监控详情如下表psutil实现系统信息监控1、安装psutil软件及依赖依赖：dnf install gcc python3-devel安装psutil软件：pip install -i https://pypi.douban.com/simple#安装表格软件,可以绘制出好看的表格：#pip install prettytable -i https://pypi.douban.com/simple2、代码预实现import psutil
2020-07-25 23:54:23
939
在隧道环境中6Ghz下的5G无线系统信号测量与建模
2019-03-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人