大Null-CSDN博客

tar命令可以为Linux的文件和目录创建档案。利用tar，可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。tar最初被用来在磁带上创建档案，现在，用户可以在任何设备上创建档案。利用tar命令，可以把一大堆的文件和目录全部打包成一个文件，这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。为什么要区分这两个概念呢？这源于Linux中很多压缩程序只能针对一个文件进行压缩，这样当你想要压缩一大堆文件时，你得先将这一大堆文件先打成一个包（...

2022-07-31 08:22:50 4578

原创 Nginx从入门到入坟（十五）- Nginx+Tomcat部署实现动静分离

Nginx如何实现动静分离，为什么要实现动静分离，动静分离的优点，什么是动静分离，Nginx整合Tomcat集群，动静分离实现步骤，Nginx与Tomcat集成方法

2022-07-13 15:33:23 1389

原创 Nginx从入门到入坟（十四）- Nginx缓存深入研究

Nginx如何实现Web缓存服务；缓存的基本概念；Nginx缓存案例实操；Nginx如何清除缓存；Nginx清除缓存的两种方法；Nginx如何设置对资源不缓存

2022-07-04 12:20:02 972

原创 Nginx从入门到入坟（十三）- 负载均衡的原理及优化

负载均衡概述；负载均衡的原理及处理流程；Nginx七层负载均衡的实现流程及指令详解；Nginx负载均衡的六种策略；Nginx四层负载均衡及指令详解；nginx负载均衡的案例；负载均衡常用的处理方式；DNS轮询方式；四/七层负载均衡；负载均衡的状态；.........

2022-06-29 15:41:42 1301 1

原创 shell脚本实现从sftp服务器定时拉取日志

需求如标题，代码如下：安装之前检查服务器是否安装，执行命令安装。添加任务计划每小时定时执行。

2022-06-27 16:39:28 1047

原创 python脚本之api数据合并（最终版）

突然想起，这个脚本完善之后几个月了，一直忘了发出来，虽然没什么人看，但至少有始有终吧，在之前发过的两个版本基础之上优化了性能问题。代码就三四百行吧，看得懂看不懂就这样了。。。。。。...

2022-06-22 16:03:01 2486

原创 Nginx从入门到入坟（十二）- Nginx添加SSL证书

Nginx的安全控制；如何使用SSL对流量进行加密;Nginx添加SSL的支持；Nginx的SSL相关指令；关于 Web 服务器的安全是比较大的一个话题，里面所涉及的内容很多，Nginx 反向代理是如何来提升 Web 服务器的安全呢？这里就要说一下的概念了...

2022-06-14 15:28:43 2779 2

原创 Nginx从入门到入坟（十一）- Nginx反向代理深入研究及优化

Nginx反向代理的原理；反向代理的配置语法、案例讲解；反向代理的调优；如何利用缓冲控制；Nginx缓存和过期控制；Nginx的proxy_pass、proxy_set_header、proxy_redirect三个反向代理常用指令

2022-06-14 15:24:34 1685

原创 Nginx从入门到入坟（十）- Rewrite功能详解与案例实操

地址重写与地址转发的区别；Rewrite规则详解；Rewrite常用全局变量详解；Rewrite常用指令详解；Rewrite常见案例总结；Rewrite域名跳转案例；Rewrite域名镜像案例；Rewrite独立域名案例；Rewrite目录自动添加“/”案例；Rewrite合并目录案例；Rewrite防盗链案例

2022-04-22 11:23:23 3255

原创 Nginx从入门到入坟（九）- Nginx静态资源如何防盗链

目录1. 什么是资源盗链2. Nginx防盗链的实现原理3. 针对目录进行防盗链参考文献1. 什么是资源盗链资源盗链指的是此内容不在自己服务器上，而是通过技术手段，绕过别人的限制将别人的内容放到自己页面上最终展示给用户，以此来盗取大网站的空间和流量。简而言之就是用别人的东西成就自己的网站。效果演示，下面是京东和百度的两张图片：京东：https://img14.360buyimg.com/n7/jfs/t1/101062/37/2153/254169/5dcbd410E6d10ba22/4

2022-04-21 14:20:30 2233

原创 Nginx从入门到入坟（八）- Nginx的跨域问题

目录1. 同源策略2. 跨域问题3. 跨域问题的案例演示4. 解决方案参考文献1. 同源策略浏览器的同源策略：是一种约定，是浏览器最核心也是最基本的安全功能，如果浏览器少了同源策略，则浏览器的正常功能可能都会受到影响。同源：协议、域名(IP)、端口相同即为同源。http://192.168.200.131/user/1https://192.168.200.131/user/1非同源http://192.168.200.131/user/1http://192.168.200.13

2022-04-21 11:28:57 2071

原创 Nginx从入门到入坟（七）- Nginx实现静态资源的缓存处理

目录1. 什么是缓存2. 什么是Web缓存3. 浏览器缓存的优点4. 浏览器缓存的执行流程5. 浏览器缓存相关指令参考文献1. 什么是缓存缓存（cache），原始意义是指访问速度比一般随机存取存储器（RAM）快的一种高速存储器，通常它不像系统主存那样使用 DRAM 技术，而使用昂贵但较快速的 SRAM 技术。缓存的设置是所有现代计算机系统发挥高性能的重要因素之一。2. 什么是Web缓存 Web 缓存是指一个 Web 资源（如 html 页面，图片，js，数据等）存在于 Web 服务器和客户端（

2022-04-20 14:44:56 6261

原创 Nginx从入门到入坟（六）- Nginx实现静态资源压缩

Nginx静态资源压缩实战1. Gzip模块配置指令2. Gzip压缩功能的实例配置3. Gzip和sendfile共存问题经过上一篇内容讲的静态资源的优化，我们再次思考一个问题，假如在满足上述优化的前提下，我们传送一个 1M 的数据和一个 10M 的数据那个效率高？答案显而易见，传输内容小，速度就会快。那么问题又来了，同样的内容，如果把大小降下来，我们脑袋里面要蹦出一个词就是 “压缩”，接下来，我们来讲讲 Nginx 的静态资源压缩模块。在 Nginx 的配置文件中可以通过配置gzip来对静态

2022-04-20 10:34:36 3850

原创 Nginx从入门到入坟（五）- Nginx静态资源优化配置语法

Nginx 对静态资源如何进行优化配置。这里从三个属性配置进行优化：sendfile ontcp_nopush ontcp_nodeplay on sendfile：用来开启高效的文件传输模式。语法sendfile on|off默认值sendfile off位置http、server、location… 请求静态资源的过程：客户端通过网络接口向服务端发送请求，操作系统将这些客户端的请求传递给服务器端应用程序，服务器端应用程序会处理这些请求，请求处理

2022-04-19 15:42:30 749

原创 Nginx从入门到入坟（四）- Nginx基础配置实例

前面三篇我们已经对 Nginx 服务器默认配置文件的结构和涉及的基本指令做了详细的阐述。通过这些指令的合理配置，我们就可以让一台 Nginx 服务器正常工作，并且提供基本的 web 服务器功能。接下来我们将通过一个比较完整和简单的基础配置实例，来巩固下前面所学习的指令及其配置。需求如下：1.有如下访问： http://localhost:8081/server1/location1 访问的是：index_sr1_location1.html http://localhost:8081/s

2022-04-19 11:32:41 197

原创 Nginx从入门到入坟（三）- Nginx核心配置文件分析

nginx.conf文件配置详解；server块和location块的语法与匹配逻辑详解；listen指令和server_name指令详解；Nginx如何选择用于处理请求的location；location中的反斜线详解；全局块user指令和work process指令详解；events块指令配置实例；http块定义MIME-Type；nginx http块自定义服务日志；如何设置请求资源的目录；index指令和error_page指令详解；

2022-04-15 16:36:42 1827

原创 Nginx从入门到入坟（二）- Nginx安装部署教程

Nginx1.21.6安装部署教程；如何将Nginx安装成系统服务；Nginx常用启动关闭命令；防火墙常用命令；

2022-04-13 17:38:29 420

原创 Nginx从入门到入坟（一）- Nginx入门篇

什么是反向代理和正向代理；反向代理、正向代理、透明代理的区别；Nginx的常用功能；Nginx的使用场景；Nginx的特点总结；Nginx的功能特性，基本HTTP服务，高级HTTP服务；什么是负载均衡；什么是动静分离...

2022-04-13 16:48:36 718

原创 ClickHouse实时分析（十五）- ClickHouse的备份与恢复

目录1. 手动实现备份及恢复1.1 创建备份路径1.2 执行备份命令1.3 将备份数据保存到其他路径1.4 恢复数据2. 使用clickhouse-backup2.1 上传并安装2.2 配置文件2.3 创建备份2.4 从备份恢复数据2.5 其他说明参考文献1. 手动实现备份及恢复 ClickHouse 允许使用ALTER TABLE ... FREEZE PARTITION ... 查询以创建表分区的本地副本。这是利用硬链接（hardlink）到/var/lib/clickhouse/shadow/文

2022-04-11 10:17:45 6770 5

原创 ClickHouse实时分析（十四）- ClickHouse在生产环境上的常见问题排查

ClickHouse常见报错整理及解决方法；分布式DDL某数据节点的副本不执行；数据副本表和数据不一致；副本节点全量恢复；数据副本启动缺少zk表；ZK table replicas 数据未删除，导致重建表报错；Clickhouse节点意外关闭

2022-04-08 14:57:25 2096

原创 ClickHouse实时分析（十三）- ClickHouse物化视图详解

目录1. 概述1.1 物化视图和普通视图的区别1.2 优缺点1.3 基本语法1.3.1 创建物化视图的限制1.3.2 物化视图的数据更新2. 案例实操2.1 准备测试用表和数据2.2 创建物化视图2.3 导入增量数据2.4 导入历史数据参考文献1. 概述 ClickHouse 的物化视图是一种查询结果的持久化，它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别，它就是一张表，它也像是一张时刻在预计算的表，创建的过程它是用了一个特殊引擎，加上后来 as select，就是 create 一个 t

2022-04-08 11:39:22 4968 2

原创 ClickHouse实时分析（十二）- ClickHouse如何保证数据一致性

目录1. ClickHouse的数据一致性问题2. 手动OPTIMIZE3. 通过Group by去重1. ClickHouse的数据一致性问题在生产环境中，数据一致性的重要性，不论如何强调都不过分。而 ClickHouse 在进行数据变更时，都会产生一个临时分区，而不会更改原始数据文件，对数据文件的修改操作会要等到数据合并时才进行。所以 ClickHouse 只能保证数据的最终一致性，而不能保证强一致性。很可能数据变更后，程序通过 ClickHouse 查到之前的错误数据。因此使用 ClickHo

2022-04-08 10:28:30 3931

原创 ClickHouse实时分析（十一）- ClickHouse高性能查询优化方案

目录1. 单表查询1.1 prewhere替代where1.2 数据采样1.3 列裁剪与分区裁剪1.4 order by结合where、limit1.5 避免构建虚拟列1.6 uniqCombined替代distinct1.7 使用物化视图1.8 其他注意事项2. 多表关联2.1 准备表和数据2.2 用IN代替JOIN2.3 大小表JOIN2.4 注意谓词下推2.5 分布式表使用GLOBAL2.6 使用字典表2.7 提前过滤参考文献1. 单表查询1.1 prewhere替代where prewher

2022-04-02 11:41:02 3599

suse12 sp4，sp5镜像SLE-12-SP4，SLE-12-SP5资源分享

空空如也