- 博客(149)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Logstash6.x 入门
简介 Logstash是一个开源的服务器端数据处理管道，可以同时从多个源获取数据。面对海量的日志量，rsyslog和sed，awk等日志收集，处理工具已经显的力不从心。logstash是一个整合型的框架，可以用以日志的收集，存储，索引构建（一般这个功能被ES取代）。工作机制 logstash 的服务器端从redis/kafka/rabbitmq
2018-01-20 21:41:38
7612
原创 全文搜索引擎Elasticsearch6.x 入门
全文搜索的需求非常大。而开源的解决办法Elasricsearch（Elastic）就是一个非常好的工具。目前是全文搜索引擎的首选。 Elastic 的底层是开源的Lucene。Elastic提供了REST API的操作接口。是Lucene的扩展。底层依旧是索引，但是可以把大索引切成n片，放到不同的节点，所以就实现了分布式。也就理所当然的是读写负载均衡。此外，他还是一个分布式实时文档
2018-01-17 16:56:56
10145
3
原创 redis基础学习
redis redis的意思是Remote Dictionary Server。是一个典型的key-value的数据库。redis经常会被拿来跟memcached作比较，但是他们之间最大区别就是memcached是内存中的缓存，并不能持久化，而redis可以做持久化的。而且redis性能高 – 能支持超过 100K+ 每秒的读写频率。并且支持的数据类型十分丰富。列表，字典，hash，
2017-04-11 20:13:17
1304
原创 Nginx学习笔记
Nginx Nginx 是一个开放的Web服务器和反向代理。比较适合大型网络的建设使用，web加速，负载均衡。 由上图可见，在全球web服务器的选择方向上，nginx的势头很强劲。基本功能及特性1. Web服务器--配置虚拟服务器，使用变量，URL重写和自定义错误页面。2. 静态内容--设置请求的内容和根目录。可将内容直接缓
2017-03-16 20:21:43
682
原创 MySQL的主从复制原理
一.主从复制 MySQL的复制是通过将一台主（master）服务器的数据复制到其他主机(slaves) 上。从服务器可以有很多。而复制的原理跟MySQL的二进制日志是分不开关系的。 主服务器将更新写入二进制日志系统，并维护一个索引跟踪日志的循环，这些日志发送到从服务器上更新。从服务器通知主服务器，并从主服务器的日志上读取最后一次的成功更新的位置。 复制
2017-03-07 21:11:58
1952
1
原创 使用LVS 实现负载均衡的原理。
LVS 负载均衡 负载均衡集群是 Load Balance 集群。是一种将网络上的访问流量分布于各个节点，以降低服务器压力，更好的向客户端提供服务的一种方式。常用的负载均衡 开源软件有Nginx、LVS、Haproxy (ngnix和haproxy是七层负载均衡，LVS是四层负载均衡) 商业的硬件负载均衡设备F5、Netscale。 简单的理解一
2017-02-22 22:06:45
14022
2
原创 学习笔记之建立lamp平台
LAMP 是指 Linux+Apache+Mysql/MariaDB+Perl/Python/PHP来搭建动态网站或服务器的开源软件。从网站的流量来说，70%以上的访问量都是LAMP提供的，LAMP是最强大的网站解决方案。 看看其他网站的服务器都是什么，来看看爱奇异的服务器是Apache的
2017-01-19 15:51:23
635
原创 学习笔记之iptables（一）
1.防火墙的基础知识 首先需要认识到什么是防火墙，防火墙是通过一些有顺序的规则。给从网络中进入到主机应用层之间的通道上设置很多道拦截的口，每个口会有一堆规则去匹配。匹配上，如果是匹配结果是通过就放行，如果是匹配结果是拒绝，就不允许数据包通过。 防火墙的最大功能就是帮助你限制某些服务的访问来源。所以防火墙的功能就是1.切割被信任的与不信任的域或者网段。2.划分出
2016-12-08 21:39:27
1255
原创 学习笔记之mariadb的入门操作
由于CentOS 7 将mysql全部都改成了mariadb。所以在CentOS 下yum安装mysql是没有用的。虽然还是有一大堆软件包叫做mysql。mysql-community-release.noarch el7-5 installed php-mysql.x86_64 5
2016-11-28 18:05:34
23553
5
原创 学习笔记之HTTPD
1.HTTP的基础知识 1.HTTP：（超文本传输协议）。早期仅仅是实现了再不同文本(仅ASCII码)之间的跳转。随着后期的不断改进最终形成了如今的HTTPD 2. 说到HTTPD就必须说到Apache这个世界排名第一的Web服务器， 一个网页的浏览需要一个服务器端和一个客户端。服务器端可以用Apache，IIS，Nignx，thttpd（小巧的轻量级Web server）
2016-11-19 21:02:21
1468
原创 学习笔记之openssl、文件加密、CA证书的创建
1.openssl 的基础知识 首先openssl的英文是Secure Sockets Laye。安全套接层协议。可以在Internet上提供秘密性传输。SSL能使用户/服务器应用之间的通信不被攻击者窃听，并且始终对服务器进行认证，还可选择对用户进行认证。SSL协议要求建立在可靠的传输层协议(TCP)之上。SSL协议的优势在于它是与应用层协议独立无关的。高层的应用层协议(例如：H
2016-11-13 21:43:11
3117
原创 DNS学习笔记-服务的配置与基础概念
1、DNS的基础知识上网时本输入IP就可以了，但人们方便记忆的是字符串。所以，DNS就诞生了，DNS负责域名（字符串）到IP的转换正向查询：最基本的通过主机名查IP反向查询：用IP来查主机名迭代查询：去查询dns时。服务器不直接告诉你答案。而是让你去找另一台主机去问答案递归查询：去查询dns时，问的谁。谁就直接告诉你答案。常常听别人说什么
2016-11-11 14:37:35
3632
原创 学习笔记之shell的文本处理工具
1.比较文件的不同diff，comm，cmp首先创建两个文件。内容如下[root@www Practice]# cat Example1abcdef[root@www Practice]# cat Example2abcdefghi1.diff比较2个文件的不同之处[root@www Practice]# diff Example[1,2]2a3> ghi
2016-11-07 15:37:36
764
原创 CentOS7 的时间同步方法
centos7 时间同步和时区设置首先centos7的时间同步是使用chrony这个工具（[root@localhost ~]# systemctl status chrony● chrony.service Loaded: not-found (Reason: No such file or directory) Active: inactive (dead)
2016-10-24 21:22:38
27772
6
原创 angular7 中如何使用自己的monaco编辑器（vscode）
vscode 是一款很装逼的编辑器，如果将其移至进到web浏览器就更牛逼了。参考 https://github.com/materiahq/ngx-monaco-editorng new monaco-editor-democd monaco-eidtor-demo# 开始安装npm install @materia-ui/ngx-monaco-editor --save# 添...
2019-01-27 18:18:07
3660
1
原创 angular 的同步http请求
最近在用angular 的ng-zorro 的cascader 级联选择器的时候发现。cascader 在使用 rxjs 的 subscribe 异步传入数据时，cascader的级联选择加载不出来数据。于是想到如何使用同步来获取数据。首先，获取数据，我写在 service 里。 getGroupsList(): Observable<GroupsInfo> { ...
2019-01-26 19:44:02
9450
1
原创 open-falcon 的使用
open-falconopen-falcon 是小米公司开源的一款监控服务。一.安装open-falcon 后台1.redis安装与配置yum -y install redis2.mysql安装及配置初始化mysqlcd /tmp/ && git clone https://github.com/open-falcon/falcon-plus.git...
2018-11-11 13:08:46
1268
原创 Vue解决购物车
Vue 易用，灵活，高效。<div id="app"> {{ message }}</div><script src="https://cdn.jsdelivr.net/npm/vue"></script></body><script> var app = new Vue(
2018-09-08 15:30:53
754
原创 Liunx防火墙--iptables(二)攻击与防御篇
网络层攻击的定义 网络层攻击定义为：通过发送滥用网络层的首部字段的一个或者一系列的数据包以利用网络栈漏洞或消耗网络层资源进行攻击。1.首部滥用：包含有恶意构造的，损坏的或经过非法改造的网络层首部的数据包。（如虚假源ip地址，或者包含虚假片偏移）2.利用网络栈漏洞：如Linux 2.6.9 以前版本发现的IGMP拒绝服务Dos漏洞。3.宽带包和：DDos攻击。4.IP分...
2018-08-30 22:13:36
1405
原创 git 版本太老，导致的git clone 失败
go get github.com/astaxie/beego# cd .; git clone https://github.com/astaxie/beego /home/weijiaxiang/tmp/tmp_lib/privateline/temp/src/github.com/astaxie/beegoInitialized empty Git repository in /hom...
2018-08-27 22:33:09
1039
转载 javascript 如何再执行完一个函数后再执行下一个函数
先说结论：首先，JavaScript是解释性语言，本来就是顺序执行的！！所以，如果发现有一段js代码总是在一段代码之前就执行完了，比如说报了null异常，那么有可能是回调函数的异步机制造成的。此种情形下解决的方法是，把要执行的函数放在回调函数内部就可以了。举个栗子例如用JQuery Ajax 的 $.getJSON 方法：$(function () {$.getJSON...
2018-08-03 16:42:36
15442
原创 Linux防火墙--iptables(一)基础篇
一.iptables 简介 iptables防火墙是由Netfilter项目开发的，iptables提供了全面的协议状态跟踪、数据包的应用层检查、速率限制、指定策略过滤等。而iptables使用Netfilter框架进行过滤。Netfilter本身不对数据包进行过滤---它只是允许可以过滤数据包的函数挂接到内核的位置。二.iptables的过滤策略 iptables策...
2018-07-30 23:52:21
377
原创 AUPE读书笔记--文件与目录
首先使用stat命令是可以看到一个文件的详细信息的。$ stat src/ File: ‘src/’ Size: 56 Blocks: 0 IO Block: 4096 directoryDevice: fd02h/64770d Inode: 201581405 Links: 5Access: (0775/drwxrwxr-x) Uid: (...
2018-05-29 17:53:47
833
转载 tshark 网络抓包监控工具
tshark - Dump and analyze network traffic一.REFhttps://www.wireshark.org/docs/man-pages/tshark.html二.命令tshark [ -2 ] [ -a <capture autostop condition> ] ... [ -b <capture ring buffer option>...
2018-05-19 15:51:44
1318
原创 记一次误将/usr 的拥有者全部改错导致must be setuid root
由于本菜 使用 chown kiosk:kiosk -R /usr 命令，导致的问题就是无法再切换回root用户，su和sudo 全部失效。就连 systemctl 命令也全部都失效了sudo:must be setuid root 等问题。systemctl报错polkit怎么怎么滴。这下把我吓的半死。这下完了。不能使用超级用户，也不能启动服务了。经过查阅网上资料。总算找到了回到root的方法...
2018-04-26 16:30:08
516
原创 AUPE 读书笔记（二）--文件I/O
今天读到了文件I/O这里。首先I/O函数就是用来打开文件，读文件，写文件等等。用到的函数就是 open,read,write,lseek以及close。这些都是不带缓存的I/O。 为了温习下Go，所以我决定用Go语言来实现一下AUPE提到的东西。文件描述符号 对于内核而言,所有打开文件都由文件描述符引用。文件描述符是一个非负整数。当打开一个现存文件或创...
2018-03-22 14:51:09
466
原创 Pycharm，GoLand，Phpstorm等jetbrains在Linux(Centos)下无法输入中文的问题解决。
在Linux下使用tar包解压缩的编程工具存在中文输入不了。却在终端或者网页都可以正常使用中文输入。这是怎么回事呢？首先确保ibus都装好着呢。# yum grouplist hidden |grep "Input" Input Methods就是这个安装组包。# yum groupinstall "Input Methods"若问题还未解决。在 工具的启动文件加点东西。# pwd/o...
2018-03-21 18:01:24
3680
5
原创 在Pythonaywhere上部署我的Django项目
在完成一个django网站后，总想向大家展示一下我的作品，但是，又没钱买域名和服务器，难道只能在自己的电脑上运行吗。当然不是。可以在 pythonanywhere.com 上面部署我们的代码。可以直接通过这个网站的域名去访问我们的作品。 首先当然是在 这个网站上申请一个帐号了。申请完成后的界面如下。由于他们支持的python版本和django版本与我们要求...
2018-03-21 12:24:18
472
原创 APUE 读书笔记（一）
应老大要求，从今天开始APUE的读书笔记。其实就是一些比较需要注意的点第一章. UNIX基础知识 一、登陆拿到一台Linux主机，最新开始的是登陆。Linux 登陆的验证是靠 /etc/passwd 这个文件的。$ grep kiosk /etc/passwdkiosk:x:1000:1000:kiosk:/home/kiosk:/bin/bash这些子段分别是用户名，加密后的密码，用户i...
2018-03-19 17:40:08
426
原创 Django2.0 利用ajax打造博客的评论区
首先评论区是需要前端与后台交互的，前端上接受用户的输入。在输入完成后，立马在评论区显示。首先是urls.py path('article/<int:article_id>/comment',views.comment_view,name='comment'),再着是 forms.py。from django import formsfrom .models import Art...
2018-03-18 20:11:38
1745
3
原创 Filebeat，Redis和ELK6.x集中式日志解决方案
简介 ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。而redis作为一款性能优良的消息队列。更是适合用在此场景中。 下面是针对每个技术我的博客详解。
2018-01-22 13:20:28
6018
原创 Python IP 的处理模块
IPY ip的处理方面经常需要处理 大量的IP地址。包括网络性能，网络掩码，广播地址，子网数，IP类型进行判断。IPy 模块就可以很好的解决这个问题。安装方式# pip install IPy判断 ip 的类型>>> from IPy import IP>>> ip = IP('192.168.1.2')>>> ip.version()4
2017-11-08 15:25:47
539
原创 python 获取系统基础信息
系统基础信息包括 Linux基本性能，块设备，网卡接口，系统信息，网络地址库等信息。使用的是psutil模块。安装方法十分简单 pip install psutil 就好 内存信息查看物理内存的total值和物理内存的used值。>>> import psutil>>> mem = psutil.virtual_memory()>>> print 't
2017-11-07 16:55:34
752
原创 scrapy 的命令行
Scrapy命令行Scrapy是通过scrapy命令行工具控制的，在这里被称为“Scrapy工具”，以区别于我们刚刚称之为“命令”或“Scrapy命令”的子命令。首先创建 scrapy项目。[root@lol spider]# scrapy startproject testprojectNew Scrapy project 'testproject', using template
2017-11-06 20:27:17
802
原创 python爬虫 -- scrapy框架
Centos 7 安装scrapy 在安装了pyenv的基础上。可以支持多版本的python。再安装相关包。yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y安装lxml，再安装scrapypip install lxmlpip
2017-11-06 16:36:45
379
原创 Pyspider 框架的用法
PyspiderPyspider是国人开发的开源且强大的网络爬虫系统python 脚本控制，可以用任何你喜欢的html解析包（内置 pyquery），WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出，数据存储支持MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL 及 SQLAlchemy，队列服务
2017-11-04 16:26:36
1769
原创 爬虫基础 -- 用Flask+Redis维护代理池
因为在爬虫的时候经常经常会遇到封IP 的情况，那么使用代理就可以解决这个问题。池子里面放一些代理，而且需要定期的检查。互联网上公开了大量的免费代理，而且互联网上也有付费的代理。代理池的要求：1.多站抓取，异步检测2.定时筛选，持续更新3.提供接口，易于提取代理池的架构
2017-10-25 19:38:11
1309
原创 爬虫基础 -- pyquery
Pyquery 强大又灵活的网页解析库，相比而言，正则写起来太麻烦。如果说beautifulsoup语法太难记，如果熟悉jQuery，那么Pyquery是绝佳的选择。Pyquery是模仿jQuery的。初始化 字符串初始化html = ''' first item second item third
2017-10-25 17:01:13
1289
原创 爬虫基础-requests库
Python 的requests库requests 是用Python 写的，基于urllib，采用Apache2 Licensed 开源的HTTP库。他比urllib更加方便，可以节约我们大量的工作。完全满足HTTP测试的需求。好了展示一下强大的requests库 实例引入import requestsresponse = requests.get('htt
2017-10-25 16:02:09
455
原创 爬虫基础-- 正则基础
re模块是python 中专门处理正则相关的模块下面专门介绍一下正则表达式。相关的正则测试网站推荐一个。 http://tool.oschina.net/regex/ re.matchre.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.match(patter
2017-10-22 14:08:28
292
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人