- 博客(45)
- 收藏
- 关注
RSS订阅原创 Git 管理branch model
Git 管理branch model分支管理小组作战，灵活，变量两个主要的branch其他分支注意问题分支管理小组作战，灵活，变量origin 是最终的原repo, 每一个开发人员都可以从origin 拉出分支，但是，除了集中的推拉关系之外，每个开发人员还可以从其他同伴那里拉出变更以组成子团队。 例如，在将进行中的工作过早地推向市场之前，与两个或多个开发人员一起使用一项重要的新功能可能很有用。 在上图中，有Alice和Bob，Alice和David以及Clair和David的子团队。从技术上讲，
2020-10-16 16:27:20
289
原创 安全相关的一些资料
安全相关的一些资料下面记录一些安全相关的开源项目一款产品入侵检测工具OSSECfacebook 开源的一款 比较酷的软件工具 Osquery一款免费的EDR Wazuh网络探测及端口扫描 nmap网络安全的monitor zeek如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚...
2019-10-24 16:05:27
309
原创 FreeRadius 和 AD 集成搭一套认证环境
FreeRadius 和 AD 集成搭一套认证环境由于项目需要Radius 认证，所以用freeRadius + AD 搭了一套认证环境，对于AD我搭的是Window server 2019，这里不会描述它，下面主要讲述怎么安装freeRadius ，已经验证认证环境。环境准备Window server 2019 （192.168.63.10） （添加域名 mydemo.local）Ce...
2019-10-18 18:17:24
4656
7
原创 intellij 报错 source release 1.8 requires target release 1.8
再intellij 中选择JDK 1.8_XX 的时候总会遇到错误source release 1.8 requires target release 1.8rootcause 是 我们选择了java compiler target 1.7或者其他的更低的。solution:如果maven 的话， 再pom.xml 中 更改为1.8 <properties> &...
2019-01-25 10:52:50
2194
原创 Python 资料网站
记录一个python 学习的资料github 链接https://github.com/jobbole/awesome-python-cn
2019-01-25 10:52:33
111
原创 初探Spring AOP
所谓AOP 就是面向切面编程（Aspect-Oriented Programming）,主要是应用在Java 的spring 框架中，我们都知道spring 在handle 一个请求或多个请求的时候，我们的需求可能是对每一个请求做一下验证或者记录一笔log, 那这个时候AOP 的编程思想就会解决我们的这个需求。对于众多请求，我们只要仅仅开发一个切面类注入之后，在所有的操作请求上就都可以生效了，...
2019-01-25 10:52:18
104
原创 pip install SSL: CERTIFICATE_VERIFY_FAILED solution
centos pip install scikit-image[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581) - skipping问题是Python 的轮子网站不信任我们的证书，所有我们这样加参数就可以解决问题： pip install –trusted-host files.pythonho...
2018-09-12 14:52:18
185
原创 python3.x django 下面配置mysql client
python 3.x 下面install django 之后，用python manage startapp xxx 的时候总是报错：django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient?查了一下原因，python3 x 下面首先要去i...
2018-07-18 17:35:29
850
原创 centos 7 install mysql server
首先我们要去community 去download Yum repository. download mysql 5.7 然后installwget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpmsudo rpm -ivh mysql57-community-release-el7-9.noarc...
2018-07-18 17:30:14
135
原创 python 的基础知识以及语法
python 语言是1989年由Guido van Rossum (荷兰人）创建， 它是一门语法简洁，可移植性好，开发效率非常高的程序语言。如果你没有如何语言基础，也可以很快上手，正由于python 的简单，上手容易(目前来说python 的生态圈也比较成熟）被许多初学者所青睐；当然，如果你熟悉C语言的话，那么学习python 将会更加高效，快速(python 其实就是C语言开发的。pytho...
2018-05-17 15:41:41
4407
原创 filebeat 的源码分析
1. Architecturefilebeat 是基于libbeat 来build 的一个开源库， filebeat 总共分5个部分： 1. input 在给定的路径上寻找文件，并启动扫割进程来收割文件的数据 2. harvester: 收割机， 读一个文件，然后发送一个事件给spooler 3. spooler: 收集harvester 的发送过来的事件，等待一定时间将事件flus...
2018-02-26 16:50:12
2946
原创 spark taskset submit and running
spark taskset submit and runningspark RDD 在执行一个action 的时候就会trigger sparkcontext 的RunJob 接口， (SparkContext 在初始化的时候会创建 DAGSchedule) 这个就会直接去invoke DAGSchedule.run--> submit, 然后会直接进入DAGSchedulerEventPro
2018-01-18 20:31:17
205
转载 docker image 和container 的区别
记录一个超赞的关于docker image container 的link:http://www.cnblogs.com/bethal/p/5942369.html
2017-12-25 19:41:26
3862
1
转载 go unsafe package 的学习
go 不像c 那样直接可以对指针做一些操作，所以go 提供了一个标准的package 来操作指针。go 有三种指针类型：1. * 普通指针， 用于传递对象地址，不能进行指针运算2. unsafe.Pointer：通用指针类型，用于转换不同类型的指针，不能进行指针运算。3. uintptr：用于指针运算，GC 不把 uintptr 当指针，uintptr 无法持有对象。uintp
2017-07-25 17:16:11
290
原创 Centos 上安装 Go
最近在学习Go， 我是在Centos 7 下安装Go 的， download 的地址 https://golang.org/doc/install ， 我download 的是 go1.8.3.linux-amd64 download 下的package 是 go1.8.3.linux-amd64.tar.gz 然后我们 解压其tgz 包 将它放在 /usr/local 下面：
2017-07-18 16:59:17
4628
4
原创 ElasticSearch Yellow status d
项目中ElasticSearch service 突然出现yellow 的status， run 下面的请求出现curl -XGET http://elasticseach.com:9200/_cluster/health?pretty=true{ "cluster_name" : "882569572669:b2rel-elasticlog-an", "status" : "
2017-07-10 14:45:27
581
原创 centos 下安装python2.7.x
centos 6 or 7 上默认的安装Python 2.6的版本， 现在 upgrade 到2.7.x , 到官方网站去找source code https://www.python.org/downloads/release/ download 相应的版本， 然后我们可能需要build 和install 1. 安装依赖：yum groupinstall -y Develo
2017-06-30 16:47:43
519
原创 Spark integration ElasticSearch
用Spark Streaming 从AWS 的kinesis (类似Kafka) 中读取streaming data, 然后通过spark 计算框架处理之后write into ElasticSearch , spark 写：数据到elasticsearch 有两种方式， 下面是integration 的过程：需要的packages org.elasticsearch:elasticsearc
2017-06-08 17:30:07
389
转载 spark 的实现简介
看到一篇关于spark 的实现的基本原理，detail 不是太多，但是讲的很好的， mark 一下https://www.kancloud.cn/kancloud/spark-internals/45240
2017-05-04 15:52:16
236
原创 spark 2.1 on yarn deployment
1. 准备三台机器， hostname 分别为 spark-master (10.64.xx.155), spark-work1(10.64.xx.154), spark-work2(10.64.xx.157) 将上面的信息写到/etc/hosts 中 10.64.xx.155 spark-master 10.64.xx.154 spark-worker1
2017-04-20 18:45:51
270
原创 mysql drop many tables
由于项目中对数据库做操作，有需要对多张table drop , 由于mysql 没有提过对于drop table like "%_CLF_%" 的方法，于是找到一个方法：1. 用命令到处要drop的table mysql -uxxx -p...... -hxxx.xxxxx.com -e"select concat('drop table ',table_name,';'
2017-03-24 17:27:43
340
原创 create virtualenv
项目中要用到virtualenv, 主要是python 的应用环境的隔离。1. 安装pip, 这个可以先download https://bootstrap.pypa.io/get-pip.py 然后run python get-pip.py 来安装pip2. 然后通过pip 来安装 virtualenv ： pip install virtualenv3
2017-03-16 15:27:37
1794
原创 centos 下git 访问github 的配置
想把一项目放在github 上，在centos git 操作的时候出现 Permission denied (publickey).fatal: The remote end hung up unexpectedly是因为我们没有做git 的 key的设置。现在我们来配置git 访问github的key:1. 首先我们在~/.ssh/ 下面生成ssh-key, run 下
2017-03-14 09:43:16
1527
原创 nginx 配置转发到tomcat
申请域名之后，域名访问到nginx 上，nginx 将request 转到 tomcat上来：1. yum 安装nginx 之后，我们到nginx 的配置目录下/etc/nginx/conf.d/ 下面 找到xx.config 配置如下：server { listen 80; server_name www.domain.
2017-03-08 10:22:11
4060
原创 创建swap
由于一个项目要上线了，发现memory 才1G， swap 是0， 这样web 跑这就不行了，于是创建swap 1G :命令如下：dd if=/dev/zero of=/swap-file bs=1M count=1024mkswap /swap-file swapon /swap-file 然后 free -m 就可以看到我们创建的swap 了
2017-03-08 10:14:13
214
原创 spark 中 rdd to dataframe 问题
在spark streaming 过程中遇到数据不对的地方，最有check 到时我们RDD到dataframe 出现了问题 rowRdd = rdd.flatMap(build_data_row) statsRdd = rowRdd.map(map_to_id) dfstats = sqlContext.createDataFrame(statsRdd, schema=docSh
2017-03-02 13:54:24
863
原创 spark streaming 中对DStream 的两个操作
在spark streaming中Dstream (一种streaming type RDDs)，有两种操作transformations 和 output:transformations:map(func) 对每一个元素执行func方法flatMap(func) 类似map函数，但是可以map到0
2017-02-09 16:25:47
2450
原创 centos 安装samba window 下write 没有权限的问题
在centos 我将/etc/samba/smb.conf 的配置，改成了writable = yes, 但是然不work(同时也close 了firewall) 38 [shareDir] 39 comment=david share folder 40 path=/usr/workspace/ 41 public=yes 42 browseable=yes 4
2017-01-22 16:44:22
710
原创 vim 的配置
1. 我是在github 上clone 了 vimrc: https://github.com/amix/vimrc2. doc 中是将vimrc 的放在root 下，我将我的vim 配置放在/usr/vimrc/， 所以install_awesome_vimrc.sh 下面的code需要改成你安装的路径3. 完成之后我们可以通过run 一个python
2017-01-16 18:27:59
220
转载 转载一个关于python web fraemwork 的理解
一个老外写的（下面的是翻译了的）， 写的真不错啊https://my.oschina.net/leejun2005/blog/486771
2017-01-06 17:11:50
253
转载 eclipse 的快捷键的使用
Eclipse中10个最有用的快捷键组合 一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码，使得整体的开发效率和质量得到提升。 1. ctrl+shift+r：打开资源 这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件，而你只需要按下文件名或mask名中的前几个
2016-12-29 17:18:08
348
原创 docker 的一些基本命
项目中用到docker, 所以现学现卖了，记录一下docker 中一些常用的命令1. 首先我们要写一个Dockerfile, example 的在下面,（安装nodejs 的service 为例）具体可以参考https://nodejs.org/en/docs/guides/nodejs-docker-webapp/FROM node:boron RUN mkdir -p
2016-12-28 14:39:42
428
原创 记录centos7.x下network and 一些服务启动
每次安装centos7.x 的时候，总是安装一个mini的版本，导致很多基本的功能没有，并且centos7 比以往的版本启动一些服务，也不是用service xxx restart 而是用 systemctl restart xxx., 每次安装的时候总是要求查资料这时候记录一下，到时候查自己的笔记就好：1. 首先ifconfig run 的时候是 no command ,
2016-12-27 15:35:00
1141
转载 nodejs Rational database ORM
nodejs 中的ORM我推荐使用的sequelize英文文档 http://docs.sequelizejs.com/en/latest/还有中文的 http://itbilu.com/nodejs/npm/VkYIaRPz-.html其他的资料，http://www.redotheweb.com/2013/02/20/sequelize-the-javascript-orm
2016-12-16 16:16:36
312
原创 nginx + uwsgi 出现Too Many Open Files Error
原因： linux/unix 操作系统默认的ulimit 是1024 ， 这个值的意思是软硬文件句柄和打开文件的数目。 对于服务器来说，这种resource 的设置肯定是不对的，于是我们要对system 的操作做一个设置 1. 我们可以用命令查看一下软硬件打开句柄限制 ulimit -Hn ulimt -Sn 2. 如果我们run 下
2016-11-15 15:38:47
564
转载 Bootstrap Responsive Buttons
Bootstrap 扁平化的各个button:http://54im.com/resources/bootstrap-50-color-icon/index.html
2016-11-03 11:07:31
205
原创 nginx+uwsgi+django 搭建web
学习了一下django， 试着用nginx + uwsgi + django 来搭建一个web1. nginx 的搭建 下载nginx 的code nginx-1.6.2.tar.gz, 然后解压code , ./configure xxxx && make , build 出相应的nginx, 我把nginx build 在/usr/nginx 然后con
2016-10-21 16:35:32
255
原创 centos6 安装 5.6 mysql Community server
centos6 下面默认装的是是mysql 5.1的版本，所以要装5.6 的话，我们需要用yum 来安装mysql 5.6 community server 的版本1. 首先确认一下你的rpm 源中是不是含有mysql yum repolist all | grep mysql2. 上面的命令没有的话，如果没有的话，我们在/etc/yum.repos.d/ 下面增加 一
2016-09-21 16:32:36
386
原创 django 1.8 app add templates
之前的（现在django 在settings 中提供了TEMPLATES项，这个项defaut 是TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [], 'APP_DIRS': True,
2016-09-20 17:09:10
507
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人