5 shursulei

尚未进行身份认证

我要认证

个人github:https://github.com/shursulei/

等级
TA的排名 1w+

python实现定时调度的框架

名称:python_crontab功能:python实现定时任务的功能项目出发点:因项目需求,不能使用linux系统的crontab的,准备自己开发一个多用户定时任务框架。设计思路:基本的原理是采用crontab的原理是一样的,每一分钟去读取用户的时间配置文件,针对不同用户对应的自己的配置文件。第一版本:技术栈:python2.7+shell+properties文件思路:使用root用户作为该框架的启动进程,每一分钟读取配置文件,并且和当前时间进行比较,如果成功则使用该用户执行命令。

2020-06-30 08:18:44

LDAPException size limit exceeded

转载,但是非常有用转载连接java Error:LDAPException:Sizelimit Exceeded Sizelimit

2019-10-31 17:25:09

hadoop的kms结合acl配置

最近在配置hadoop的kms,网上找了好多文档,最后发现,就是官网和一篇文档写的比较详细。因为差不多,自己就懒得再去写,等有机会在做。http://www.qedev.com/bigdata/732.htmlhttps://www.2cto.com/kf/201708/663678.htmlhttps://www.itcodemonkey.com/article/5738.html...

2019-05-09 15:06:57

HDFS Rolling Upgrade-HA回滚升级

最近在研究hdfs的回滚升级,包括版本升级,数据快照备份等内容。版本升级分为为非HA的,HA的版本升级以及联合升级我这次是2.6.5的版本升级到2.9.2首先,先备份最新的dfs.namenode.name.dir下的镜像和编辑日志文件,防止意外;中间本人参考了网上资料,包括官网的,csdn上的官网上比较详细,个人推荐。但是上面csdn的一篇可以帮助是实战,但是部分没有讲述详细。#首先此...

2019-05-07 16:55:13

HDFS的目录文件的大小的数量的控制

首先:Hadoop从2.4.0版本开始支持hdfs的ACL官网参考hadoop2.6.5一、设置目录下的文件数量上限[root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01[root@node4 ~]# hdfs dfs -mkdir /ldata01/test2mkdir: The NameSpace quota (directories a...

2019-05-06 14:30:58

HDFS的acl和linux的acl机制

一、HDFS的权限设置之acl分配官网参考地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Configuration_Parameters1、ACL权限和linux的权限是对应的​ hdfs dfs -getfacl -R /test...

2019-05-05 20:55:18

shell脚本化实现hadoop集群安装

最近自己在研究shell脚本实现hadoop,hive等脚本化安装,附图,有需要了解的可以联系我。可以私聊

2019-04-29 15:19:52

hadoop单节点转HA搭建过程中出现的问题总结篇(二)

一、namenode的格式化报错bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n$$15/12/04 04:52:50 WARN namenode.Na...

2019-04-16 15:55:34

hadoop动态删除节点

Hadoop动态删除节点修改conf/hdfs-site.xml文件<property>   <name>dfs.hosts.exclude</name>  <value>/usr/local/hadoop/conf/excludes</value> </property>dfs.hosts.exclude...

2019-04-11 23:01:28

hadoop单节点转HA搭建过程中出现的问题总结篇(一)

解决关闭Hadoop时no namenode to stop异常下面是几种参考方式https://blog.csdn.net/gyqjn/article/details/50805472hadoop HA启动时 两个namenode节点都是standby分为安装的时候和正常启动中出现的问题。有问题看namenode的日志文件安装的过程中1、首先你要确定不用ha的时候你的hadoop集群...

2019-04-11 20:53:03

hdfs的Name node is in safe mode报错

最近在安装和使用hadoop的时候,出现Name node is in safe mode.的问题,自己尝试了三种方式,最后只有第三种可以使用。原理第一种使用bash命令hdfs namenode --safemode enter##进入安全模式hdfs namenode --safemode leave ##离开安全模式hdfs namenode --safemode get ##...

2019-04-10 10:01:48

Matplotlib is building the font cache using fc-list. This may take a moment解决办法

Matplotlib is building the font cache using fc-list. This may take a moment解决办法.此文章参考:https://blog.csdn.net/qq_36346262/article/details/79366266

2019-03-26 10:01:57

本地项目上传到github 报错“master -> master (non-fast-forward)”

本地项目上传到github 报错“master -> master (non-fast-forward)”参考博客https://www.cnblogs.com/qwangxiao/p/7365608.html

2019-03-12 11:41:23

idea热部署web项目-结合tomact

最近使用idea阅读一些源码,但是idea的使用熟练度有些问题。网上找了很多的博客和资料,但是都是写的不是很完整。我推荐一个博主写的文章,对我起了很大的帮助。参考地址...

2019-02-28 10:47:48

最近开发中遇到关闭子页面,父页面刷新的问题

网上有很多的都是关闭子窗口,父页面刷新的问题。我需要处理的场景是。三个界面。解决办法:<script> function refreshParent() { window.opener.location.href = window.opener.location.href; window.close(); } </script&...

2018-11-24 17:54:36

mongod官网以前的版本

因为官网只显示最近的压缩包,所以找了这个网站http://dl.mongodb.org/dl/linux/x86_64http://dl.mongodb.org/dl/win32/x86_64

2018-11-10 13:03:51

web.xml问题

web项目web.xml编译错误:schema_reference.4: Failed to read schema document ‘http://java.sun.com/xml/ns/j2ee/web-app_2_5.xsd’, because 1) could not find the document; 2) the document could not be read; 3) t...

2018-11-09 17:39:00

load-on-startup的作用

load-on-startup的作用1.load-on-startup元素标记容器是否在启动的时候就加载这个servlet(实例化并调用其init()方法)2.它的必须是一个整数,表示servlet应该被载入的顺序3.当值为0或者大于0时,表示容器在应用启动时就加载并初始化这个servlet4.当值小于0或者没有指定是时,可以由servlet容器自行决定何时load该servlet。5....

2018-11-09 09:55:11

使用python导出数据库的所有数据表的数据结构、字段、备注、数据类型

数据库表转excel表# -*- coding=utf-8 -*-from imp import reloadimport xlwtimport MySQLdbimport warningsimport datetimewarnings.filterwarnings("ignore")mysqlDb_config = { 'host': '10.142.55.33...

2018-08-28 09:36:07

Navicat导出指定数据表的数据结构、字段、备注、数据类型

Navicat导出指定数据表的数据结构、字段、备注、数据类型。SELECT TABLE_NAME 表名, COLUMN_NAME 列名, COLUMN_TYPE 数据类型, DATA_TYPE 字段类型, CHARACTER_MAXIMUM_LENGTH 长度, IS_NULLABLE 是否为空, COLUMN_DEFAULT 默认值...

2018-08-27 20:23:07

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。