- 博客(202)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 基于阿里云产品和开源Hudi结合
基于阿里云产品和开源Hudi结合本人最近对公司内部数据技术架构做了梳理，梳理了当下的一些痛点。1、离线线路，数据更新慢;实时线路，只针对部分场景，实时的成本比较大。2、lambda的架构方式，针对数据源，实时方案和离线方案各会进行一次同步。基于业界对于数据湖已经有很多的实践，而目前公司的技术体系为Maxcompute+阿里云flink的技术栈，由此针对该方案做了一些改动。业界数据湖开源的产品主要以hudi/Iceberg/Delta,由于公司本身技术栈的限制，以及众多原因(不具体介绍)，最后采用了
2022-04-20 18:06:23
1496
原创 springboot+quartz调度持久化
最近在使用springboot+quartz+postgresql+jpa结合做定时调度持久化。出现的几个问题1、配置2、jpa和实体转换问题org.hibernate.PropertyNotFoundException: Could not resolve PropertyAccess解决办法：在sql查询语句中，给表字段起别名，别名为对应实体类属性名参考链接3、quartz持久化的表说明以及哪些可以二次修改...
2021-06-28 16:14:39
319
原创 python实现定时调度的框架
名称:python_crontab功能:python实现定时任务的功能项目出发点:因项目需求,不能使用linux系统的crontab的,准备自己开发一个多用户定时任务框架。设计思路:基本的原理是采用crontab的原理是一样的,每一分钟去读取用户的时间配置文件，针对不同用户对应的自己的配置文件。第一版本:技术栈:python2.7+shell+properties文件思路：使用root用户作为该框架的启动进程,每一分钟读取配置文件，并且和当前时间进行比较，如果成功则使用该用户执行命令。
2020-06-30 08:18:44
596
转载 LDAPException size limit exceeded
转载，但是非常有用转载连接java Error:LDAPException:Sizelimit Exceeded Sizelimit
2019-10-31 17:26:00
2007
转载 hadoop的kms结合acl配置
最近在配置hadoop的kms，网上找了好多文档，最后发现，就是官网和一篇文档写的比较详细。因为差不多，自己就懒得再去写，等有机会在做。http://www.qedev.com/bigdata/732.htmlhttps://www.2cto.com/kf/201708/663678.htmlhttps://www.itcodemonkey.com/article/5738.html...
2019-05-09 15:06:57
440
原创 HDFS Rolling Upgrade-HA回滚升级
最近在研究hdfs的回滚升级，包括版本升级，数据快照备份等内容。版本升级分为为非HA的，HA的版本升级以及联合升级我这次是2.6.5的版本升级到2.9.2首先，先备份最新的dfs.namenode.name.dir下的镜像和编辑日志文件，防止意外；中间本人参考了网上资料，包括官网的，csdn上的官网上比较详细，个人推荐。但是上面csdn的一篇可以帮助是实战，但是部分没有讲述详细。#首先此...
2019-05-07 16:55:13
243
转载 HDFS的目录文件的大小的数量的控制
首先：Hadoop从2.4.0版本开始支持hdfs的ACL官网参考hadoop2.6.5一、设置目录下的文件数量上限[root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01[root@node4 ~]# hdfs dfs -mkdir /ldata01/test2mkdir: The NameSpace quota (directories a...
2019-05-06 14:30:58
4238
原创 HDFS的acl和linux的acl机制
一、HDFS的权限设置之acl分配官网参考地址：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Configuration_Parameters1、ACL权限和linux的权限是对应的 hdfs dfs -getfacl -R /test...
2019-05-05 20:55:18
254
原创 shell脚本化实现hadoop集群安装
最近自己在研究shell脚本实现hadoop,hive等脚本化安装，附图，有需要了解的可以联系我。可以私聊
2019-04-29 15:19:52
235
转载 hadoop单节点转HA搭建过程中出现的问题总结篇(二)
一、namenode的格式化报错bin/hadoop namenode -format 时候出现以下错误 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. n$$15/12/04 04:52:50 WARN namenode.Na...
2019-04-16 15:55:34
432
原创 hadoop动态删除节点
Hadoop动态删除节点修改conf/hdfs-site.xml文件<property> <name>dfs.hosts.exclude</name> <value>/usr/local/hadoop/conf/excludes</value> </property>dfs.hosts.exclude...
2019-04-11 23:01:28
351
原创 hadoop单节点转HA搭建过程中出现的问题总结篇(一)
解决关闭Hadoop时no namenode to stop异常下面是几种参考方式https://blog.csdn.net/gyqjn/article/details/50805472hadoop HA启动时 两个namenode节点都是standby分为安装的时候和正常启动中出现的问题。有问题看namenode的日志文件安装的过程中1、首先你要确定不用ha的时候你的hadoop集群...
2019-04-11 20:53:03
321
原创 hdfs的Name node is in safe mode报错
最近在安装和使用hadoop的时候，出现Name node is in safe mode.的问题，自己尝试了三种方式，最后只有第三种可以使用。原理第一种使用bash命令hdfs namenode --safemode enter##进入安全模式hdfs namenode --safemode leave ##离开安全模式hdfs namenode --safemode get ##...
2019-04-10 10:01:48
309
转载 Matplotlib is building the font cache using fc-list. This may take a moment解决办法
Matplotlib is building the font cache using fc-list. This may take a moment解决办法.此文章参考：https://blog.csdn.net/qq_36346262/article/details/79366266
2019-03-26 10:01:57
3038
转载 本地项目上传到github 报错“master -> master (non-fast-forward)”
本地项目上传到github 报错“master -> master (non-fast-forward)”参考博客https://www.cnblogs.com/qwangxiao/p/7365608.html
2019-03-12 11:41:23
154
转载 idea热部署web项目-结合tomact
最近使用idea阅读一些源码，但是idea的使用熟练度有些问题。网上找了很多的博客和资料，但是都是写的不是很完整。我推荐一个博主写的文章，对我起了很大的帮助。参考地址...
2019-02-28 10:47:48
193
原创 最近开发中遇到关闭子页面，父页面刷新的问题
网上有很多的都是关闭子窗口，父页面刷新的问题。我需要处理的场景是。三个界面。解决办法：<script> function refreshParent() { window.opener.location.href = window.opener.location.href; window.close(); } </script&...
2018-11-24 17:54:36
485
原创 mongod官网以前的版本
因为官网只显示最近的压缩包，所以找了这个网站http://dl.mongodb.org/dl/linux/x86_64http://dl.mongodb.org/dl/win32/x86_64
2018-11-10 13:03:51
211
转载 web.xml问题
web项目web.xml编译错误：schema_reference.4: Failed to read schema document ‘http://java.sun.com/xml/ns/j2ee/web-app_2_5.xsd’, because 1) could not find the document; 2) the document could not be read; 3) t...
2018-11-09 17:39:00
188
原创 load-on-startup的作用
load-on-startup的作用1.load-on-startup元素标记容器是否在启动的时候就加载这个servlet（实例化并调用其init()方法）2.它的必须是一个整数，表示servlet应该被载入的顺序3.当值为0或者大于0时，表示容器在应用启动时就加载并初始化这个servlet4.当值小于0或者没有指定是时，可以由servlet容器自行决定何时load该servlet。5....
2018-11-09 09:55:11
630
原创 使用python导出数据库的所有数据表的数据结构、字段、备注、数据类型
数据库表转excel表# -*- coding=utf-8 -*-from imp import reloadimport xlwtimport MySQLdbimport warningsimport datetimewarnings.filterwarnings("ignore")mysqlDb_config = { 'host': '10.142.55.33...
2018-08-28 09:36:07
4770
1
原创 Navicat导出指定数据表的数据结构、字段、备注、数据类型
Navicat导出指定数据表的数据结构、字段、备注、数据类型。SELECT TABLE_NAME 表名, COLUMN_NAME 列名, COLUMN_TYPE 数据类型, DATA_TYPE 字段类型, CHARACTER_MAXIMUM_LENGTH 长度, IS_NULLABLE 是否为空, COLUMN_DEFAULT 默认值...
2018-08-27 20:23:07
7720
4
转载 在Windows8.1下配置Hadoop2.7.0的源代码阅读环境
参考连接地址:https://blog.csdn.net/chinamcafee/article/details/47858567
2018-04-19 15:07:51
214
转载 centos 编译 安装 protobuf（hadoop编译）
最近在使用centos编译安装hadoop2.5，但是需要安装protobuf。开始的时候不知道怎么解决，找了很多方法。终于找到了。 下载 https://pan.baidu.com/s/1kToPuGByum -y install gcc+ gcc-c++yum -y install maketar zxvf protobuf-2.4.1.tar.gzcd protobuf...
2018-04-19 11:16:36
589
原创 hadoop的java的APi使用的一些错误问题汇总
错误一:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs原因是：缺少hadoop-hdfs的依赖包Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs ...
2018-04-17 19:55:51
576
原创 体验avro
一、下载avro 创建maven项目(使用eclipse或者idea) <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3
2018-03-27 15:51:18
300
原创 hadoop-企业版环境搭建(七)-fllume的搭建
一、启动zookpeer,hdfs. 二、解压配置flume 配置环境变量:export JAVA_HOME=/usr/java/jdk1.7.0_79export HBASE_HOME=/home/hbase-1.1.3export HIVE_HOME=/home/apache-hive-1.2.1-binexport PATH=$PATH:$JAVA_HOME/bin:$HBA...
2018-03-26 16:02:25
283
原创 IntelliJ IDEA, cannot find declaration to go to
最近在学习框架的源码，使用idea直接打开源码包的时候，出现了不能ctrl+单击的跳转。网上找了很多教程，发现都没有用(那些博客上出现的问题都不能解决我的)。 最后还是stack overflow上面的比较好。希望对您们有些帮助。 将src设置成sources...
2018-03-21 20:47:21
15744
4
原创 Rabbitmq安装
因为最近学习Springcloud的微服务平台，需要安装Rabitmq。 Rabbit MQ 是建立在Erlang OTP平台上，所以在安装rabbitMQ之前，需要先安装Erlang ，下载地址为http://www.erlang.org/downloads 下载好之后，双击进行安装 安装完成之后创建一个名为ERLANG_HOME的环境变量，其值指向erlang的安装目录 同...
2018-03-06 11:26:54
361
原创 centos7使用yum安装Redis
1、centos7使用yum安装Redis时，可能会有安装源的问题出现。安装epel源，CentOS默认的安装源在官方的centos.org上，而redis在第三方的yum源里，因此无法安装。这就是我们常常在yum源里找不到各种软件的原因，还需要自己去wget，然后configure,make,make install，这个过程太痛苦了，并且卸载软件的时候还容易出错。 2、非官方的yum推荐用f...
2018-03-01 20:37:33
21770
3
原创 centos7下安装docker(阿里云)
最近买了个服务器，阿里云的，想安装一下docker为了springcloud部署做铺垫。yum install -y yum-utils[root@shursulei ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo[root@shursulei ~]# yum
2018-01-29 21:16:17
5270
1
原创 云服务器修改hostname
最近买了云服务器，但是服务器自带的用户名都是很长，看着不喜欢，本以为和以前搭建虚拟机的时候一样，先修改/etc/hosts，然后修改/etc/sysconfig/network文件，但是重启以后发现没有用，找了半天不，用以前的方法去做，但是最后发现自己傻了，其实方法很简单，直接按照下面的方法进行就可以了。vi /etc/hostname将原本的主机名更换成自己想用的进行。 下面我附录一
2018-01-26 17:28:16
1628
转载 “Device eth0 does not seem to be present”解决办法
vm复制后出现的问题。mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etcsysconfig/network-scripts/ifcfg-eth1cat /etc/udev/rules.d/70-persistent-net.rules将其中的eth1的mac地址记录下来vi /etcsysconfig/network-scripts/ifcfg
2017-12-26 12:30:35
2421
转载 web.xml is missing and <failOnMissingWebXml> is set to true
如果项目里没有web.xml，在项目里添加一个web.xml，刷新一下项目，就应该没有错误 参考链接：点击
2017-12-25 15:35:11
271
原创 Could not transfer artifact org.springframework.boot:spring-boot-starter-parent:pom:1.5.2.RELEASE
Description Resource Path Location TypeProject build error: Non-resolvable parent POM for com.shursulei.Springboot:Springbootday01:0.0.1-SNAPSHOT: Failure to transfer org.springframework.boo
2017-12-25 09:53:54
12721
9
原创 Description Resource Path Location Type web.xml is missing and <failOnMissingWebXml> is set to true
出错: 在pom.xml中build加入<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-war-plugin</artifactId> <version>2.6</version>
2017-12-16 16:05:25
8203
转载 no matching editors or conversion strategy found
no matching editors or conversion strategy found 原因是xml配置文件中ref,而不是value,自己真是傻到家了 参考地址: http://blog.csdn.net/guizishou00/article/details/52354327
2017-12-15 21:25:31
742
转载 ### Error building SqlSession. ### The error may exist in sqlmap/User.xml
org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession.### The error may exist in sqlmap/User.xml### Cause: org.apache.ibatis.builder.BuilderException: Error parsing SQL Ma
2017-11-19 11:23:15
15056
2
spark.pdf教程下载
2017-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人