- 博客(274)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 linux下nginx安装、配置实战
linux下nginx安装、配置实战1什么是NginxNginx("enginex")是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器，在高连接并发的情况下Nginx是Apache服务器不错的替代品.其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好.目前中国大陆使用nginx网站用户有：新浪、网易、腾讯，另外...
2019-06-29 14:43:16
228
转载 两条Linux命令彻底杀死Oracle
【Kill】两条Linux命令彻底杀死Oracle 今天编写的两条极具杀伤力的命令，它可以瞬间将Oracle杀死在无形之中。后面我将给出简单注释并展示一下它的威力。$ ps -ef |grep $ORACLE_SID|grep -v grep|awk '{print $2}' | xargs kill -9$ ipcs -m | grep oracle | awk
2017-09-18 17:26:59
524
原创 kettle学习笔记 --kettle流程与应用步骤
一、概述 流程主要用来控制数据流程与数据流向 应用则是提供一些工具类二、流程步骤 1.ETL元数据注入 类似Java中的反射，在设计时不知道文件名、文件位置等，在真正执行时才知道具体的一些配置等信息 2.数据过滤 这里说一下Java代码过滤，主要是Java的一些方法，例如indexOf()，matchs()等： 3.处理不确定的数据行数 检测空流用来检测前面过来的流是否是空流；阻塞数据只要最..
2021-11-09 19:15:05
942
转载 tomcat启动脚本startup.sh分析
一、分析说明为了写出更加完善的tomcat启动方面的自动化脚本，健壮自己用于代码上线自动化部署的脚本，特分析下tomcat的bin目录下的starup.sh脚本，学习标准的sh脚本的编写方法，从中吸取经验二、脚本分析#!/bin/sh# Licensed to the Apache Software Foundation (ASF) under one or more# ...
2020-01-18 18:18:50
1032
转载 linux shell 用sed命令在文本的行尾或行首添加字符
用sed命令在行首或行尾添加字符的命令有以下几种：假设处理的文本为test.file在每行的头添加字符，比如"HEAD"，命令如下：sed 's/^/HEAD&/g' test.file在每行的行尾添加字符，比如“TAIL”，命令如下：sed 's/$/&TAIL/g' test.file运行结果如下图：几点说明：1."^"代表行首，"...
2020-01-10 15:01:19
1365
转载 达梦数据库常见问题汇总
测试环境操作系统 中标麒麟6达梦数据库 V8.101问题一 以图形界面安装数据库软件时报错现象描述用图形界面形式安装数据库遇到报错，显示报错信息如下：[dmdba@localhost mnt]$ ./DMInstall.bin解压安装程序..........No protocol specifiedException in thread "m...
2019-12-24 14:41:27
17405
转载 恢复truncate删除的表
如果数据库是非归档模式且没有备份，此时如果drop掉一张表，有办法可以恢复吗？当然可以，而且是完全恢复：http://blog.sina.com.cn/s/blog_61cd89f60102ed97.html，但是truncate掉的一张表，数据还可以恢复吗？也是可以的，如果恢复及时也可以做到100%完全恢复，具体方法如下：恢复原理：首先，我们分析一下TRUNCATE的过程。TR...
2019-12-23 21:49:46
4576
2
原创 DM7数据库ODBC的配置详解
ODBC的配置详解定义一个DM JDBC的驱动串：String jdbcstring=”dm.jdbc.driver.DmDriver”DM URL 连接串：String urlstring=”jdbc:dm://ip:5236”注意：连接串中不要写实例名1、ODBC的配置Linux环境中配置odbc。进入ODBC驱动包的安装目录解压缩包[root@dca01...
2019-12-22 23:19:45
1823
原创 DM7作业管理
DM7作业管理作业是定时执行任务。如果没有配置过作业任务，默认安装完数据库后，没有作业任务的功能，需要通过代理进行配置。进入DM管理工具。点击左下角的代理，后点击右键，选择创建代理环境。创建完代理环境后，会在模式下生成一个SYSJOB的模式。定期全备份图形方式创建作业：选择代理下面作业，右键选择新建作业。输入作业名称与作业描述。点击作业步骤，然后点击...
2019-12-22 23:18:57
239
原创 DM7用户管理
DM7用户管理达梦数据库默认用户SQL>select username from dba_users;sys ---达梦数据库的内置管理用户，不能登录数据库，数据库使用的大部分的数据字典和动态性能视图使用sys Sysdba---数据库的管理员 Sysauditor----审计用户 Syssso---安全用户 Sysdbo----数据操作员 （安全版有，四权分立）用户...
2019-12-22 23:18:23
696
原创 DM7数据库表空间管理
DM7数据库表空间管理表空间管理表空间是数据库的逻辑存储空间，在数据库中开辟一个空间用于存放数据对象，一个数据库由多个表空间构成。表空间与数据文件的关系：表空间是由一个或多个数据文件构成的。用户创建表空间时，可以自行定义存放位置以及表空间大小。表空间分为五类：系统表空间、临时表空间、ROLL表空间、默认表空间（MAIN），huge表空间。表空间与用户的关系：用户对应一个默认表空间，可以通过查...
2019-12-22 23:15:17
333
原创 DM7数据库安装图文教程
DM7数据库安装图文教程达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM。达梦数据库管理系统7.0版本，简称DM7。DM7是达梦公司在总结DM系列产品研发与应用经验的基础之上设计的新一代数据库产品，吸收主流数据库产品的优点。众多的企业级特性的实现使得DM7完全能够满足大、中型企业以及金融、电信等核心业务系统的需要，是理想的企业级数据管理和分析平台。...
2019-12-19 00:42:31
2148
原创 kafka原理详解
1、什么是kafka？是一个分布式发布-订阅消息系统和一个强大的队列，适合离线和在线消息消费，扩展性特别好。Kafka消息保留在磁盘上，并在集群内复制以防止数据丢失。Kafka为什么比其他的MQ都快，采用的是机制是顺序写入磁盘和Memory Mapped Files（内存映射文件）。顺序写入：每个partition都是一个文件，kafka会把收到的message插入到文件末尾，每个co...
2019-12-13 23:04:20
200
原创 kafka：leader选举（broker /分区）
broker的leader：Kafka集群Leader选举原理我们知道Zookeeper集群中也有选举机制，是通过Paxos算法，通过不同节点向其他节点发送信息来投票选举出leader，但是Kafka的leader的选举就没有这么复杂了。Kafka的Leader选举是通过在zookeeper上创建/controller临时节点来实现leader选举，并在该节点中写入当前broker的信...
2019-12-13 22:53:21
2977
原创 kafka：topic为什么要进行分区?副本机制是如何做的
kafka为什么要在topic里加入分区的概念？如果没有分区,topic中的segment消息写满后,直接给订阅者不是也可以吗？若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，...
2019-12-13 22:51:09
561
原创 如何判断一个kafka集群是否稳定
在流作业的生产环境中，作为应用最广泛的消息中间件，kafka集群的稳定性对业务的平稳起到重要作用。然而如何判断一个kafka集群的稳定性是一个运维人员的重要技能。笔者结合经验总结了如下查看一个kafka不稳定状态下可能出现的现象：应用运行过程中经常性发生leader找不到异常，如“LEADER_NOT_AVAILABLE，NOT_LEADER_FOR_PARTITION”等异常 应用运行...
2019-12-13 21:34:03
746
原创 zookeeper和kafka的启动和关闭顺序
一定要先启动ZooKeeper 再启动Kafka 顺序不可以改变。先关闭kafka ，再关闭zookeeper。zookeeper启动：分别在三台机器上执行：zkServer.sh start检查ZooKeeper状态：zkServer.sh status关闭：zkServer.sh stopkafka启动（注意必须在kafka的安装主目录下面执行该命令）在...
2019-12-12 11:34:37
3666
原创 mysql 获取指定日期所在月的第一天
select curdate(); --获取当前日期select last_day(curdate()); --获取当月最后一天。select DATE_ADD(curdate(),interval -day(curdate())+1 day); --获取本月第一天select date_add(curd...
2019-11-15 14:54:59
4763
原创 kettle 数据提取效率提升
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/xpliruizhi123/article/details/54580850最近发现KETTLE抽数越来越慢，特别是增量INSERT/UPDATE的时候，速度已经达到了令人发指的地步（从一个400W数据规模的表中每天增量量抽...
2019-11-08 15:54:42
1040
原创 kettle 教程（四）：自定义 Java 代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qqfo24/article/details/82761359背景kettle 拥有很多自带的组件，能帮我们实现很多的功能。但是我们总有一些很复（qi）杂（pa）的需求，用自带的组件实现不了，或者说实现起来很复杂。那么这时我们就要用...
2019-11-01 19:48:13
873
原创 ETL工具KETTLE表输入表输出提速5-10倍
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/LSY_CSDN_/article/details/935879171、数据库操作：因为是大批量数据迁移，主要影响抽取速度的是表输出，因此目标数据库要重新启动下，保证目标数据库性能最好，暂时没有其它进程写入数据。2、表输入jdbc...
2019-11-01 11:01:51
3297
转载 Kettle提高表输出写入速度（每秒万条记录）
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_37124304/article/details/82664665由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万...
2019-11-01 10:58:51
2613
原创 kettle转换之多线程
ETL项目中性能方面的考虑通常是最重要的，特别是所讨论的任务频繁执行，或一些列的任务必须在固定的时间内执行。本文重点介绍利用kettle转换的多线程特性，以优化其性能。 假设转换中的每个步骤已经设置成最快的执行速度并且调节性能至最佳，且再没有更多的性能提升空间。但是利用kettle的多线程特性仍然可能提升转换的整体性能。调整队列大小 当尝试优化性能时，你可...
2019-11-01 09:30:20
1055
原创 Kettle性能调优汇总
性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面：一方面是硬件调优，一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。 修改脚本代码片段 se...
2019-11-01 09:26:07
527
原创 Linux：sheel脚本for的用法，及日期参数+1day用法
记录下shell的for的用法，及参数是日期的情况下，该日期+1day的用法：#!/usr/bin/env bashsource /app/catt/login.shp_days="20171208 20171210 20171230 20180103 20180104 20180105 20180106 20180107 20180108 20180109 20180113 2018...
2019-10-31 18:18:51
802
原创 kettle文件自动化部署（shell脚本执行）：多个参数传入
shell脚本中调用kitchen 和 pan去执行，job和transformation文件。分 windows和 dos系统两种。举个简单的小例子shell脚本：export JAVA_HOME=/usr/local/java/jdkexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.ja...
2019-10-31 18:01:51
1799
原创 linux服务器运行kettle定时任务job报错：WARN: Establishing SSL connection without
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/harry5508/article/details/95502183?报错关键字：Thu Jul 11 11:05:07 CST 2019 WARN: Establishing SSL connection without serve...
2019-10-31 16:34:02
448
原创 玩转Mysql系列 - 第20篇：异常捕获及处理详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/likun557/article/details/102383367Mysql系列的目标是：通过这个系列从入门到全面掌握一个高级开发所需要的全部技能。欢迎大家加我微信itsoku一起交流java、算法、数据库相关技术。这是Mysq...
2019-10-31 16:00:03
844
原创 kettle组件-查询
kettle组件-查询1：数据库查询 数据库连接：所要连接的数据库 模式名称：一般选取用户模式 表名：所要查询的表名 是否使用缓存：指定是否使用数据库缓存查询结果。 缓存大小：指定缓存的大小。 从表中加载所有数据：选中该项，缓存将不被利用。查询所需的关键字： 表字段：表示所选中的表中的字段。 比较操作符：对选中字段进行判断。 ...
2019-10-31 14:58:12
907
原创 Kettle 作业步骤循环执行的实现
Kettle实现Transformation循环及跳出在ETL操作中，经常需要对某个操作进行循环调用，可是使用Kettle工具时，并没有循环的组件可以调用，但在Job中引用Transformation时，可通过设置Transformation的高级属性（”执行每一个输入行”）来实现Transformation的循环，而在Transformation执行过程中，可根据条件设置跳出循环...
2019-10-31 09:32:29
2297
原创 Kettle 作业步骤循环执行的实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/jdk2006/article/details/13019093场景：User_Tables存放着系统用户的表信息，其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表，使用Kettle实现...
2019-10-31 09:27:09
1151
原创 kettle中实现动态SQL查询
kettle中实现动态SQL查询 在ETL项目中，通常有根据运行时输入参数去执行一些SQL语句，如查询数据。本文通过kettle中的表输入（“table input”）步骤来说明动态查询、参数查询。示例代码使用内存数据库（H2），下载就可以直接运行，通过示例学习更轻松。SQL查询语句中占位符绑定字段值 第一个接近动态语句的是大家熟悉的从SQL代码中执行，...
2019-10-30 17:23:21
4042
原创 TIDB 建表时对关键字的处理
在设计表结构时用到了TIDB的关键字作为存储字段，一直不能建表成功，经过查询发现需要将其采用键盘1前面的那个波浪线下面的类似单引号（·）的符号引起来。其他的单引号、双引号都无效CREATE TABLE ACLINE_NEED （ID NUMERIC（20，0） NOT NULL,CODE VARCHAR(32),`DESCRIBE` VARCHAR(64)PRIMARY ...
2019-10-24 15:57:41
1077
转载 Kettle 设置变量的两种方法
1.ktr,kjb中设置变量。ktr文件一ktr文件二设置变量 这个控件设置的参数，不能在同一个转换中使用。获取设置的变s量名用${MAX_USERID}2.java给ktr赋值用 获取系统信息 控件。同样使用 ${变量名}3.java给kjb赋值java代码：//创建jobJob job = new Job(repository,jobMeta...
2019-10-22 14:40:39
26104
转载 Apache NiFi简介
一个易用、强大、可靠的数据处理与分发系统。基于Web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集等功能一、什么是NiFi?NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品，2014年NAS将其贡献给了Apache社区，2015年成为Apache顶级项目传统的数据流解决方案往往会遇到以下挑战:网络错误 硬盘错误 软件崩溃 人为错误 数...
2019-10-12 11:40:55
424
转载 Linux 路径 /sbin | /bin | /usr/bin | /usr/sbin 的含义
这些目录都是存放命令的，首先区别下/sbin和/bin： 从命令功能来看，/sbin 下的命令属于基本的系统命令，如shutdown，reboot，用于启动系统，修复系统，/bin下存放一些普通的基本命令，如ls,chmod等，这些命令在Linux系统里的配置文件脚本里经常用到。 从用户权限的角度看，/sbin目录下的命令通常只有管理员才可以运行，/bin下的命令管理员和一般的用...
2019-07-19 17:14:09
1913
1
原创 iptables规则重启自动生效--永久生效
方法1：执行命令：service iptables save规则自动保存到了/etc/sysconfig/iptables，用此命令保存的规则开机会自动生效。方法2：保存规则：#iptables-save >/etc/iptables-script恢复规则：#iptables-restore>/etc/iptables-script开机自动恢复规则，把恢复命令添加到启动...
2019-07-10 18:58:14
33939
4
原创 iptables为什么需要增加loopback回环的规则
先说loopback回环的大致个人理解：1、lo的主要作用是基于本地访问本地的数据包会经过lo这张网卡。2、比如ping 127.0.0.1时，你在eth0抓不到，只能在lo这张网卡捕获。再来看下简单的iptables的几个链的规则：PREROUTING：在做出路由决策之前，数据包将进入此链。 INPUT：数据包将在本地交付。它与打开套接字的进程没有任何关系;本地交付由“本地交...
2019-07-10 18:53:07
1458
原创 Linux中./configure、make、make install 命令
这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤一、基本信息 1、./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。 2、make是用来编译的，它从Makefile中读取指令，然后编译。 3、make install是用来安装的，它也从Makefile...
2019-06-29 16:28:01
289
原创 linux下nginx安装、配置实战
linux下nginx安装、配置实战1什么是NginxNginx("enginex")是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器，在高连接并发的情况下Nginx是Apache服务器不错的替代品.其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好.目前中国大陆使用nginx网站用户有：新浪、网易、腾讯，另外...
2019-06-27 22:55:52
244
linux rlwrap 安装包
2017-10-11
pdksh-5.2.14 安装包
2017-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人