6 布偶猫爸爸

尚未进行身份认证

暂无相关简介

等级
TA的排名 5w+

数据同步工具kettle

kettle这工具真的太人性化了,把操作变成了傻瓜的的拖拉拽,用户只需要配置数据提取的库信息、提取的sql逻辑、目标所需的数据信息就可以实现快速的数据同步;之前我有用过阿里的datax,虽然个人感觉也挺好用的,但是个人还是更喜欢kettle的简单化;kettle基于java开源,安装和使用需要jdk,虽然我不是很喜欢Java,但不得不说,Linux平台和window平台都能使用,而windows平台更是有傻瓜式的中文操作界面,对新人非常友好;kettle操作主要分为三部:1...

2020-05-13 17:43:18

godaddy构建ddns服务

godaddy域名服务商提供api接口供调用修改域名各个参数配置,同样的dns也属于域名参数的一种,我们可以修改域名dns指向实现域名和ip绑定的变更。同样的我们可以通过脚本的形式定期执行修改实现动态dns服务。https://developer.godaddy.com/doc/endpoint/domains#/v1/recordReplace该网址是godaddy api文档地址,其中v1/recordReplace则是实现ddns的方法,这里包含了4个重要组成部分,下图只展示了三个:.

2020-05-11 11:06:41

记录:python list 转换成 sql 的条件

最近开发后端的时候,发现接到的用户数据不再是个定长值,有可能用户输入一个也有可能输入多个,而前端传过来都是以list形式个的,由于传过来的值是需要直接到数据库作为条件去查的,所以遇到了不确定值得sql确定问题。解决办法非常的多,可以一个个查,可以转换成元组,可以拼接字符串形式,这里记录的主要原因是,选择某种方法的时候考虑性能和安全,性能很简单了,能一次查询的尽量少连接数据库,所以pass掉一个...

2020-04-24 18:15:15

arm k8s 部署 ingress

环境: 系统:arm64 硬件:树莓派4B 4G 集群架构:1 master 2 node K8S版本:1.16.2 ingress版本:0.30.0原理不介绍,只讲部署经验部署方式: 1、线上直接安装 2、本地离线安装本次方式:本地离线安装 一般来说arm版本的K8s第三方控制器,都是用离线安装手段,主要原因有...

2020-04-01 15:03:16

docker打包封装应用

目的: 为K8S制作docker的服务镜像,使得程序可以通过K8S运行,原理就是docker对应用服务的打包,生成的镜像不仅K8S能用,docker swarm 或者docker直接启动都可以打包方式: docker file简单理解: docker应用打包可以理解为拉去了一个liunx最小系统,在该系统上部署应用服务后封装成一个镜像,使其运行该镜像时能...

2020-03-26 11:39:59

kubernetes 的deployment类型控制器yaml个人理解

如下是一个使用deploy控制器创建的nginx集群#资源组,必须apiVersion: apps/v1#资源类型,必须kind: Deployment#资源信息,必须metadata: #定义deploy资源启动后的名称 name: nginxtest-deploy #定义该资源所属的名称空间 namespace: test#资源期望定义spec:...

2020-03-13 12:07:17

k8s 使用本地docker仓库

环境: 树莓派4B 4G+ K8S version:1.16.2 集群:1 master 2 node 仓库ip:192.168.1.2:5000前提: 本地已搭建好docker本地仓库: 例如执行以下命令运行本地仓库: docker run -d -p 5000:5000 --name=registry --restart=al...

2020-03-12 16:49:18

python MySQL 链接池 DBUtils

看了很多关于python连接池的文章,文章都写的很好,但唯一的遗憾是没有针对第一次接触链接池的朋友进行介绍的。最近有几个小朋友问我python链接池到底咋用,趁此记录下对链接池的入门理解;链接池,首先他的作用是开一个连接通道,他的使用场景不仅仅是数据库。什么是通道?举个例子,python pymsql连接数据库执行一次查询,第一步程序需要连接数据库,第二步保持这个通道不断开并发送sql,...

2020-01-21 16:54:32

css实现带小三角形的边框

主要方法是使用伪元素before和after,之前已经总结过伪元素before、after用法,它们效果相当于在标签的内部放置一个最前或者最后的标签,添加的标签同样的能够继承父元素的属性,那么通过伪元素就可以组装拼出对话框的小三角;原理图:第一步:第二步:设定浮动,让before和after三角形重叠:第三步:通过top -px像素把三角形移到div边框上...

2020-01-19 12:17:57

css before 和 after

谈自己对after和before的学习;学css样式,before和after是必须要掌握的,但是直到最近我才感觉摸到他们的门槛;before和after是伪元素;解读伪元素三个字:首先,他具有元素的属性样式,但是本身不属于document文档内,无法被js读取;白话说法就是:html页面是document文档,div/ul/li/a/span/p等等属于document文档内...

2020-01-17 12:22:03

mysql load csv 数据量异常

最近做子公司数据录取,load csv文件发现录入的数据量不对,记录下产生原因和解决过程;load data数据量不对,第一步看什么?mysql load结束后,首先看query 和 records是否一致query是查到的数据量,records是提交的数据量,如果query和records不一致,提交肯定少了,数据导入有问题;如果query和records数据量一致,但是有w...

2020-01-10 14:51:03

mysqldump 自动备份脚本和日常吐槽

#!/bin/bashpath=/home/mysqlbak/newtime=$(date "+%Y-%m-%d")deletedata=$path$(date -d "6 days ago" +%Y-%m-%d)"_alldatadases.dump"olddata=$(ls $path"*.dump" -tr |head -1 |xargs)$(echo $deletedata ...

2020-01-07 14:37:04

Oracle 执行计划总结

方式:sql前面加explain plan forpl/dv工具快捷方式:f5按键;举例:description:执行描述Obj own:项目拥有者Obj name:项目名cost:Oracle算法算出的值,越高代表性能越差,消耗越长cardinality:扫描行数,Oracle预估的执行该sql会扫描的数据行数,注意是预估行数不是精...

2019-12-27 14:58:24

Qlik开发总结

总体概念:根据思路执行步骤:1、通过数据库读取数据生成qvd文件,以windows服务器为例,需要在Qlik所在的机器上配置ODBC数据库连接,然后再qlik软件中新建数据库连接才能读取2、配置好连接后在qlik数据加载编辑器中需要编写数据加载逻辑,这时候数据加载并没有存在本地,需要明确使用命令store存储于本地位置形成本地qvd文件,这个qvd文件则为基...

2019-12-06 16:27:31

MYSQL 直接解析json

MySQL 5.7版本以后支持json格式的字段类型定义、存储和使用,最近做BI开发,开发把所需数据用JSON的形式存储在字段中,本次记录下MySQL解析JSON。环境:MySQL 8.0角色:root参考:https://dev.mysql.com/doc/refman/8.0/en/json.html一般来说,主要是提取json字段的值,所以update就...

2019-12-05 18:03:59

keepalived配置文件和心得

#keepalivedkeepalived原理: 基于VIP (虚拟IP) vrrp协议,即建立一个虚拟IP地址(如172.24.0.1/16),让所有设备都能连接这个虚拟的IP,通过配置主从,master首先使用虚拟IP,slave standby状态,master机器主动定时(如1s)广播状态给slave, 如果slave一定时间内没有接收到master的广播,认定mast...

2019-11-29 18:25:32

Linux下go安装

方式:tar.gz包安装环境:centos7.*角色:root原理:Linux go安装非常简单,只需要在go官网下载安装包解压即可使用,唯一需要注意的是需要配置环境变量使得全局通用1、下载:https://golang.org/dl/选择对应系统的版本,注意linux中arm和x86包是不一样的,arm需要选择arm版本2、解压包下...

2019-11-12 10:44:50

树莓派4B安装docker

环境:4B 4G版角色:root1、更新系统apt-get update2、更新软件包传输方式apt-get install \ apt-transport-https \ ca-certificates \ curl \ gnupg2 \ lsb-release \ software-properties...

2019-11-10 19:33:52

树莓派4B 安装PIP3

环境:树莓派4B 4G版角色:root检查系统自带python3版本:Python3 -V3.7.3查看pip3版本未安装pip3安装方案:1、解决ModuleNotFoundError: No module named 'distutils.util'模块报错apt-get install python3-distuti...

2019-11-10 19:32:10

html audio缓冲效果实现

网页自定义播放器控件时,需要解决比较棘手的问题一般来说就是媒体文件的缓冲效果数据的来源,和任意跳转播放的缓冲数据来源;这里我只做音频播放控件,以audio为例:对于媒体的加载可以js触发监控的事件有:audio.addEventListener("loadstart", function() { // 开始加载});audio.addEventListener("durati...

2019-10-15 10:12:23

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。