qq_37609701的博客

原创 kafka offset sasl加密连接

kafka-tool（offset） 进行SCRAM连接，直接上图。填写jaas的认证（账密 引用包）

原创 pyinstaller 错误排查的验证史

问题排查

原创 mysql注释的增加与修改

【代码】mysql注释的增加与修改。

原创 shell 常用的脚本命令

linux shell

原创 关于数据库postgresql, delete 与 insert，create 的性能比较

关于 delete 与 insert，create 的性能比较所以在数据量不是很大，或者保留比不是很大(3kw保留50w)的情况下 该delete还是delete吧

原创 pg sql 随笔 insert into

insert into ‘-- pg impala 都是这样 insert into 表（字段1，字段2，字段3）select字段1，字段2，字段3 insert into是按照 括号与 select的字段顺序来的，不是按照字段名来自动匹配的 insert into 表（字段1，字段2，字段3）select字段1，字段3 ， 字段2 则 返回结果 字段名：字段1，字段2，字段3 字段值：字段1，字段3，字段2 ......

原创 Scrapy 安装

Scrapy 是Python中的一个爬虫框架，下面以64位 win10+python3.7为基础，进行安装Scrapy框架。1)安装Scrapy的依赖包：1、下载到 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载所需要的包 cp37m 为python版本3.71) lxml-4.7.1-cp37-cp37m-win_amd64.whl ，2) pywin32-303-cp37-cp37m-win_amd64.whl ,3) twisted...

原创 SQLite极致性能提升方法[转载]

SQLite极致性能提升方法:关闭同步，Synchronous=Off，提升性能。添删改操作时不必同步等待写入磁盘，操作系统会延迟若干毫秒批量写入设置WAL模式，Journal Mode=WAL，减少锁定。写入向前日志模式，避免多线程访问时锁定数据库，写入时不必使用排它锁影响其它线程读取，而是把事务操作写入到WAL文件中，延迟合并加大缓存，Cache Size=5000，提升性能。操作系统通过文件映射MapFile把整个数据库文件映射进入内存，实际查询时会把用到数据所在附近页预先加载进入缓存，极大提升

原创 hadoop 小文件处理

小文件的影响：如果有1千万个小文件，每个文件占用一个block，则NameNode大约需要3GB内存空间，如果存储1亿个小文件，则NameNode需要30GB内存空间。其次，读写大量小文件的速度要远远小于读写几个大文件的速度，因为要频繁与NameNode交互导致NameNode处理队列过长和GC时间过长而产生延迟。故随着小文件的增多会严重影响到NameNode性能和制约集群的扩展。设定参数set hive.merge.mapfiles = true ##...

原创 Elasticsearch 的Painless

在 Elasticsearch 中，它使用了一个叫做 Painless 的语言。它是专门为 Elasticsearch 而建立的。Painless 是一种简单，安全的脚本语言，专为与 Elasticsearch 一起使用而设计。 它是 Elasticsearch 的默认脚本语言，可以安全地用于 inline 和 stored 脚本。它具有像 Groovy 那样的语法。Painless 语法主要用于复杂的操作，简单es自己本身就有，比如下面的范围查询：{ "query": { "...

原创 mysql linux上数据备份的脚本

具体脚本如下 #!/bin/bash #writer: ci #需要免密登录 #MYSQLHOST=数据库IP #MYSQLPASS=数据库密码（默认为root用户的） #!/bin/bash #writer: ci #BACKUPDIR=本地备份文件存放路径 #REMOTE_HOST=备份文件远程存放IP #REMOTE_DIR=备份文件远程存放路径 #LOCAL_BACKUP_FILE_NUMBER=本地备份文件.

原创 计算机国家语言以及对应缩写

aa Afarab Abkhazianaf Afrikaansam Amharicar Arabicas Assameseay Aymaraaz Azerbaijaniba Bashkirbe Byelorussianbg Bulgarianbh Biharibi Bislamabn Bengali; Banglabo Tibetanbr Bretonca Catalanco Corsicancs Czechcy Welshda Danishde German

原创 2020-09-10

；kettle oracle 的一种连接方式kettle_mongo mongo的基本配置 有查询 {$query:{search_time:{$gt:"2018-08-01 00:00:00",$lt:"2018-09-01 00:00:00"}}} ...

原创 聚集索引 堆表

堆表按写入时间顺序写入，存储快随机分布；读取按命中率计算，是随机读取，开销大;适合写多读少聚集索引数据是按照索引来存储的，即索引决定数据的物理位置；每增加一条记录，更改索引，然后按照索引存储；一表一个,适合读多，写少非聚集索引对已有的数据创建索引表，用于检索数据，不影响整个表的物理存储顺序；一表多个,适合读多，写少堆组织表(HOT) PostgreSQL myisam(没有(聚集)索引的概念) oracle数据写入的顺序是按写入时间顺序写入的，存储块是随机分布的，...

原创 mysql索引的速度测试，包括字段名的影响

12,545,379条 mysql 无索引 单列(id) 普通索引 小结论 count(1) 13.8 14.29 14.22 7.38s 7.22s 7.5s 7.38 7.29 有索引 count(1) 速度快一半 count(1)=count(*) count(*) 13...

原创 oracle的系统表，常用表

常用表 的系统表所有表dba_开头..... dba_tables 用户表信息dba_users 数据库用户信息dba_segments 表段信息dba_extents 数据区信息dba_objects 数据库对象信息dba_tablespaces 数据库表空间信息dba_data_files 数据文件设置信息dba_temp_files 临时数据文件信息dba_rollba...

原创 net桥接 虚拟机跳板 vmware

原创 网络7层结构

转载 js 正则 match

1. 全局匹配　　全局匹配时，数组里的数据是匹配到的所有符合正则表达式的字符串。2.非全局匹配　　非全局匹配时，数据里的数据则是第一个匹配的值以及正则表达式的子分组匹配到的值【以第一个值为输入值】，【该数组的第 0 个元素存放的是匹配文本，而其余的元素存放的是与正则表达式的子表达式匹配的文本】再附加上三个属性：　　groups：一个捕获组数组或者 undefined（如果没...

原创 microsoft ldap 配置页中输入有效的用户名

microsoft ldap 配置页中输入有效的用户名

原创 notepad 使用技巧之去除下划线

先添加块注释，再取消块注释，下划线就没有了

原创 关于数据库 中文字段排序

mysql：select * from mytable order by CONVERT(排序字段名 USING gbk);https://www.cnblogs.com/wuyun-blog/p/5867297.html oracle：SELECT * FROM TEAM ORDER BY NLSSORT(排序字段名,'NLS_SORT = SCHINESE_PINYIN_M...

转载 Kettle日志输出到文件方法

转 https://blog.csdn.net/WMSOK/article/details/78791103  网上有很多关于如何实现Kettle日志输出到日志文件的方法，但需要修改代码，重新编译，比较麻烦。 这里面提供的方法可以解决两个问题：1、把日志输出到文件；2、日志的时间精确到毫秒；有时Kettle运行的很快，1 秒之内就输出好几条记录，而默认日志的时间只到秒级，这样日...

原创 java基础

public static void main(String[] args) { int d =3; d += 10 + ++d ; int a =3; a = 10 + a + ++a ; int s =3; s = 10 + ++s +s; System.out...

原创 正则系列

 电话号码转 星号*

原创 kettle 安装

三、安装kettle[root@qkettle local]# unzip pdi-ce-7.1.0.0-12.zip    #解压[root@qkettle local]# cd data-integration/           # 进入安装目录[root@qkettle data-integration]# chmod +x -R *.sh     #更改权限[root@...

原创 重装系统

hlq  启动方式改为U盘启动 F2advanced -->SATA ConfigurationSATA Mode Selection 改为 IDE

原创 程序员 论坛 常见 英文缩写

RTFM 是 Read The Fucking Manual 的缩写，译为中文大概可以是“去读那操蛋的手册”。GIYF 就是 Google Is Your Friend    以下两个词，大概可以看作 GIYF 的升级版，语气更加严厉一些    STFW  Search The Fucking Web    JFGI  Just Fucking Google Ithttp://www.php230...

原创 事务 隔离级别 脏读 不可重复 幻读

  事务的定义事务，就是一组操作数据库的动作集合。如果一组 处理步骤 全部发生或者一步也不执行，我们称该组处理步骤为一个事务。当所有的步骤像一个操作一样被完整地执行，我们称该事务被提交。由于其中的一部分或多步执行失败，导致没有步骤被提交，则事务必须回滚到最初的系统状态。二、事务的并发问题1、脏读：事务A读取了事务B更新、未提交的数据，然后B回滚操作，那么A读取到的数据是脏数据(没有用的数据)2、不...

原创 redis cluster 集群 fail状态

(1)节点fail领着选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障，自动触发故障转移操作.(2):cluster  fail    a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,                因为集群的slot映射[0-16383]不完整...

原创 树的结构

树的存储结构双亲孩子表示法=双亲表示法(parent表示法)+孩子链表表示法 孩子兄弟表示方法 定义了 树与二叉树 ，森林与二叉树   二叉树的遍历限定先左后右，则有以下遍历方式： 前序，指的是 根节点D 在第一个 前序 DLR 中序 LDR 后序 LRD 层序 按层来 小提示：知道中序与前序；知道中序与后序 可以确定二叉树的结构 知道前序与后序则不能确定二叉树的结构小题目： ...

原创 hadoop NN 的脑裂

脑裂：就是 Zookeeper 客户端“假死”即心跳检测不到了，可能原因full gc  ，网络通信不好等，从而判断已死，然后又死灰复燃，形成两个主；解决办法：        设置栅栏fencing，通俗的讲，就是：管你真死还是假死，先给你放棺材里，钉上钉子再说，就算炸尸，你也给我在棺材里呆着，我让你出来，你才能出来。懒得解释 以下来自https://www.ibm.com/developerwo...

原创 Hive支持的隐式类型转换

隐式转换图表图表小结：一、double decimal string varchar  这四个基本能相互转换     除了 decimal转double不行 因为decimal比double大相当于double与flout二、基本所有类型都能转为string 与varchar 三、多重转换（显示转换），a为binary（字节数组），SELECT (cast(cast(a as string) as...

转载 数据结构与算法分析 书的看书思路

作者：道长链接：https://www.zhihu.com/question/53064373/answer/133956550来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。学习先决条件：指针基础 数组和链表 图的基本概念（如边，顶点，路径，权值）1 理解图的两大存储结构 1-1 邻接矩阵 1-2 邻接表 注意：邻接表中，指针数组里的每一个...

转载 分表和表分区

所谓的大表是指存储了百万级乃至千万级条记录的表。在我看来分表和表分区在物理结构上都是一样的，只不过在逻辑结构上不同，分表在逻辑上是多张表，多张实体表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件。分区表在逻辑上是一张表，而数据散列到各个节点。因此关键根据实际业务来决定采用哪种方式，例如每个月平均都差不多有上千万条数据，那么可以采用分表存储，按月标注表名。但如果每个月的...

转载 详解HBase架构原理

转https://www.cnblogs.com/steven-note/p/7209398.html一、什么是HBase         HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。        HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件...

原创 http 与 tcp 网络传输协议

参考 https://blog.csdn.net/agzhchren/article/details/79173491.三、OSI七层模型各层功能简述1、物理层：通过媒介传输比特,确定机械及电气规范（比特Bit）2、数据链路层：将比特组装成帧和点到点的传递（帧Frame）3、网络层：负责数据包从源到宿的传递和网际互连（包PackeT）4、传输层：提供端到端的可靠报文传递和错误恢复（段Segment...

转载 每日定时导入hive数据仓库的自动化脚本

每日定时导入hive数据仓库的自动化脚本创建shell脚本，创建临时表，装载数据，转换到正式的分区表中：[plain] view plaincopy#!/bin/sh  # upload logs to hdfs    yesterday=`date --date='1 days ago' +%Y%m%d`    hive -e "  use stage;  create table trackl...

原创 hosts 以及windows访问vm linux路径流程

我是从eclipse 插件 读取hdfs上来理解的eclipse中描述的错误：Call From MS-20170614QDEO/169.254.90.128 to weivo01:9000 failed on connection exception: java.net.ConnectException: Connection refused: no further information; F...

转载 【Java面试整理之JVM】深入理解JVM结构、类加载机制、垃圾回收GC原理、JVM内存分配策略、JVM内存泄露和溢出

一、前言最近要准备找工作，JVM肯定是跑不掉的面试内容，所以把JVM相关的内容拿来认真学习一遍，整理成自己能够快速消化的提纲，方便随时可以调用。主要分JVM结构、类加载机制、垃圾回收GC原理、JVM内存分配策略、JVM内存泄露和溢出 五个方面展开。二、JVM结构JVM的内部结构直接贴图：  各部分的主要功能：类加载器 JVM启动，程序开始执行时，负责将class字节码加载到JVM内存区域中执行引擎...