onemorepoint的博客

原创 Postgresql 窗口函数的使用方法 row_number rank dense_rank over()

Postgresql 窗口函数的使用方法导入数据库连接python版本 3.8数据库软件postgresql 版本12.0ipython-sql 版本 4.0目的 在jupyter notebook 界面使用数据库，实现数据中的窗口函数演示# import sqlalchemy # # sqlalchemy.create_engine('postgresql://p...

原创 在 PostgreSQL 中，可以使用 UPDATE 语句结合 LEFT JOIN 来更新左表的数据。下面是一个示例：...

原创 url解码与编码-备用

from urllib import parsefrom urllib import requestdict = {'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}data = parse.urlencode(dict) # 将字典{'k1': 'v1', 'k2': 'v2', 'k3': 'v3'}转换为 k1=v1&k2=v2&k3...

原创 查询表名所在数据库名

经常会使用到mysql已知表名，但是不记得是在哪个数据库里面，可以使用SELECT table_schema FROM information_schema.TABLES WHERE table_name = 'xxx';查询表所在库名

原创 mysql 执行计划 explain extra 信息分析

对于extra信息，常见的几种情况的分析using index、using where、using index conditionusing index ：使用覆盖索引的时候就会出现，测试发现主键索引也会生效using where：在查找使用索引的情况下，需要回表去查询所需的数据using index condition：查找使用了索引，不需要回表查询，因为要过滤的字段在...

原创 python在导入模块时，即import时究竟有哪些动作？

python在导入模块时，即import时究竟有哪些动作？在python中，导入并非只是把一个文本文件插入到另一个文件。导入其实是运行时的运算，程序第一次导入指定文件时，会执行以下三个步骤：1、找到模块文件2、编译成位码(即pyc文件)3、执行模块的代码来创建其所定义的变量(你没看错，导入时代码是会执行的)需要明确的事，模块导入只有在第一次导入时才会进行。此后，导入相同模块时，会跳过这三...

原创 小林网站基础篇-索引创建与否的判断

MySQL如何判断是是否应该加索引？索引的好处是加速查询，但是也有部分问题索引占用物理空间，数量越大，占用空间也越大创建索引和维护索引需要耗费时间, 这种时间随着数据量的增大而增大索引会降低增删改的效率，每次增删改索引，B+Tree维护索引的有序性，需要动态维护适合加索引的场景字段有唯一性限制的，比如商品编码或者身份证id等信息经常在where条件里面查询的字段，这样能够提高...

原创 小林coding网站---mysql基础-MySQL索引的数据结构和算法

MySQL索引的数据结构和算法索引问题相关引出的问题是索引覆盖与回表,在执行器的部分已经讲过。MySQL 默认的存储引擎 InnoDB 采用的是 B+ 作为索引的数据结构，原因有：B+Tree vs B-TreeB+ 树的非叶子节点不存放实际的记录数据，仅存放索引，因此数据量相同的情况下，相比存储即存索引又存记录的 B 树，B+树的非叶子节点可以存放更多的索引，因此 B+ ...

原创 小林coding网站---mysql基础-server层-执行器

小林网站mysql基础篇 执行器执行器上篇我们总结到查询缓存作为一个鸡肋的功能，对于频繁更新的表，查询缓存可能还没有等到被利用，就被清除掉了，所以在mysql8之后，之前将这个模块去掉了；对于解析器，词法解析将关键词以及构建sql语法树，语法分析根据词法分析的结果，判断这个sql语句是否满足语法。对于满足语法的sql语句，将由优化器进行判断，如何执行更有效率，生成执行计划，后面的任务就交给了...

原创 小林coding网站---mysql基础-server层-mysql查询缓存-解析器-优化器

查询缓存针对查询语句，mysql先回去查询缓存(query cache)里面去找缓存，看看之前是否执行过查询命令，查询缓存是以key-value形式保存在内存中，key为sql的查询语句，value为查询的结果。如果查询的语句命中了查询缓存，则直接返回给客户端value的数据，如果没有命中，则继续执行sql查询语句，执行完成后，将结果缓存到查询缓存中。针对更新频繁的表，查询缓存的命中率极...

原创 小林coding网站---mysql基础-server层-mysql连接器

整理小林coding网站关于mysql的信息笔记基础篇以mysql执行一条select语句，select * from product_tb where id ='1'mysql在中间发生了什么，这就需要了解mysql的内部的结构，其各个的主要组成部分有两层，Server层和存储引擎层server层包括了解析器，查询缓存，预处理器，优化器，执行计划，执行器存储引擎包括了以不同形式存...

原创 利用numpy select 和numpy where 做pandas数据处理

还是最近的那个项目，最后收尾阶段遇到这样一个问题：根据表格每一行某几列的数据进行条件筛选后并生成新的一列数据。像下面这个示例一样????：需要根据每一行的“ 生日”，“地址”，“保险”是否有值来生成新的一列字段，比如叫“完整度”字段。就拿王佳来说，因为他的 “保险”字段是空值，但是“地址”和“生日”有对应的值。那么最后新字段 “完整度”这里就要填入 “比较完整” 四个字。同理，李明的“完整度” ...

原创 MySQL服务器线程池插件

原文链接 https://www.lanmper.cn/mysql/t7447.htmlMySQL服务器线程池插件MySQL Enterprise Edition包含使用服务器插件实现的MySQL Enterprise Thread Pool。MySQL Server中的默认线程处理模型在每个客户端连接中使用一个线程执行语句。随着越来越多的客户端连接到服务器并执行语句，整体性能下降。线程池插...

原创 Index Merge 算法

本文问题什么是Index Merge？Index Merge的限制有哪些？如何查看语句是否使用了Index Merger？Index Merge有哪几种？分别适用于那些情景？如何控制优化器是否使用Index MergeIndex Merge 索引合并索引合并检索方法可以检索多个范围扫描并将结果合并。这种访问方法只能合并同一个表的索引扫描，不能合并跨表扫描。合并可能生成基础扫描结...

原创 MySQL数据库的核心MVCC详解

原文链接： https://baijiahao.baidu.com/s?id=1719749867568105953&wfr=spider本文给大家详细的类介绍下MVCC的内容，MVCC对大家的工作和面试都是非常重要的内容。一、前置内容1.ACID在看MVCC之前我们先补充些基础内容，首先来看下事务的ACID。2.MySQL的核心日志在MySQL数...

原创 pandas过滤某列含有nan 的行

pandas中 过滤某列中含有Nan的行

原创 对应pandas中dataframe的多列进行apply方法

对应pandas中dataframe的多列进行apply方法

原创 不良人-mysql索引

1.什么是索引官方定义: 一种帮助mysql提高查询效率的数据结构索引的优点:1、大大加快数据查询速度索引的缺点:1、维护索引需要耗费数据库资源2、索引需要占用磁盘空间3、当对表的数据进行增删改的时候，因为要维护索引，速度会受到影响2.索引分类a.主键索引设定为主键后数据库会自动建立索引，innodb为聚簇索引b.单值索引即一个索引只包含单个列，一个表可以有多...

原创 转-InnoDB索引，终于懂了

《数据库索引，终于懂了》介绍了为什么B+树适合做数据库索引，数据库的索引分为主键索引（Primary Inkex）与普通索引（Secondary Index）。InnoDB和MyISAM是怎么利用B+树来实现这两类索引，其又有什么差异呢？问题1：MyISAM的索引结构是怎样的？MyISAM的索引与行记录是分开存储的，叫做非聚集索引（UnClustered Index）。其主键索引与普通索引没有本质差异：（1）有连续聚集的区域单独存储行记录；（2）主键索引的叶子节点，存储主键，与对

原创 MySQL两个最常用的存储引擎，MyISAM和InnoDB

缓存讲了一个月《缓存架构，一篇足够》。今天，开始写数据库。第一篇，说说MySQL两个最常用的存储引擎，MyISAM和InnoDB。照自己的理解，把一些知识点总结出来，不只说知识点，多讲“为什么”。一、关于count(*)知识点：MyISAM会直接存储总行数，InnoDB则不会，需要按行扫描。潜台词是，对于select count(*) from t;如果数据量大，MyISAM会瞬间返回，而...

原创 数据库索引 B+树

问题1.数据库为什么要设计索引？索引类似书本目录，用于提升数据库查找速度。问题2.哈希(hash)比树(tree)更快，索引结构为什么要设计成树型？加快查找速度的数据结构，常见的有两类：(1)哈希，例如HashMap，查询/插入/修改/删除的平均时间复杂度都是O(1)；(2)树，例如平衡二叉搜索树，查询/插入/修改/删除的平均时间复杂度都是O(lg(n))；可以看到，不管是读，还是写，哈...

原创 JavaScript 判断数组是否含有重复值

var ary = new Array("1111", "222", "33", "111", "22");alert(isRepeat(ary));// 验证重复元素，有重复返回true；否则返回falsefunction isRepeat(arr) {var hash = {};for(var i in arr) {if(hash[arr[i]]) {return true;...

原创 转-mysql数据库允许空值----索引问题

数据库字段允许空值，会遇到一些问题，此处包含的一些知识点，和大家聊一聊。原文链接：https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651962495&idx=1&sn=74e9e0dc9d03a872fd5bce5769f6c22a&chksm=bd2d09a38a5a80b50da3b67c03d...

原创 转载mysql覆盖索引与回表

select id,name where name='shenjian'select id,name,sex* where name='shenjian'*多查询了一个属性，为何检索过程完全不同？什么是回表查询？什么是索引覆盖？如何实现索引覆盖？哪些场景，可以利用索引覆盖来优化SQL？这些，这是今天要分享的内容。画外音：本文试验基于MySQL5.6-InnoDB。一、什么是回...

原创 多线程中ThreadPoolExecutor.map（）中传递多个参数

问题如下：

原创 mysql 添加索引 mysql 如何创建和删除索引

1.添加PRIMARY KEY(主键索引)mysql>ALTER TABLE table_name ADD PRIMARY KEY ( column )2.添加UNIQUE(唯一索引)mysql>ALTER TABLE table_name ADD UNIQUE (column)3.添加INDEX(普通索引)mysql>ALTER TABLE table_name ...

原创 MySql数据库表清空后重置主键ID从1开始自增

可以使用truncate table 表名

原创 利用pandas，BytesIO，zipfile打包csv文件，生成压缩文件

import timeimport pandas as pdimport zipfilefrom io import BytesIO, StringIOmemory_file = BytesIO() # 创建二进制内存文件dl_name = '{}.zip'.format("文件下载_" + time.strftime('%Y%m%d', time.localtime())) #...

转载 Git之将master合并到自己分支

1.切换到master主分支上git checkout master2.将master更新的代码pull到本地git pull3.切换到自己的分支上git checkout branchName4.合并master到自己的分支git merge master5.用idea或者sublime text解决冲突Git用<<<<<<<,===...

原创 mysql每日一题- 动态行转列

测试数据CREATE TABLE T0918 (No INT,NAME NVARCHAR(20),age INT);INSERT INTO T0918 VALUES (1,'张三','18');INSERT INTO T0918 VALUES (1,'李四','17');INSERT INTO T0918 VALUES (1,'王五','23');INSERT INTO...

原创 Git报错解决：OpenSSL SSL_read: Connection was reset, errno 10054 错误解决

github 上传报错git config --global http.sslVerify "false"

原创 mysql每日一题- 部分top3工资查询

solutionSELECT a.employee, a.department, a.Salary FROM ( SELECT *, DENSE_RANK() over ( PARTITION BY department ORDER BY Salary DESC ) rk FROM ( SELECT a.NAMES employee, b.NAME departm...

原创 mysql每日一题-窗口函数练习0916

solution可以使用窗口函数进行筛选出按照日期每个日期出现的次数，然后筛选出来两个数值相等的记录来，当然可以通过join的方式进行查询select workid,recdate, rectime, time4 from (select *, count(1) over(PARTITION by recdate ) num from T0916 ) awhere a.num&...

原创 mysql每日一题0809--每行包含某个特定数据或者字符 like regex like length

测试数据CREATE TABLE T0809(ID INT,DATA VARCHAR(10));INSERT INTO T0809 VALUES(1,'8'),(2,'88'),(3,'7,8'),(4,'6,7,8'),(5,'8,9'),(6,'7,88')solutionselect * from T0809 where LENGTH(data)-LE...

原创 mysql每日一题0728---连续多天数据汇总统计

测试数据CREATE TABLE T0728 ( val VARCHAR(50));insert into T0728 (val) values('A10000003');insert into T0728 (val) values('A10000001');insert into T0728 (val) values('A10000002');insert int...

原创 mysql每日一题0701----- 层级显示--递归的方法

CREATE TABLE T0701( ID INT, PRODUCTNAME VARCHAR(64), PARENTID INT,); INSERT INTO T0701 VALUES ( 1,'汽车',NULL);INSERT INTO T0701 VALUES ( 2,'车身',1);INSERT INTO T0701 VALUES ( 3,'发动机'...

原创 mysql每日一题0708--- 临近值补全数据

测试数据CREATE TABLE T0708 (LDate DATE NOT NULL,Value1 INT NULL,Value2 INT NULL)INSERT INTO T0708 VALUES('2020-11-25', 500 ,200);INSERT INTO T0708 VALUES('2020-11-24', Null, 200);INSERT INTO T0...

原创 mysql每日一题0727--窗口函数-mysql除法，取余数

hope you can enjoy！ ????mysql除法与取余数解题思路利用窗口函数，求出每行的排序，每个type下的行数，每个type下的汇总求和数判断如果是type的最后一行，则将余数加到该行SELECT a.id, a.type,CASE WHEN rk = num THEN mod_num + divide_num ELSE di...

原创 mysql每日一题0723----- 关联查询然后行转列统计

hope you can enjoy ???? !CREATE TABLE T0723A(ID INT,机房 VARCHAR(20));CREATE TABLE T0723B (ID INT,机房ID INT,主机名称 VARCHAR(20),主机状态 INT); INSERT INTO T0723A VALUES (1,'机房A');INSERT INTO T072...

原创 mysql每日一题0722--各部门人数

hope you can enjoy ???? ！????测试数据CREATE TABLE 部门表(ID int,部门 VARCHAR(10),父ID int);CREATE TABLE 职工表(部门 VARCHAR(10),姓名 VARCHAR(10));INSERT INTO 部门表 VALUES(1,'A公司',null);INSERT INTO 部门表 VALUES(2,'A...