CaiJin1217-CSDN博客

原创 MySQL------truncate和delete 的区别

truncate、drop 是数据库定义语言(ddl)，操作立即生效，原数据不放到 rollback segment 中，不能回滚，操作不激活触发器（trigger）。而通过truncate删除数据是释放空间的，如果表id是递增式的话，新增数据的id又是从头开始，而不是在已删数据的最大id值上递增。，是一行一行地删除，每删除一行数据，就在事务日志中为删除的那行数据做一项记录，因此可对delete操作进。delete删除的行数据是不释放空间的，如果表id是递增式的话，那么表数据的id就可能不是连续的；

2023-07-06 18:13:36 530

原创 MySQL------数据库操作语句类型（DQL、DML、DDL、DCL）

ROLLBACK [WORK] TO [SAVEPOINT]：回退到某一点。数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE。数据定义语言DDL用来创建数据库中的各种对象-----表、视图、数据控制语言DCL用来授予或回收访问数据库的某种特权，并控制。数据库操纵事务发生的时间及效果，对数据库实行监视等。回滚命令使数据库状态回到上次最后提交的状态。COMMIT [WORK]：提交。SELECT <字段名表>表视图索引同义词簇。FROM <表或视图名>WHERE <查询条件>

2023-07-06 17:43:08 376

原创 MySQL------事务并发问题和解决办法

这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些“脏”数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。不可重复读是，事务1操作过程中，之前读过的数据被修改或删除了。含义：多个事务同时对数据进行修改，其中一个事务的数据被另一个事务的操作覆盖，导致丢失修改。一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据，这种现象就称为“幻读”（Phantom Reads）。含义：在事务过程中，A事务还未提交，B事务就读到了A事务未提交的数据。

2023-06-27 10:37:41 1148

原创 MySQL------每日刷题笔记

4.exists子查询：把外层的查询结果，拿到内层，看内层是否成立，简单来说后面的返回true,外层（也就是前面的语句）才会执行，否则不执行。3、DATE_ADD()常常用户在Mysql的sql中实现对日期类型的操作，比如增加或者减少，但是不改变原来的数据，只是对查询的数据做处理，interval是固定标志，expr 表示数量，可以为正负，表示加减，unit表示日期类型可以是yy,ww,dd等分别表示，年，周，天等。2、UNION 合并多个SELECT的结果集，只列出不重复的值，它会过滤重复值。

2023-06-27 10:23:52 468

原创 5-16SQL每日一题

如下两张表，G0516A和G0516B。

2023-05-16 10:33:29 335

原创 SQL82 返回 2020 年 1 月的所有订单的订单号和订单日期

【代码】SQL82 返回 2020 年 1 月的所有订单的订单号和订单日期。

2023-03-02 11:48:41 163

原创 MySQL------插入

REPLACE INTO table_name VALUES (value1, value2, …) （注意这种原理是检测到主键或唯一性索引键重复就删除原记录后重新插入）

2023-02-24 10:50:41 107

原创 MySQL------窗口函数

怎么样得到各部门工资排名前N名员工列表?查找各部门每人工资占部门总工资的百分比？累计求和如何计算？连续统计N天登陆的用户？以上类型问题均使用窗口函数可以解决，这类需求都有一个共同的特点，需要在单表中满足某些条件的结果集内部做一些函数操作，对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好, 注意, 是每一条!!因为MySQL的普通聚合函数的结果(如 group> by)是每一组只有一条记录!!!

2023-02-22 15:19:47 1057

原创 MySQL------自定义排序

语法： SELECT * from table_name ORDER BY FIELD(

2023-02-21 15:26:29 1722

转载 MySQL------连续统计N天登陆的用户

【代码】MySQL------连续统计N天登陆的用户。

2023-02-21 11:29:19 502

原创 pandas之重组时间序列 periodindex

periodindex：将数据中的分离的时间字段，重组为时间序列，并指定为index****period = pd.PeriodIndex(year=df["year"], month=df["month"], day=df["day"], hour=df["hour"], freq="H") df["datetime"] = period # 设置为索引 df.set_index("datetime", inplace=True) # 降采样(原来的值为一小时一次，改为一月一次) # 对常规时间序列数

2021-01-21 16:19:23 1092

原创 python---vars()简单实用和理解

官方解释：vars() 函数返回对象object的属性和属性值的字典对象。代码如下：class Data(object): def __init__(self,name,value): self.name = name self.value = valueclass Value(object): def __init__(self,age=No...

2019-04-18 17:56:33 4698

原创一行代码画心哦~~~~

print('\n'.join([''.join([('DnxCj—'[(x-y) % len('DnxCj-')] if ((x*0.05)**2+(y*0.1)**2-1)**3-(x*0.05)**2*(y*0.1)**3 <= 0 else ' ') for x in range(-30, 30)]) for y in range(30, -30, -1)]))

2019-04-16 17:22:32 2012 1

原创 Python模块之linecache（对文件的指定读取）

一、linecache模块函数1、linecache.getlines(filename, lineno[, module_globals])从文件中读取内容，得到第 lineno行2、linecache.clearcache()清除现有的文件缓存。3、linecache.checkcache([filename])缓存中的文件可能已在磁盘上更改，并且需要更新的版本...

2019-03-18 13:55:52 1157

原创 Linux后台运行python程序，并输出到文件

nohup python -u test.py > test.log 2>&1 &1、末尾的"&"：后台运行2、“2” ：输出错误信息到提示符窗口3、“1” ：输出信息到提示符窗口,“1"前面要加“&“，否则会创建一个名为"1"的文件...

2018-12-12 14:04:34 2565

原创 Linux查询正在运行的python程序

Linux查询正在运行的python程序ps -ef | grep python

2018-12-12 13:50:02 27326 1

原创 Spyder 常用快捷键

Spyder常用快捷键汇总~（大小写都可以）作用快捷键替换文本Ctrl + R单行注释,反注释Ctrl + 1块注释，反注释Ctrl + 4/5跳转到某一行Ctrl+L查看某函数的帮助文档Ctrl+I运行程序F5文件切换Ctrl +P显示变量窗口Ctrl+ Shift +V关闭页面Ctrl+Shift+F4...

2018-11-13 16:29:06 1412

转载 numpy数组常用属性和方法

一、基本属性属性作用a.dtype()数组元素类型 float32,uint8,…a.shape()数组形状 (m,n,o,…)a.size()数组元素数a.itemsize()每个元素占字节数a.nbytes()所有元素占的字节a.ndim()数组维度二、形状相关属性作用a.flat()所有元素的迭代器...

2018-10-26 14:59:13 424

原创 numpy的各种方法

一、numpy方法1、np.dtype：指定当前numpy对象的整体数据, 见下一个表格2、np.itemsize：对象中每个元素的大小, 单位字节3、np.size：对象元素的个数, 相当于np.shape中的n*m值4、np.shape ：轴, 查看数组形状, 对于矩阵, n行m列5、np.ndim ：秩6、np.isnan(list) ：筛选出nan值7、np.iscomple...

2018-10-15 17:50:38 1532

原创 python学习之各类网站

1、Python 资源大全——-“伯乐在线” http://python.jobbole.com/84464/ https://github.com/jobbole/awesome-python-cn 2、系统推荐 https://surprise.readthedocs.io/en/stable/getting_started.html 3、值得关注的 10 个 Python 英文博客...

2018-09-13 15:28:48 422

原创 Python识别图像中的文字

按步骤………. 一步一步来一、配置运行环境 1、安装PIL：pip install Pillow 2、安装pytesseract：pip install pytesseract 3、安装Tesseract-OCR：https://github.com/UB-Mannheim/tesseract/wiki （进入网页下载安装包） (1)安装Tesseract-OCR可以直接使用傻瓜安...

2018-09-12 09:22:41 678

原创 Python抓取电视剧《天盛长歌》豆瓣短评，并制作成词云。

最近在看《天盛长歌》，才看了30多集，感觉里边的剧情还是很有深度，每个反派都是智商在线，剧情也是环环相扣，以至于每个镜头给了哪些特写我都要细细斟酌一番。不过可能剧情是根据小说改编，所以部分剧情有些老套，而且因为节奏有点慢，剧情过多，光是大皇子领盒饭就用了20集。目前来说不喜欢韶宁公主有关的剧情，不知道她后边的剧情怎么发展，配角选的也是十分用心了，喜欢珠茵姐姐，可惜十几集就领盒饭了，而且还有点不值，...

2018-09-11 14:04:55 667

原创 Scrapy框架中setting 中的字段含义

一、setting 自动生成的内容含义# -*- coding: utf-8 -*-# Scrapy settings for taoCarTest project## For simplicity, this file contains only settings considered important or# commonly used. You can find more s...

2018-09-07 11:03:49 832

原创 Pycharm下安装scrapy

1、先建立一个文件夹（test_Scrapy），用Pycharm打开，（用pycharm打开这个文件夹）第一步先安装wheel 2、然后进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml去下载Twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml （scrapy依赖Twiste...

2018-09-05 10:59:27 2410

原创数据库批插入---pymysql模块中executemany()的用法

executemany()身为批量插入数据的方法，速度比execute()一条一条插入速度更快con = pymysql.connect(host='192.168.0.136', user='root', passwd='oysm=K8cV6eldcv', db='lh', port=3306,charset='utf8')if con: print("ok") cur =...

2018-09-03 16:29:12 4201 1

转载 Python学习之------retry（异常重试）

在做数据抓取的时候，经常遇到由于网络问题导致的程序保存，先前只是记录了错误内容，并对错误内容进行后期处理。原先的流程：def crawl_page(url): passdef log_error(url): passurl = ""try: crawl_page(url)except: log_error(url)改进后的流程：at...

2018-08-30 11:22:54 33617 1

原创 python多线程简单案例

#coding=utf-8import requestsfrom retrying import retryfrom lxml import etreeimport timefrom queue import Queueimport threading# import chardetclass QiuBai: def __init__(self): sel...

2018-08-22 16:31:06 313

原创 python多线程爬虫时，主线程一直等待错误。

1、抓取网站的专辑信息时，遇到了加上守护线程，程序执行完主线程，唰的一下就结束了，子线程在哪里？嗯，丢掉了t.setDaemon(True) #设置守护线程把上边那句注释掉后，子线程…….emmmmm….. 执行了，然后就一直在等待………………………等一个不知道是谁的谁。然后就注释掉下边那段话for q in [self.url_queue,self.html_queue...

2018-08-22 09:54:39 1128 1

原创 Selenium-python——异常（selenium.common.exceptions.StaleElementReferenceException: Message: stale eleme）

1、我在第一个页面获取到了访问下一页的链接一共80条，然后循环获取八十条链接，并循环打开。报了这个错误。代码如下from selenium import webdriverimport timeimport randomdriver = webdriver.Chrome()driver.get("http://www.*******.com")timesleep = ran...

2018-08-15 11:10:03 5146

原创自学Selenium-python（第一篇）

1、打开浏览器，测试selenium是否能使用# coding = utf-8from selenium import webdriverdriver = webdriver.Chrome()# 打开百度新闻driver.get('http://news.baidu.com/')time.sleep(2)测试成功打开浏览器 2、进行一些其他的小操作# 输出网页的标题p...

2018-08-14 13:54:31 346

原创如何在pycharm下安装和配置selenium（小白练手）

我的电脑里已经下载好python以及使用的是pycharm，所以主要写怎么安装和配置selenium1、第一步先下载selenium，打开pycharm，建立pycharm 的运行环境。在pycharm下下载seleniumpip install selenium2、下载完成后需要下载与谷歌浏览器版本相对应的驱动程序连接为：http://chromedriver.storage.g...

2018-08-13 14:45:35 15279

原创在Windows系统中设置Python程序定时运行

最近想添加定时任务，但是电脑是windows系统，无法使用Linux里的crontab命令，但windows也可以添加定时任务，定期执行python程序。步骤如下：1、在开始中下打开任务计划程序 2、点击后进入定时任务的界面，打开右上角 “创建基本任务”选项 3、输入定时任务的名称和可选的描述内容就可以点击下一步了 4、然后设置任务的开始周期，我需要每天执行一次 5...

2018-08-09 10:13:50 1126 1

原创 python生成一个不重复的随机数

import randomlist1 = [0,1,2,3,4,5,6,7,8,9]list2 = ['a','b','c','d','e','f','g','h','i','j','k']num1 = random.sample(list1,4)num2 = random.sample(list2,5)print(num1)print(num2)

2018-08-02 15:41:18 4431

原创 Python基础学习之数据类型

#列表list1=[1,2,3]print(type(list1)) #字典dict1={"title":"web开发"}print(type(dict1))print(dict1['title']) #元组tuple1=(112,112)print(type(tuple1))

2018-08-02 11:09:54 120

原创 python爬虫--利用Xpath抓取信息

1、配置好pycharm环境 2、代码如下：# -*- coding:utf-8 -*-import requestsfrom lxml import etreeimport randomimport timeimport reimport osdef Brank(): url = "http://**********************/" pri...

2018-08-02 11:08:57 1297

原创 python如何将txt格式的文件转为Excel格式

1、代码如下：# -*- coding:utf-8 -*-import osimport xlwtimport xlrdimport xlutilsfrom xlutils.copy import copyimport redef saveBrankExcel(): with open("output1/shangcheCarBrank.txt","r",enco...

2018-07-31 15:59:02 4044 1

原创 JS实现简单的手机相册(从略缩图到大图)

1、先准备好animate.css文件和zetpo.js 2、结构层HTML代码：<ul id="smallImg"></ul> <div class="mark"> <img class="largeImg" src="" />

2018-06-07 20:23:51 1929

原创 Bs4---在线爬取数据内容

1、getDatas.py 获取网页数据，并创建文件夹#coding:utf-8import urllib.requestfrom bs4 import BeautifulSoupimport osclass GetDatas: def __init__(self): self.url='https:~~~~~~~~~~~网址~~~~~~~~~~~' ...

2018-05-03 19:55:46 1263

原创 Scrapy---在线爬取网页数据

1、items.pyclass DoubanItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 电影排名 rank = scrapy.Field() # 电影标题 title = scrapy.Field() ...

2018-05-03 19:44:15 1525

原创 Scrapy---生成文件

scrapy应用一、Scrapy框架的应用步骤 1、创建工程：scrapy startproject 工程名称 2、创建爬虫：scrapy genspider 文件名称xxxspider 网址二、开发 1、items.py 确定数据采集的属性—采集项变量名 = scrapy.Field() title = scrapy.F...

2018-05-03 19:32:22 610