- 博客(258)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 解决Python安装库时出现的Requirement already satisfied问题
对于这样的问题，解决办法就是在 pip install 后加 - -target=你所要添加的库文件地址(注意：target前为两个-，并且没有空格) 再加 库名。输入：pip install --target=d:\anaconda\lib\site-packages xlwt --upgrade。如果还有问题 可以备份改文件夹下 d:\python\lib\site-packages波浪线开头的文件夹，然后删除。解决办法：在原本代码的末端加上“ --upgrade”，注。
2024-01-18 22:08:41
1194
1
原创 解决：WARNING: You are using pip version 21.3.1； however, version 22.2.2 is available.
可以用这个命令试试：python.exe -m pip install --upgrade pip。
2024-01-18 16:02:02
447
原创 kettle中Pan kitchen用法及bat写法
Pan.bat /rep mssql /user admin /pass admin /file C:\Users\lee\Desktop\KETTLE\ktr\tran.ktr //成功运行。kitchen /rep mssql /user admin /pass admin /job 获取变量值 /dir /lianshu/是一个转换执行引擎，用来执行转换。cd C:\data-integration---kettle 目录。2) -user:Repositoryusername 执行人。
2023-05-16 16:30:02
799
转载 mysql grant 用户权限
mysql grant 用户权限总结用户权限管理主要有以下作用：1. 可以限制用户访问哪些库、哪些表2. 可以限制用户对哪些表执行SELECT、CREATE、DELETE、DELETE、ALTER等操作3. 可以限制用户登录的IP或域名4. 可以限制用户自己的权限是否可以授权给别的用户一、用户授权mysql> grant all privileges on *.* to 'yangxin'@'%' identified by 'yangxin123456' with grant op
2022-04-08 13:20:02
6023
原创 panda 绘图不显示中文
import matplotlibmatplotlib.matplotlib_fname()打开matplotlibrc配置文件。按Ctrl+F，查找：#font.sans-serif。改成simhei
2022-02-12 23:14:06
484
原创 celery 框架学习笔记
Celery 框架学习笔记需要安装的包：celery 5.2.1;redis 4.0.2; eventlet 0.33.0Celery 启动命令：工程目录下调用Worker:celery -A celery_task.celery worker -l info -P eventletbeat:celery -A celery_task.celery beat -l inforedis 安装配置：转载：Redis下载及安装(windows版) - show-code - .
2022-01-15 15:58:14
488
1
原创 将本地code推到gitee
1.Git - Downloading Package下载GIT客户端2.安装gitGit安装详细教程（windows系统）_奈何的人生-CSDN博客_git安装及配置教程 windows3.解决[email protected]: Permission denied (publickey). Could not read from remote repository.解决[email protected]: Permission denied (publickey). Could not read .
2021-12-25 15:49:07
272
原创 创建分布式爬虫的步骤
1.在服务器上安装scrapyd ：pip3 install scrapyd2.从usr/local/lib/python3.5/dist-package/scrapyd拷贝出defalt_scrapyd.conf放到etc/scrapyd/scrapy.conf3.修改etc/scrapyd/scrapy.conf下的bind_address 为本机地址4.重新安装twistedpip uninstall twisted \ pip install tweisted==18.9.0#默认.
2021-11-30 21:39:05
479
原创 异步保存数据到mysql或mssql 学习笔记
from twisted.enterprise import adbapiclass NewtqPipeline: #def process_item(self, item, spider): #print(item['city'],item['day'],item['gw'],item['dw'],item['tq'])#以上两行为直接打印出啦 def __init__(self,mssql_config): self.adbpool = ad...
2021-10-25 23:08:18
284
原创 创建crawlspider爬虫 学习笔记
创建crawlspider爬虫新建项目 scrapy project newtq创建爬虫 scrapy genspider -t crawl 爬虫名 域名相关参数说明：scrapy shell 解析网址 在跟response.xpath('//div[@class="con today clearfix"]//div[@id="7d"]/ul/li')测试是语法是否正确及数据...
2021-10-18 22:54:45
199
原创 scrapy Pipline保存到数据库
import jsonimport pymssqlclass TqybPipeline: # #保存到当前路径 # def open_spider(self,spider): # self.fp=open("天气.txt",'w',encoding='utf-8') # def process_item(self, item, spider): # self.fp.write(json.dumps(dict(item),ensure_ascii.
2021-10-17 22:10:08
145
转载 python 插入数据库 b“Incorrect syntax near ‘,‘.DB-Lib error message 20018
python 插入数据库 b"Incorrect syntax near ','.DB-Lib error message 20018，插入的内容包含特殊字符"Incorrect syntax near ','，pymssql连接mssql2008出错，报错信息20017, 'DB-Lib error message 20017, severity 9数据库连接字符集出错：charset:utf-8使用 Python 将数据写到 SQL Server 数据库，但是在进行数据库连接操作时却报以下.
2021-10-17 17:38:18
4121
原创 学习scrapy使用
运行scrapy 中的spider新建run.pyfrom scrapy import cmdlinecmdline.execute("scrapy crawl tq".split(" "))判断获取元素的类型print(type(sevenday(对象)))获取对象中所有数据 对象.getall(); 对象.get()中的第一元素组装数组：在items中组装字段import scrapyfrom ..items import TqybItemclass TqS.
2021-10-14 22:58:13
111
转载 JavaScript:在JS中截取字符串的方法
这篇主要说一说截取字符串的方法，用于帮助自己缕清方法的作用，参数的意义，返回值，是否对于原来的字符串进行了操作等。 在javascript中，常见的截取字符串的方法有slice()、substring()、substr()这三种方法，我主要为了捋清楚这三种方法的相同点与不同点，在什么情况下适用于哪一种。优雅的代码都是从一点一滴开始的。 slice() 首先，我在百度上面搜索了一下slice()方法，给出的链接是Javascript Array对象的 slice()方法，是对数组的操作。
2021-08-28 18:39:37
2521
原创 MySQL计算两个日期相差的天数、月数、年数
MySQL自带的日期函数TIMESTAMPDIFF计算两个日期相差的秒数、分钟数、小时数、天数、周数、季度数、月数、年数，当前日期增加或者减少一天、一周等等。SELECT TIMESTAMPDIFF(类型,开始时间,结束时间)相差的秒数：SELECT TIMESTAMPDIFF(SECOND,'1993-03-23 00:00:00',DATE_FORMAT(NOW(), '%Y-%m-%d %H:%i:%S'))相差的分钟数：SELECT TIMESTAMPDIFF(MINUTE
2021-08-28 11:12:17
1697
原创 SQL 怎么创建一个只有查询数据库用户权限呢
首先执行：exec sp_addrole 'UserName' --创建用户角色，其中UserName替换成要创建的用户然后：exec sp_addrolemember 'db_datareader','UserName' --给这个用户读数据库的权限如果单表等赋予其他用户权限的话，可用如下语句：grant select on 表名 to UserName...
2021-07-16 17:31:50
2045
原创 批处理隐藏窗口
@echo offif "%1"=="h" goto beginstart mshta vbscript:createobject("wscript.shell").run("""%~nx0"" h",0)(window.close)&&exit:beginpython 天气预报测试.py #cmd命令放在这个位置exit
2021-05-06 10:28:04
323
原创 MSSQL 构建函数提取指定的字符
create function dbo.kkGetNoFromStr(@str nvarchar(100))--说明字段中排除南风、东北风 returns varchar(100)asbegin while patindex('%[((?!.*(南风|东北风)).)*$]%',@str)>0 begin set @str=stuff(@str,patindex('%[((?!.*(南风|东北风)).)*$]%',@str),1,'') end return conver...
2021-04-22 09:13:36
137
原创 Python 多线程基本步骤
基本方法一：class codingThread(threading.Thread): def run(self):#线程必须放在run里 xxx class drawingThread(threading.Thread):#class类管理代码 def run(self):#线程必须放在run里 xxx def duo_thread(): th1 = codingThread()#target不带括号，带括号为执行函数...
2021-04-15 16:00:54
110
转载 Python爬虫错误重试，超时处理
错误重试用到的方法之一是：@retry()装饰器装饰器实际是一个python函数，它的作用就是为被装饰的函数（或对象）进行装饰、包装，可以让被装饰的函数（或对象）在不需要做任何代码改动的情况下增加一些额外的功能，即被装饰函数（对象）的增强版。安装pipenv install retrying————————————————版权声明：本文为CSDN博主「linzhjbtx」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.c.
2021-04-15 11:50:21
709
原创 Python 打印字典的KEY 和 VALUE
d = {'a': 8, 'b': 2, 'c': 9}# 打印 keyfor i in d: print(i)#打印 valuefor i in d.values(): print(i)# 打印key以及valuefor i in d.items(): print(i)# 打印key，valuefor i,j in d.items(): print(i,j)
2021-04-15 10:15:12
5342
转载 Python 爬虫经常需要睡眠防止被封IP time sleep
Python爬虫经常需要睡眠防止被封IP time sleep###1.概率分布睡眠 使用正态分布模拟范围波动的时间，更真实 正态分布是一种连续型概率分布，在自然界中很常见，如身高、寿命、考试成绩等，属于各种因素相加对结果的影响。import timeimport randomdef random_sleep(mu=1, sigma=0.4): '''正态分布随机睡眠 :param mu: 平均值 :param sigma: 标准差，决定波动范围 '''.
2021-04-15 10:13:22
3323
转载 python从字符串中提取数字
python从字符串中提取数字使用正则表达式，用法如下：## 总结## ^ 匹配字符串的开始。## $ 匹配字符串的结尾。## \b 匹配一个单词的边界。## \d 匹配任意数字。## \D 匹配任意非数字字符。## x? 匹配一个可选的 x 字符 (换言之，它匹配 1 次或者 0 次 x 字符)。## x* 匹配0次或者多次 x 字符。## x+ 匹配1次或者多次 x 字符。## x{n,m} 匹配 x 字符，至少 n 次，至多 m 次。## (a|b|c) 要么匹配 a，要么匹配
2021-04-15 09:57:56
1771
原创 python bs4 基本应用
import requestsfrom bs4 import BeautifulSoup# 创建BeautifulSoup对象# 当数据来源为本地文件时file = open("xxx.html")soup = BeautifulSoup(file, "lxml")# 当数据来源为网络时content = requests.get("url请求").textsoup = BeautifulSoup(content, "lxml")#1 按标签名查找标签soup.a # 获取第一个匹
2021-04-15 09:51:09
137
原创 python 列表相关应用大全
1.列表合并保留最大长度import itertoolsw, x, y, z = [], [1], [2, 3], [4, 5, 6]longest_wxyz = itertools.zip_longest(w, x, y, z)print(list(longest_wxyz))结果:[(None, 1, 2, 4), (None, None, 3, 5), (None, None, None, 6)]2.列表元素替换lst = ['1','2','3']rep = .
2021-04-15 09:23:34
192
转载 python 截取字符串的某一个字符
截取历史前面的字符a='北京历史天气预报 2020年1月份'a1 = a.find('历')print(a[0: a.find('历')])PYTHON按照指定字符或者长度 截取字符串1.截取指定位置字符串 Python字符串可以理解为一个数组，获取某一部分的可以使用 str[beginIndex:endPosition],其中str为需要截取的字符串，beginIndex为需要截取的第一个字符的下标，endPosition为截取字符最后一个的位置，注意是下标和位置（下面..
2021-04-13 22:23:47
6436
原创 python 中json解析及字符字典转换（学习笔记1）
# conding:utf-8import os, requestsimport json, jsonpath, simplejson,astheaders = { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36"}tq_list = os.listdir(r'C.
2021-04-07 21:57:40
171
2
原创 python 字典拆分写入数据库（学习笔记）
#coding:utf-8from bs4 import BeautifulSoupimport requests#import csvimport pymssql#from lxml import etree#import re#import time'''proxy = { 'http':'//192.168.1.102:8888'}'''headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64;.
2021-04-07 21:50:21
330
原创 Python列表中数据插入数据库
import pymysqllist=[20,5,'wanyan']connent = pymysql.connect(host='localhost', user='root', passwd='123', db='user', charset='utf8') #db为所使用的数据库cursor = connent.cursor()sql="insert into test3(age,id,name) values("+str(list[0])+","+str(list[1])+","+"'"+.
2021-04-07 21:30:10
3403
原创 python 连接数据库主要步骤(MSSQL)
db = pymssql.connect(server='127.0.0.1', port=1433, user='sa', password='123', database='stuDB', charset='UTF-8') # 数据读取中文为乱码可尝试用 GBK 来解决cursor = db.cursor() sql = 'insert into city_ty(id,rq,tq,gw,dw,fl) values(%s,%s,%s..
2021-04-07 21:23:30
197
空空如也
celery 中如何做定时任务(语言-python)
2022-01-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人