weixin_46400833的博客

原创 05-21 Linux-vim 要点 总结

1、计算机简单基础知识：一、计算器由硬件和软件组成①硬件五大部分：运算器，控制器，存储器，输入设备和输出设备软件：系统软件（操作系统、编译程序）和应用软件②操作系统作用：如则管理和操作硬件，并提供简单的简单的人机交互的接口常见的操作系统有：windows、Unix和Linux操作系统又分个人操作系统和服务器操作系统③个人操作系统常用：windows/ Mac os服务器操作系统使用如下：商用unix 很昂贵，但是效能最好linux 便宜，性能次之，用好了可媲美unixwindows

原创 筛选某列中包含特定值得列

语法： 1. nan 是not anumber 缩写，数据类型为 float需求： 需删除包含网红订单 -字样的列data=data_initial[~data_initial["订单标签"].isin(list_all)] 这种仅适用于 整个值 都是网红订单 的行，上图中含又多个标签的就不适用先将整列转换为 list，剔除其中的空值list=data_initial["订单标签"].values.tolist()new_list=[]print(list)for...

原创 pandas筛选含有特定值的行

1背景：需要将含有 网红订单这四个字的行删除经验：将需要处理且bug的位置输出观察，再调试修改

原创 TCP建立连接和断开连接的过程

一. TCP建立连接- 三次握手1. 客户端向服务器端发送syn包，进入syn_send状态，等待服务器的回复2. 服务器端收到客户端发送的syn包，发送syn_ack包给客户端，进入syn_recv状态3. 客户端收到服务端发送的syn_ack包后，发送个ack包到服务端。至此，客户端和服务端建立连接，进入established状态二、TCP断开连接-四次挥手1.主动关闭方发送fin包到被动关闭方，告诉被动关闭方我不会再给你发数据了；2.被动关闭方收到syn包，发送ack给对方

原创 SQL较难

SELECT c.month1 as 月份 ,c.date1 as 日期 ,c.num1 as 累计投诉额 -- ,IFNULL(d.num2,0) as 交易额 ,SUM(d.num2)over(partition by c.month1 ORDER BY c.date1) as 累计交易额 ,c.num1/SUM(d.num2)over(partition by c.month1 ORDER BY c.date1) as 投诉率 ,row_number()over(partitio.

原创 6-7 pandas读取Excel细节

注： excel中有三个sheet1、sheet_name= None ,不指定具体sheet名，一次读取所有sheet，sheet名和内容以键值对形式存于字典data=pd.read_excel(r"E:/多行合并为一行/大站aheray.com客服&运营数据对接总表.xlsx",sheet_name=None)2. 指定具体的sheet名，只读取该表的内容data2=pd.read_excel(r"E:/多行合并为一行/大站aheray.com客服&运营数据对接总表.xls

原创 05 -24 遇到知识点

dict.keys() 和 dict.values() 结果去掉 两种前缀的方法 直接加list 列表转化 list(dict.keys()) list(dict.values())数组array转化为列表array.tolist()列表转数组x= np.array(list)当一个列表汇总 各个位置存在多个空元素的时候 ，列表推导式 快速去除list = [ x for x in list if x != ' ']...

原创 5-22word2vec词向量-＞句向量时的BUG

1、bug内容：UFuncTypeError: ufunc 'add' did not contain a loop with signature matching types (dtype('<U15'), dtype('<U15')) -> dtype('<U15')2、错无回顾看到报错后没有仔细研究报错内容， 没有确定错在哪里，导致浪费时间；错误内容看到就很容易确认是 数据类型问题，没有仔细看引用内容4 仔细看X，其内元素都是str，后续要用数据相加，肯

原创 5-22 with open和open读取文章

文章原文如下，共有三行第一种读取 read()一次读取返回全部++++++++第二种读取 readline()每次只读取一行4.第三种读取 readlines()一次将全部内容读到一个列表中

原创 5-21 利用word2vec和kmeans对词语进行聚类处理

1、 词语截图如下二. 需注意的是：word2vec 向量化的内容，可以将单个词的文见内容传入，也可以存在短句，但是向量化过程中都会将其拆分为单个单词并且向量话下图为：存在短句，但是没有去stopwords下图为分词且去除stopwords一般而言 ，去除停止词后效果更佳3 代码如下：注：本文参考 --原文链接：https://blog.csdn.net/weixin_45314989/article/details/104390725真心感谢 （：）1. 导入所需模块i

原创 5-21 python将列表元素写入文件

1、直接将元素写入,但是写入后所有单词紧密连接，无空格分隔s=["A","B","C","D"] f=open("xxx.txt","w") f.writelines(s)2、转为字符串写入文件，文件中每个次单独分开，但是每个词都是字符串s=["A","B","C","D",1,2,3] f=open("xxx.txt","w") f.write(str(s))f.close()3、依次循环遍历写入，各词单独成一行s=["A","B","C","D"] f=open("

原创 5-20 word2vec的参数含义

原创 4-29 pandas拆分一个Excel为多个excel

1、重点： iloc函数的切片iloc解释为：df.iloc[a:b ]a-表示行索引，b表示列索引iloc[,0] -表示行不限，列取第一列data.iloc[begin:end]在split=6的情况下，data.iloc[begin:end] 等价于data.iloc[0:6]，即不限定列，行数为第一行至第七行 2、实例：import pandas as pdpath="C:/Users/Administrator/Desktop/客户投诉工单/投诉SPU数量.xlsx"

原创 4-24 SQL之bug

1、 报错ValueError: unsupported format character 'Y' (0x59) at index 391度娘后得知： python执行的sql中存在类似DATE_FORMAT(CREATE_TIME, ‘%Y-%m-%d’) 的写法,其中%Y与p ython的参数%s冲突”、解决方法：将DATE_FORMAT(CREATE_TIME, ‘%Y-%m-%d’) 修改为DATE_FORMAT(CREATE_TIME, ‘%%Y-%%m-%%d’) ..

原创 04-09 线性回归预测

1、训练数据模型的数据 x，y需转换成二维2、训练的数据类型需str或number3、相关系数的计算

原创 04-09 Excel 高级函数

利用一个值从某一个字段中筛选与指定值对应的关联字段值1、 vlookup（筛选值，筛选区域，筛选列数，模糊/近似查询）2、 条件筛选求和：求某个字段中所有含有该值对应的相关的值得和sumif（匹配值得字段/区域，匹配的指定值，求和目标值字段/区域）3、计算指定值在指定区域汇总的个数 countif （区域，值）4、累计求和 1+2+3…sum( 绝对引用起始单元格:起始单元格)如： sum（A$2:A2）...

原创 SQL查询某一天的数据where条件的不同表达

1、SELECT * FROM cms_book_statistics WHERE substring(Convert(char(10),update_time ,112),1,8)='2021-04-02' 2、 SELECT * FROM cms_book_statistics WHERE update_time between '2021-04-02 00:00:00' and '2021-04-02 23:59:59' 3、 SELECT * FROM cms_book_.

原创 03-30 SQL-知识点补充记录

一 、union将两个SQL语句的查询 结果 链接并联，UNION 操作符用于合并两个或多个 SELECT 语句的结果集。注意UNION 内部的每个 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每个 SELECT 语句中的列的顺序必须相同。SQL UNION 语法SELECT column_name(s) FROM table1UNIONSELECT column_name(s) FROM table2;注释：UNION 操作符选取不同的值，自带去重

原创 pandas指定字段值筛选

一 单独的筛选某个字段 data.loc[data["xxx"]==("xxx")]二、统一个字段中选取多个值如下： 错误了好久，因为选取多个是 或 的关系，不是并且

原创 03-27 pandas删除bug --未解决

1、为什么drop删除不了？ del 可以data = data.drop([‘产品中文名’,‘SPU’], inplace=True)2、 TypeError: not all arguments converted during string formatting占位符和实际传参数不匹配3、pandas重命名列名1、df.rename(columns={‘two’:‘twotwo’},inplace=True)2、df.columns=[‘onon’,‘twtw’,‘thth’]4

原创 03 -26 python BUG之SQL脏数据

1、 takes 0 positional arguments but 1 was given（我遇到的场景下）汉语意思就是： 函数定义中没有参数，调用时传参数2、1142 - SELECT command denied to user 'liwenxiang'@'10.1.0.21' for table 'paypal_transaction'表没有 select权限3、为什么查询会多出来重复行而且还有看似的空格的空格？尝试修改1. distinct去重，group by去重，都不行

原创 03-23 pandas的无索引筛选（value.tolist()）

原创 03-23 pandas相关总结

一、格式设置 #设置列名与数据对齐 pd.set_option('display.unicode.ambiguous_as_wide', True) pd.set_option('display.unicode.east_asian_width', True) #显示所有列 pd.set_option('display.max_columns', None) #显示10行 pd.set_option('display.max_rows', 10) #设置显示宽度为1000,这样就

原创 03-19 pymysql.err.OperationalError: (2013, ‘Lost connection to MySQL server during query‘)

1、问题 bug： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query')SQL dialect is not configured.未配置SQL方言；The above exception was the direct cause of the following exception:上面的异常是以下异常的直接原因：参考文章： https://blog.csdn.net/am

原创 03-19 pycharm之SQL bug

pycharm中进行数据库查询时，SQL语句报错 SQL Dialect is Not Configured查询别人博客所得：没有配置数据改正方法：在File---->Setting—>Languages & Frameworks—>SQL Dialects中，选择对应的数据库，如MySQL，最后保存就ok...

原创 03-19 sqlalchemy模块的用法（大批量导入数据）

官网详情： https://docs.sqlalchemy.org/en/14/core/engines.html?highlight=create_engine#database-urls1、概念：SQLAlchemy是python的一个数据库ORM工具，提供了强大的对象模型间的转换，可以满足绝大多数数据库操作的需求，并且支持多种数据库引擎（sqlite，mysql，postgres, mongodb等）2、用法：from sqlalchemy import create_engine

原创 02-18 python bug（因python版本迭代出现的问题）

1、 sqlalchemy.exc.NoSuchModuleError: Can't load plugin: sqlalchemy.dialects:mysql解决： pip install SQLAlchemy==1.2.132、 AttributeError: module 'time' has no attribute 'clock'在pycharm中加Python3.8环境，调用time.clock出异常：AttributeError module ‘time’ has no att

原创 03-17 mysql 安装记录+mysqldb模块pip安装记录

一、今天下载mysql安装包mysql-8.0.23-winx64-debug-test.zip后，解压、设置环境变量多次，可结果就是在dos环境下 mysqld不是命令或程序，以为环境变量设置有误，搞得我脑袋大，最后下载了安装包mysql-8.0.23-winx64.zip之后就很快顺利完成，不晓得这俩安装之间有什么区别。。。二、今天一个python脚本运行需要安装mysqldb，因为之前已经写好的脚本，直接用的（但是我的python是新版3.9），结果安装了多次，还查了各种博客，

原创 03-17 navicat链接数据库要点

1.SSH-链接远程服务器2.常规链接是链接服务器中的数据库3.连接数据库成功后需关闭clients，再次启动才会成功进入数据库。

原创 03-13 算法题---简单错误记录

1、题：开发一个简单错误记录功能小模块，能够记录出错的代码所在的文件名称和行号。处理：1、 记录最多8条错误记录，循环记录（或者说最后只输出最后出现的八条错误记录），对相同的错误记录（净文件名称和行号完全匹配）只记录一条，错误计数增加；2、 超过16个字符的文件名称，只记录文件的最后有效16个字符；3、 输入的文件可能带路径，记录文件名称不能带路径。解及注释：# error_dict = { ((filename, line): [number, temp]) }error_dict

原创 03-12 sorted()、复杂字典{}和 lambda 连用，if not的使用

1、wrong_dict={(filename.line):[number,rank]}list = sorted(wrong_dict.items(), key = lambda x: (-x[1][0], x[1][1]))[: 8] wrong_dict.items() --排序的对象 key=lambda 元素: 元素[字段索引] 排序的标准字段(-x[1][0], x[1][1]) 先以第一个元素排序，第一个相同时，再以第二个排序2、 python中

原创 03-12 01背包问题（动态规划）+字典的构造及元素增加

1、字典data={}data[1]=[2,3]data[1].append([3,4])data[2]=[[6,7]]data[2].append([2,3,4])print(data)返回：{1: [2, 3, [3, 4]], 2: [[6, 7], [2, 3, 4]]}2、题： 有五件商品重分别为：2,3,4,5,9； 每件的价值为3,4,5,8,10，现有能装20的包，问如何装商品使得保重商品价值最大？（第i件商品重量W[i],价值V[i]）解：① 构建价值动态数

原创 03-11 字符串和列表的对比

列表和字符串添加元素list.append(obj)+元素位置(下标) list.index(obj)string.find(obj) list1 = ['a', 'b', 'c', 'd', 'e', 'f', 'a', 'a', 's']string1 = 'abcdefaas' 元素a出现的次数 list1.count('a')string1.count('a',0,len(s)) 切片 list1[::2] 输出：['a', 'c', 'e',

原创 03-11 浮点数的存储+ round()

1、round(number,num_digits) Number 需要进行四舍五入的数字 Num_digits 指定的位数，按此位数进行四舍五入2、python存储浮点数时会异常（如 4.5 存为4.4999999）3、写程序取近似值a=float(input()+0.001)print(round(a))例如：a=input() #输入 8.5print(round(float(a)))print(round(float(a)+0.001))输入 8.5输出：89

原创 03-11 字符串匹配+质数因子

一、字符串匹配问题def string_match(string,sub_str): a=len(string) b=len(sub_str) for i in range(a+1): index=i #i表示主串中的起始下标，以及第几次匹配 for j in range(b): #j遍历的是子串的每一个元素 if string[index]==sub_str[j]:

原创 03-11 字典的多种构造方法

b = {'name':'Li', 'sex':'girl'}c = dict(zip(['name','sex'], ['Li','girl']))d = dict([('name','Li'), ('sex','girl')])e = dict({'name':'Li', 'sex':'girl'})a = dict(name='Li', sex='girl')print(a,'\n',b,'\n',c,'\n',d,'\n',e)返回值：{‘name’: ‘Li’, ‘sex.

原创 03- 10 面试题总结

面试总结：1.Python装饰器def func(func): a==100 print('wrapper加载前') def wrapper()： func() print(2323） print('wrapper加载后') return wrapper@funcdef house()2.Linux常用命令yum/opt 包管理工具cat 文件名|more 查看文件内容mkdir xxx 创建文件夹 + -p 表示3.Linux下主要目录有哪些

原创 03-10 python读取txt文本内容并统计没法词汇出现的频率

1、读取，统计，写入保存import jsondef read_txt(): data={} k=1 with open('./data.txt','r',encoding='utf-8') as fp: for line in fp.readlines(): line=line.split() for i in line: if i not in data:

原创 03-09 罗马数字转 整数

class Solution: def romanToInt(self,s): m=0 list=[] num=0 for i in s: if i=='I': list.append(1) if i=='V': list.append(5) if i=='X': li

原创 03-09 贪心算法-5

# 1、从输入的字符串中删除k个数字，是剩余数字组成的数最大/最小def delnum(s,k): if len(s)<k: return None s=list(s) flag=0 while k!=0: if flag==0: for i in range(len(s)-1): #剩余数最大/最小的话反之#删除规则有二：①删除第一个比右边大的数（最小的 删第一个比左边大的数