- 博客(38)
- 收藏
- 关注
RSS订阅原创 mysql 笔记
use job;alter table company_data change companyLabelList companyLabelList varchar(255),change companyShortName companyShortName varchar(255),change companySize companySize varchar(255),change ...
2018-09-25 01:04:15
420
原创 mmmy
show processlist; show status; alter table star.user_info change iidenx idenx int primary key; alter table star.order_info change iidenx idenx2 int primary key; desc star.order_info; -- 求分组条件...
2018-09-25 01:03:24
1038
原创 MYSQL 笔记【回购数】
1、group by语句select userid,date_format(paytime,'%Y-%m-%d')from dash.order_infowhere userid is not nullgroup byuserid,date_format(paytime,'%Y-%m-%d'); group by A ,B; a、select查询后面确定的...
2018-09-23 23:14:15
832
原创 python的元类与类继承的区别
类的继承，主要涉及 类之间关系。元类metaclass，某种意思上可以理解为类的父类；类是元类的实例。第一：type函数创建类在python中，类也是对象。既然是类是对象，必然有个存在生成它。那么什么东西创建了类？答案是type。怎么去理解？eg：str，这个可以创建字符串，类比下type可以创建类。type函数可以查看某个对象，属于哪个类。type(str)...
2018-09-04 17:40:48
4156
原创 python的类的继承
-----------------------------------------------------------------------------------------------------------------------------------------------面向对象编程 (OOP) 语言的一个主要功能就是“继承”。派生类/子类 ----------->基...
2018-09-04 15:04:17
421
原创 【数据可视化】matplotlib、seaborn、pycharts
数据分析第一件事就是数据审查。内容包括，特征变量的含义、类型、分布、缺失值、异常值等，方便下一步的数据预处理和特征的构造。数据可视化在这个阶段，很方便展示。第一：数据的特征选取的数据是，电商相关数据。第二：查看类型、统计变量raw_data.describe()raw_data.dtypesraw_data.columnsraw_data.sample(10)...
2018-09-02 15:38:22
2570
原创 【warning】本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动
背景：写入数据库，报错 LookupError: unknown encoding: utf8mb4第一：修改my.ini，新加语句 default-character-set=utf8 第二：这个作死操作后 就开始报错：本地计算机上的MySQL服务启动后停止。某些服务在未由其他服务或程序使用时将自动第三...
2018-08-25 23:54:17
511
原创 【warning】 pandas 写入MySQL错误
背景：pandas 利用sqlalchemy 存入数据到mysql 数据，有中文字符；//////////////////////////////////////////////////////针对linux////////////////////////////////////////////////////第一：错误码(pymysql.err.Interna...
2018-08-25 23:26:45
1946
转载 【Warning】pandas sqlalchemy报错
第一：报错内容报错代码：sqlalchemy Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA第二：怎么出现？在保存dataframe格式至mysql时，出现报错。但是，数据仍旧写入mysql，并没有出现什么乱码。第三：怎么处理？百度了，说时字符串格式不对导致的，然而，设置了字符...
2018-08-20 15:24:44
1558
原创 【数据库】利用python的pandas库读取csv文件保存至mysql
第一：pandas.read_csv读取本地csv文件为数据框形式data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')第二：如果存在日期格式数据，利用pandas.to_datatime()改变类型data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])注意：...
2018-08-19 16:44:19
3928
原创 训练模型的持久化保存
第一：算法对象复杂的模型训练训练耗时太长，避免重复劳动，有必要保存下来第二：pickle这个包主要的功能：序列化对象为字符串，反序列化第三：dump方法和load方法import pickle#保存至本地pickle.dump(model_kmeans,file=open('G:\data_operation\python_book\chapter4\model_clus...
2018-08-07 22:47:12
989
原创 【线性回归】线性代数角度解释最小二乘法
第一：背景 问题：广告和销量之间的关系？ 数据集：特征包含三块：电视广告xt，网络广告xm，楼宇广告xf，因变量销量记作y。 数据集样本数为m。第二：拟合线性回归模型 y’ = β0 + β1 * xt + β2 * xm + β3 * xf 写成矩阵形式：Xβ=y‘ ...
2018-08-05 18:21:31
4416
原创 【模拟登陆】github模拟登陆，打印信息流
目的：动态获取cookie第一：分析登陆过程1、打开开发者工具，查看各自请求2、可以看到name为session的请求【方式post，传入的data】3、查看name为login的请求，源码中获得token，作为上一个请求中的data的一部分 第二：登陆以后，解析页面信息流数据 查看信息流请求的url，自行构建对应的url，解析 1、这里有个技巧 /d...
2018-07-31 17:43:31
478
原创 【爬虫】利用selenium爬取淘宝并保存到mongodb数据库
背景：淘宝的Ajax加密处理，不方便直接解析Ajax请求数据，所以利用selenium库实现模拟爬取架构：第一：主要的思路第二：定义mongodb是类，实现数据存储主要注意的是，mongodb用户名和密码的问题。第三：爬取产品搜索结果页面第四：解析具体的product第五：源码import pymongofrom selenium.webdr...
2018-07-31 15:48:21
1640
原创 【数据库】mongodb 安装/账号管理/python连接
第一：安装1、新建文件夹 data文件夹下新建db文件夹 log文件夹下新建mongodb.log【非强求】 bin同级目录新建mongodb.config文件2、运行mongodb服务mongod.exe dbpath H:/mongo/data/db3、配置成系统服务【A 直接运行命令】 管理员权限运行cmdmon...
2018-07-31 14:54:05
400
原创 【爬虫】python爬取微信公众号文章
背景：利用代理池爬取微信公众号文章并保存架构：巨坑：实例的名不可于类的名重复。第一：请求及请求队列1、为什么要创建weixinrequest()？ 因为Sogou微信搜索反爬虫能力强，response.status_code容易出现302，也就是需要输入验证码。当然解决这个问题有两个途径，一个是调用验证码自动识别，另一个是将该302连接重新放回请求队列，更好代...
2018-07-21 15:27:07
5161
1
原创 【正则表达式】python 中的re模块及正斜杠/ 反斜杠
第一：转义字符：改变原有字符的意义，一般都以反斜杠\作为起始。\n 意思是换行，不再表示字母n。 第二：python中，反斜杠\本身就是个转义字符。1、\\，第一个反斜杠表示转义，意思是第二反斜杠不再视为一个转义字符。print('\\')打印输出单独一个\。2、加一个r【r是原始字符的简写：raw string】，就表示废掉python中\的转义能力。...
2018-07-19 23:32:20
11538
原创 日常笔记【不定时更新】
1、python if else 简写data = [] if data is None else data如果data为None，那么就设置为空列表，否则就是data。 2、继承父类super class weixinrequest(Request): def __init__(self,url,method,headers,need_proxy=False,fa...
2018-07-19 22:55:52
364
原创 【学习笔记】python爬虫---代理池
背景：崔庆才的爬虫学习笔记整体架构： 获取模块【各大网址爬取代理】----->存储模块【redis有序集合存储】<==========>检测模块 || ...
2018-07-19 22:48:04
5812
5
原创 【统计学习3】线性回归：R方（R-squared）及调整R方（Adjusted R-Square）
第一：R方（R-squared）定义：衡量模型拟合度的一个量,是一个比例形式，被解释方差/总方差。公式：R-squared = SSR/TSS =1 - RSS/TSS其中：TSS是执行回归分析前，响应变量固有的方差。 RSS残差平方和就是，回归模型不能解释的方差。 SSR回归模型可以解释的方差。综上，R-...
2018-07-12 16:54:27
173599
4
原创 【统计学习2】线性回归：RSS，TSS，T检测，F检测，假设检验
第一：假设检验以抛硬币来说H0 假设【假设】：硬币是公平【出现正反概率各为1/2】Ha 假设【检验】：硬币是有问题整个假设检验过程，是在H0假设条件下，进行试验，如果推导出自相矛盾的结论，那么就拒绝H0假设。【所谓的自相矛盾，试验结果，在H0假设条件下，出现的概率极小。】p值：在假设原假设（H0）正确时，出现现状或更差的情况的概率。1.1 H0假设下，我们知道抛硬币，出现正面的次数，符合二项式分...
2018-07-11 00:47:06
36654
1
原创 【统计学习1】方差、协方差、相关系数与向量内积
第一：方差定义：随机变量或者一组数据离散情况的度量。为啥分母 n-1？a、目的：方差的估计是无偏的。b、原因：实际工作中，总体均数难以得到时，只能应用样本统计量代替总体参数。c、解释：分子上求期望【理解为求样本均值】已经用掉所有的自由度n； 事实上，如果分母n，因为第n个数，已经由n-1个数，和期望决定了，所有其没有信息量，所有要n-1。 简...
2018-07-09 17:35:03
6616
原创 【学习笔记】腾讯云安装配置redis，并redis desktop manager 远程连接
服务器：Centos 7.2 64位本地电脑：windows 10 64位登陆方式：mobaxterm第一：redis 数据库的介绍定义：redis 主要基于内存存储和运行的，能够快速响应键值数据库产品。应用场景：少量数据存储，高速读写访问。TRDS、Mongodb、Redis比较比较项TRDB【关系型数据库】Mongodbredis读写速度1一般较快最快读写速度2基于硬盘读写，强约束基于硬盘读...
2018-07-04 19:04:11
1601
原创 MySQL学习笔记之四：多表查询
第一：连接【join】定义：将两张以上的表中的数据整合在一起的机制，称为连接。1、 笛卡儿积定义：两张表以上所有的置换。原因是没有指定连接。两张表如下：employee表，department表，employee.dept_id是department表的外键。查询雇员的全名和其所在的部门名，涉及到两张表。查询语句:select e.fname,e.lname,d.name from `employ...
2018-07-01 13:58:41
349
原创 【学习笔记】本地数据导入腾讯云mysql
第一：使用MySql_Front应用程序1、创建连接2、在服务器mysql新建一个数据库bank13、在bank1数据库下，执行导入操作4、不出意外，即可将本地sql导入服务器第二：使用MobaXterm上传本地sql脚本，云端执行脚本1、配置MobaXterm登陆使用SSH密钥登陆，简单设置即可登陆。2、在sftp面板下可以，上传/下载文件3、上传本地脚本至对应的文件夹，然后在MySQL中执行以...
2018-06-27 21:50:29
2441
原创 【学习笔记】腾讯云服务器配置及连接mysql
服务器：Centos 7.2 64位本地电脑：windows 10 64位登陆方式：使用webshell方式第一：服务器安装mysql 1、直接安装提示 yum install mysql-server，centos 提示无mysql的源。需要下载mysql 的repo源 wget https://repo.mysql.com/mysql57-community-r...
2018-06-24 20:52:21
4177
1
原创 【数据库】MySQL学习笔记之三：过滤
where语句第一：条件评估1、多个过滤条件，使用圆括号select * from `employee`where end_date is null and(title='Teller' or start_date <'2007-1-1');where 语句中第一个条件为True，圆括号中两个条件满足一个，就可以被选中。2、not操作符设计到关系运算，与或非的否定语句select * f...
2018-06-23 22:26:05
235
原创 【数据库】MySQL 学习笔记之二：查询语句
第一：select 语句包含的对象select 表中存在的列、内置函数【upper（），round（）等】、逻辑运算【+-*/等】、新加列【‘’单引号内引用名】 from 表名；select emp_id ,'ACTIVE',emp_id * 3.14,upper(lname) from `employee`;注意：from 表名；语句可以省略，例如：执行一个内建函数，或者简单表达事selec...
2018-06-21 22:45:58
223
原创 【数据库】mysql学习笔记之一：表的创建和操作
MySQL基础操作。终端命令行，输入mysql，进去交互环境。1、查看当前所有数据库。 show databases;2、选定数据库，eg：选中python_data1use python_data1;3、显示该数据库下的所有表show tables；4、显示当前时间select now();5、查看表前10行 select * from `order` limit 10; 6、查看列数selec...
2018-06-19 21:45:34
430
原创 【学习笔记】mysql基础操作
MySQL基础操作。终端命令行，输入mysql -u 用户名 -p进去交互环境。1、查看当前所有数据库。 show databases;2、选定数据库，eg：选中python_data1use python_data1;3、显示该数据库下的所有表show tables；4、显示当前时间select now();5、查看表前10行 sele...
2018-06-17 13:47:48
199
原创 【学习笔记】MYSQL 用户设置
平台：windows 10 mysql：5.7.22第一：不需要密码直接进入mysql。安装mysql，windows 默认不设置密码，以ODBC@默认用户名，直接登陆。通过命名SELECT USER()；看已看到用户名：ODBC@ 。但是SELECT user FROM mysql.user;可以看到只有这三个用户：==========================...
2018-06-16 16:10:58
265
原创 【学习笔记】git之四：标签管理
标签是版本库的一个快照，方便以后查找，其实标签类似于提交commit，只不过更方便。1、执行语句git tag v1.0默认打的标签是打在最新提交的commit id 上，如果要打之前已经commit 上怎么操作。2、第一查看log找到对应的commit idgit log --pretty=oneline --abbrev-commit 打对应commit id git tag v0.8 f...
2018-06-09 15:36:08
223
原创 【学习笔记】git 之三：分支管理
第一：主分支master 本地版本库中，每一次add，commit等操作，git会自动把这些操作串成一条时间线，这条时间线这也称之为分支，默认情况，为主分支master。 每次提交commit，实质提交至当前工作的分支，HEAD相当于状态标记，指向当前工作的分支。git branch 查看所有分支，加*号的为当前的工作的分支。 *mater ...
2018-06-09 15:03:46
310
原创 【学习笔记】git 之二：关联远程仓库
第一：创建SSH key 目的：github.com需要识别推送的人是本人，需要在其账户添加密钥key a、创建ssh keygit -keygen -t rsa -C "[email protected]" 本地生成名为.ssh的文件夹，其中有两个文件：id_rsa, id_rsa.pub。 其中：id_rsa.pub是公钥，我们添加到...
2018-06-07 21:36:47
187
原创 【学习笔记】git之一：安装及本地库操作
文章基于window 10平台，主要是谬雪峰git学习笔记，梳理一下。第一：安装git首先，官网下载安装文件，初始化设置 默认已经注册了GitHub的账户，注册邮箱是[email protected]，昵称是star。 git config --global user.name "star"git config --global user.email "star@1...
2018-06-04 22:59:51
201
原创 【学习笔记】python 元类
穿越到无限流中的女娲世界。此世界存在两种关系，一种继承关系，子类继承父类，另一种类型实例关系，表现为某个类型的实例化。第一：继承关系。继承关系只发生在类型之间，而非实例。女娲（object）------->人类（human)女娲是创世神，是女娲世界一切的源头。其也创造了人类，而人类继承了女娲的样子，在这里，我们只强调继承关系class human(object)...
2018-06-03 15:10:52
538
1
原创 【学习笔记】python 日志logging（二）
第一：脚本--函数配置简单的脚本，可以直接采用函数配置import logginglogging.basicConfig(level=logging.INFO,filename='G:/web/test.log',format="%(levelname)s:%(message)s",filemode='w')logger = logging.getLogger('weather')strea...
2018-05-30 23:13:30
346
原创 【学习笔记】python 日志logging（一）
第一：为什么使用logging模块灵活性好，方便配置输出或保存不同级别日志第二：logging模块结构logging 在源码中有三个文件,结构如下:├── config.py├── handlers.py└── __init__.py_int.py中实现了基础功能,主要的逻辑就在这个文件中handlers.py 是一些Handlers用起来很方便的.config.py 是对配置做处理的方法.第...
2018-05-30 21:28:08
2100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人