- 博客(92)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 决策树分类算法伪代码&sklearn实战
一.工作原理构造决策树会遇到的问题:1.在每次划分怎么确定用哪个特征?2.如果划分完所有的特征,还是有不同的类别怎么半?熵,信息增益,不确定性:二.伪代码
2021-05-12 17:49:29
2953
原创 python使用configparser标准库设置配置文件提高代码简洁度
cofigparser库配置文件的格式有很多种，使用如下形式即可，后缀名.ini[DEFAULT]ServerAliveInterval = 45Compression = yesCompressionLevel = 9ForwardX11 = yes[bitbucket.org]User = hg[topsecret.server.com]Port = 50022ForwardX11 = noconfigparser是python内置的标准库，直接导入即可实例化并且读取配
2020-09-01 14:19:09
356
原创 Mysql 删除重复项只保留一条记录高速代码
环境Mysql版本：5.5.57Navicate版本：15表结构需求是将表中有重复的记录删除，然后保留一条。id为主键且自增，因为删除语句的子查询内表相对较大，用 WHERE…IN…语句效率非常低，通过WHERE…EXISTS…语句能极大的提高效率。代码DELETE t1FROM sf_Handle_day AS t1WHERE exists( SELECT p_index, sf_homepage, sf_IP, server_IP, id FROM ( SELECT p_ind
2020-07-24 16:13:13
201
原创 Python 将一个目录下不同文件夹的文件全提取到指定目录
工作中遇到的要整理文件的情况用法代码用法a目录下有文件夹和文件（txt），子目录中还有不同的文件，如word，txtb目录为空，现在想要把a目录下所有的txt都转移到b中下图为执行代码后的b目录结果代码import os.pathimport shutildef each_file(filepath, new_filepath): ''' 读取每个文件夹，将遇到的指定文件统统转移到指定目录中 :param filepath: 想要获取的文件的目录 :
2020-07-21 14:56:24
4846
1
原创 kNN分类算法伪代码&最简python代码
一.工作原理kNN算法是监督学习的一种，首先要有样本集（包含特征与目标变量），然后再输入没有标签只有特征的新数据，其次算出新数据与每个样本集的几何距离（所以kNN算法的特征都要为数据类型），选出前k个最近距离的样本，最后定义新数据的目标变量是前k个样本中出现频率最高的目标变量。二.伪代码计算一直类别数据集中的点与当前点之间的距离；按照距离递增次序排序；选取与当前点距离最小的k个点；确...
2020-05-02 16:19:27
5798
原创 MySQL预处理语句prepare\execute\deallocate
在SQL语句中使用变量MySQL预处理语句例子预处理语句中使用表名作为变量MySQL版本: 5.6IDE: NavicatMySQL预处理语句例子使用预处理语句可以在不使用存储过程或者函数的情况下使用变量PREPARE code_name FROM 'SELECT ?'; #FROM后面跟着字符串或者字符串的变量SET @a=1; #因为code_name中有?所以要设置变量给其使用...
2019-12-27 16:50:28
634
1
原创 python 遍历json文档并显示路径
背景:手头上有份json数据要把它解析成二维表的形式import jsondef dict_generator(indict, pre=None): pre = pre[:] if pre else [] if isinstance(indict, dict): for key, value in indict.items(): if ...
2019-09-09 17:14:29
1372
原创 学了就忘的数学知识
工作过程中遇到的数学知识点,做个记录:泰勒公式:是用函数在某点的信息描述其附近取值的公式. 简单地来说就是把复杂的计算转化为无穷个简单公式的和, 例如计算机只能算加法,那么就无法算出SIN(x), 这时候通过泰勒展开就可以计算了, 不过展开的个数是无穷多个, 所以这里要牺牲精度只取前X个.似然函数:用公理化的证明使总体的参数能够最大程度地匹配观测值. 换句话说样本是已经发生的事情, 所以按常理...
2019-08-09 17:57:31
307
原创 pandas 像SQL一样使用WHERE IN查询条件
pandas 像SQL一样使用WHERE IN查询条件innewDropList = [9,10,11,12,22,50,51,60,61]newDB = newDB[newDB['groupId'].isin(newDropList)] 直接查询表中groupId列,值为newDropList的记录not innewDropList = [9,10,11,12,22,50,51,...
2019-07-11 11:35:26
3812
1
原创 MongoBD 查询快速学习入门
MongoBD 查询快速学习入门简单条件查询多条件查询条件操作符查询排序简单条件查询db.getCollection('ruleParam').find({"param":"最新签约状态"})参数说明db.getCollection('集合名').find({"键":"值"})多条件查询db.getCollection('orderResult').find({"orderId":...
2019-07-09 11:17:36
195
原创 箱线图的思考
箱线图的思考欢迎使用Markdown编辑器背景箱线图的作用分位数(interquartile number)的计算为什么是1.5?插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入...
2019-05-06 10:08:09
4770
3
原创 VBA进阶-数据管理系统思路
本篇文章主要给出一种构思来用Excel和Access设计一个报表生成的的管理系统. 具体的代码就不阐述出来了, 要使用到的代码在之前的一篇博客中都有给出,博客地址为https://blog.csdn.net/xiebin6163/article/details/84451975一. 管理系统界面二.设计思路日期更新按钮: 考虑到很多的报表都要进行每日更新, 而且不同的日期会影响处理的数据...
2019-02-16 19:45:53
946
原创 VBA进阶-使用ADO制作数据管理系统的知识结构
使用ADO制作数据管理系统的知识结构ADO介绍ActiveX Data Objects (ADO) is a high-level, easy-to-use interface toOLE DB. OLE DB is a low-level, high-performance interface to a varietyof data stores. Both ADO and OLE D...
2018-11-25 00:43:00
1049
原创 VBA进阶-在VBA中使用SQL语句筛选日期
#示例代码Sub MultipleSelect_Group1() Dim cnn As New ADODB.Connection Dim rst As ADODB.Recordset Dim mypath As String Dim SQL As String Dim i As Integer 'Dim d As Date '两种方式，一种是设...
2018-09-26 00:12:04
8439
原创 VBA进阶-在VBA中使用SQL语句生成统计报表
替代COUNTIFS&SUMIFS函数示例代码数据源前提条件友情提示示例代码Sub Select_Group1() Dim cnn As New ADODB.Connection '创建Connection对象，该对象代表了Excel与后面指定数据库的连接 Dim rst As ADODB.Recordset '创建Recordset对象，该对象用来保存执行SQL语...
2018-09-25 00:11:26
6590
2
原创 VBA入门之实战
这篇文章是对上一篇的VBA入门的实战总结，有助于之后自己对入门知识的运用。传送连接：VBA入门一、创建工作簿Public Sub WorkBookAdd() Dim Wb As Workbook, sht As Worksheet '定义一个Workbook对象变量和一个Worksheet对象变量 Set Wb = Workbooks.Add '创建一个工作簿并赋值给...
2018-08-16 23:27:09
4700
原创 VBA入门
该教程适用于有一点编程基础或了解面对对象编程（OOP）的同学观看学习的一、简介一种最简单的宏操作就是录制宏，网上教程很多也很详实这里就不累述了。基础概念介绍1.VBA代码：VBA的代码组成了VBA程序。 2.过程：用VBA代码把完成一个任务的所有操作保存起来就是一个VBA过程。 3.模块：是保存过程的地方，一个模块可以有多个过程。 4.对象：就是代码操作和控制的东西。 ...
2018-08-13 23:37:49
4234
原创 用requests，BeautifulSoup模块获取Github的个人信息
import requestsfrom bs4 import BeautifulSoupGtoken = requests.get( url="https://github.com/login")print("打开登陆页面状态",Gtoken.status_code)TokenSoup = BeautifulSoup(Gtoken.text,"html.parser")Tok..
2018-06-25 16:27:29
420
原创 Head First Statistics fifteen 相关与回归
相关系数为0是两变量独立的必要非充分条件。相关系数反映的是两变量间的线性关系，但是变量间除了线性关系还有其它关系，这时候相关系数就不能作为一种度量了。相关：散点图呈直线分布。我们可以观察两个变量是否相关，这两个变量为自变量和因变量。有正相关、负相关、不相关。 误差平方和SSE：SSE越小就表示回归方程拟合的越好，也就是说预测的因变量与实际的观察值y的距离和是最小的。 SSE=∑(y−y^)...
2018-05-12 15:42:58
152
原创 Head First Statistics thirteen 假设性检验
假设检验的步骤确定要检验的假设选择检验的统计量（统计量是统计理论中用来对数据统计、分析的变量）确定做决策的拒绝域计算出统计量的p值（也就是统计量发生的概率值）对比p值是否在拒绝域内做出统计推断 统计量的进一步说明统计量是统计理论中用来对数据进行分析、检验的变量。 把数据中所包含的关于人们所关心的事物的信息集中起来，即针对不同的问题构造出样本的某种函数，这种函数就是统...
2018-05-12 15:19:46
182
原创 Head First Statistics twelve 置信区间
前面已经知道了用点估计量来估计总体的均值、方差或一定比例的精确值 ：是根据样本数据有可能做出的最好的猜测。现介绍另一种估计总体统计量的方法——一种考虑了不确定性的方法。：是根据样本求出总统统计量的一个有高可信度的数值范围。为什么要用置信区间在利用点估计量求出总体的主要统计量时，就算我们取到了无偏估计量，但是我们在取其他样本来做分析时也不会是该估计量，这就会对我们的分析做出错误的引导，而且...
2018-05-11 22:42:45
229
原创 Head First Statistics eleven 样本与总体的估计
最主重要的两个参数一、均值均值的符号：样本均值X¯¯¯¯X¯\overline X、均值点估计量μ^μ^\hat{\mu}、总体均值μμ\mu点估计量：是根据样本数据得到的最佳的总体均值的估计量，一般用到的方法有最小二乘法、似然函数二、方差方差的符号：样本方差s(包含有偏估计与无偏估计）、总体方差总体方差总体方差\sigma$方差的无偏估计公式：\frac{1}{n-1}...
2018-05-11 22:12:12
257
原创 Head First Statistics ten 抽取样本
统计学中相关名词总体：需要对其测量、研究或分析的整个群体普查：对总体进行研究或调查样本：从总体中选取一部分个体样本调查：只对样本进行研究或调查无偏样本：具有与总体相似的特征（统计量）偏倚样本：与总体的特征（统计量）不相似抽样的方法随机抽样：可分为重复抽样与不重复抽样分层抽样：很经常用到整群抽样：把总体分为一个个相似的群系统抽样：排列好后，每K个进行抽样...
2018-05-08 23:16:39
144
原创 Head First Statistics night 正态分布的运算
两个独立的正态分布相加还是正态分布正态分布的运算可分为独立变量的运算和线性变化的运算独立变量意为独立观察结果是数据的数量发生变化，两个正态分布相加的结果就是两个期望相加减与两个方差相加减：X±YX±YX\pm Y ~ N(μx±μy,σ2x±σ2y)N(μx±μy,σx2±σy2)N(\mu _{x}\pm \mu _{y},\sigma ^{2}_{x}\pm \sigma ^{2}_{...
2018-05-07 23:02:11
6196
1
原创 Head First Statistics eight 离散概率分布与连续概率分布
离散概率分布与连续概率分布的区别对离散概率分布来说，我们关心的是取得一个特定数值的概率，而对连续概率分布来说，我们关心的是取得一个特定范围的概率。概率密度函数描述连续随机变量的概率分布。通过它可以求出一个数据范围内的某个连续变量的概率，它向我们指出该概率分布的形状。通过计算一个数值范围内的概率密度函数下方的面积，可得出该数值范围的概率。概率密度函数下方的总面积必须等于1。处理连...
2018-05-02 15:46:31
373
原创 Head First Statistics fourteen 卡方分布
什么是卡方检验？有两种类型的卡方检验。两者都使用了卡方统计量和分布。卡方拟合优度检验：检验一个样本数据是否匹配某一种分布。卡方独立性检验：对比两个组变量是否相关。通常它用来检验分类变量之间的分布的差异程度。当卡方统计量比较小时，意味着你的观察数据符合你期望的数据。换句话说，它们是相关的；当卡方统计量较大时，以为着数据不能很好地匹配。换句话说，它们无关。自由度就是我们计算过的期望频...
2018-05-01 16:58:05
989
原创 Head First Statistics seven 经典分布
了解经典分布的意义一些特殊的概率分布有着十分固定的模式。通过判断模式，我们就能很快地计算出概率、期望、方差。伯努利实验在同样的条件下重复地、相互独立地进行的一种随机试验，其特点是该随机试验只有两种可能结果：发生或者不发生。 在概率学与统计学中，一个伯努利过程就是有限或无限的一连串二进制随机变量，也就是说实验的结果只有两种情况，0或1.每个伯努利变量都有相同分布和独立性。例如，经典...
2018-05-01 15:11:16
267
原创 Head First Statistics six 排列与组合
排列组合的中心问题是研究给定要求的排列和组合可能出现的情况总数。 排列组合与古典概率论关系密切。排列：In mathematics, the notion of permutation relates to the act of arranging all the members of a set into some sequence or order, or if the set is al...
2018-04-29 17:37:48
182
原创 Head First Statistics five 离散概率
概率分布统计信息的意义统计分析的主要目的是思考数据生成过程，然后对数据进行预测、聚类、估计等。然而在对一个事物进行分析并加以应用时，我们首先要做的是对该事物的客观属性（性质）进行观测、研究。所以我们可以认为概率与统计的基础。所以我们也可以 利用数据的概率信息通过统计推断来预测长期结果，以及如何度量这些预测结果的确定性。概率分布介绍随机变量”是实验中出现的结果，将每一个可能出现的...
2018-04-29 17:28:50
174
原创 Head First Statistics four 条件概率
条件概率简介与公式与其他事件的发生情况有关的某个事件的概率。P(A|B):意味在事件B发生的情况下事件A发生的概率。 P(A|B)=P(A∩B)P(B)P(A|B)=P(A∩B)P(B)P(A|B)=\frac{P(A\cap B)}{P(B)} 从条件概率的延伸思考一切概率，都是条件概率。 如果说a代表全局空间，x|a就是x在a中的“比例”。P(x)=n(x)n(a)n(x)...
2018-04-29 16:40:11
154
原创 Head First Statistics three 分散性与变异性
分散性在描述一组数据时我们需要通过数据的中心位置与分散性来对该组数据的分布情况有个大体的了解，这样才便于我们后续的统计分析。中心位置就是平均数，而分散性的定义就是了解数据是在什么范围？那块区域的数据比较多？那块区域的数据比较少？大部分数据是在平均数的哪一侧，还是说两侧的数量都差不多？一般来说我们都是用分散性是用来描述数据分布分散或集中程度的。如下图所示，我们可以看出红色数据相对于蓝色数据更集中...
2018-04-29 16:08:16
699
原创 Head First Statistics two 统计学中平均数的意义
维基简介在统计学中平均数是一组数据的中间值或典型值 。不同的平均数概念被用在不同的地方。通常我们所说的平均数是算术平均数，就是对数据求和后再除以数据的个数。在统计学中，均值，中间值和众数都用作对数据集中趋势（central tendency）的测量。所以它们三个也可以被称为平均数。 In colloquial language, an average is a middle or ty...
2018-04-29 14:45:26
852
原创 Head First Statistics one 做图规则
饼图用于表现各个组（分类）的频数比例，就是要求数据要有特定的组，或者特定的分类。需注意在比例相接近时就不太好用。条形图条形图可分为有垂直条形图与水平条形图，一般情况下用垂直条形图，在坐标轴名较长时用水平条形图比较好。条形图相较于饼图的优点为在比例相接近时也比较好用。普通条形图需注意只能用于一维的变量。特殊条形图在处理多维数据时，可以用堆积条形图或分段条形图。...
2018-04-26 19:58:07
206
原创 JavaScript--XMLHttpRequest通过json对象获取数据方法
通过json对象获取数据json在wiki中的解释如下： In computing, JavaScript Object Notation or JSON is an open-standard file format that uses human-readable text to transmit data objects consisting of attribute–value...
2018-02-10 12:57:10
8761
原创 JavaScript--XMLHttpRequest获取数据方法
XMLHttpRequestWiki上对于XHR的介绍如下： XMLHttpRequest (XHR) is an API in the form of an object whose methods transfer data between a web browser and a web server. 它是一个API对象，它的属性可以用来在浏览器与服务器之间传输数据。J...
2018-02-10 11:38:07
6537
原创 HTML与CSS实战
看完了《Head first HTML and CSS》总觉的要做点东西才算学完，就看了十八哥的实战视频简单地模仿了一个网站。做个总结。实战结果HTML代码html lang="zh-CN">head> meta charset="UTF-8"> title>谢斌实战title> link rel="stylesheet" type="text/
2018-01-14 15:38:24
6640
1
VBA入门实战所需的模板excel
2018-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人