- 博客(94)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 SQL项目实战练习：淘宝用户行为数据分析实战
1、数据的简介：天池淘宝用户数据2、数据导入和清洗这次使用的SQL界面工具-SQL workbench2.1 导入数据create table userbehavior(userID int,itemID int,categoryID int,bahaviortype text,timestamp int);load data infile "C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/UserBehavior.csv"into t
2021-05-16 13:26:07
5348
5
原创 SQl的列操作（增加、修改、删除）
1、增加列：alter table tablename add columnName varchar(30)举例：2、修改列类型：第一种方法：alter table tablename alter column columnName varchar(4000)直接在后面的类型部分修改字段类型第二种方法：alter table cfg_fee_rate modify address varchar(16);3、修改列名称alter table tablename change old_nam
2021-05-15 21:27:49
6097
2
原创 Python数据清洗工具之Numpy
1. Numpy(Numberical Python)Anaconda中已经集成了NumPy，可以直接使用。如果想要自行安装的话，可以使用流行的Python包安装程序 pip 来安装 NumPy，目前使用的是Anaconde的环境进行学习和使用这个库1.1 这库的安装方法CMD ：pip install numpy或者使用清华源的镜像库：pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple（直接复制可用）如果想查看这个库的.
2021-04-21 20:35:21
1701
2
原创 《数据结构和算法》— 哈希表
1.哈希表：也叫散列表，每一个元素都有对应的key和value，我们可以通过对应的key找到需要的value举个例子： 1：韩梅梅2：李雷好处是可在一堆数据中，迅速的找到自己需要的元素如果将key就是数组，数组的元素就是我们的value，我们需要找需要的元素的时候，就可以通过数组的索引迅速的找到对应的value，上面是一种意义的哈希表Java——hashmappython——字典我们定义了key，然后通过哈希函数，找到对于的内存地址，最后将key/value保存到对于的内存地址会出现的问题
2021-04-17 17:52:48
924
原创 《数据结构和算法》—链表
1 链表：一组数在内存中并不是存储在连续的内存空间的形式，称之为链表，和数组类似链表每个链表的节点，不仅仅存储的元素还有一个指针，指向它的下一个元素，直到最后指到Null的时候就代表链表的结束单端链表：就是上面描述的一个从开始链表节点到结束链表节点指向null的一个形式，只能从前一个元素指向下一个元素，称之为单端链表双端链表：每个元素不仅存在下一个元素的指针，也存在上一个元素的指针2 链表的四个功能访问（access） 时间复杂度O(N):每次访问链表的元素的时候需要从头开始遍历，通过next指
2021-04-17 17:27:11
747
原创 《数据结构和算法》— 数组
数组array：在连续的内存空间中相同类型的元素数组要区分元素和索引，访问和搜索元素：是数组里面的具体数字索引：是数组具体数字对于的下标索引值还要区分的四种方法：数组访问、搜索、插入、删除访问（access）时间复杂度O(1)：通过数组的索引访问到数组的具体数字搜索（Search）时间复杂度O(N)：查找这里面的某一个元素，或者说让你查找这个数组里面存不存在这个元素插入（Insert）时间复杂度O(N)：向数组里面插入一个元素删除（Delete）时间复杂度O(N)：删除数组里面的一个元素数
2021-04-17 17:02:47
692
原创 Aprior算法
Apriori算法简介Apriori算法是经典的挖掘频繁项集和关联规则的数据挖掘算法。A priori在拉丁语中指"来自以前"。当定义问题时，通常会使用先验知识或者假设，这被称作"一个先验"（a priori）。Apriori算法的名字正是基于这样的事实：算法使用频繁项集性质的先验性质，即频繁项集的所有非空子集也一定是频繁的。Apriori算法使用一种称为逐层搜索的迭代方法，其中k项集用于探索(k+1)项集。首先，通过扫描数据库，累计每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。该集合记为
2021-04-15 14:49:12
2487
原创 聚类算法
聚类K-means1.概述决策树、随机森林、逻辑回归等算法与聚类不同，他们虽然有着不同的功能，但却都是属于有监督学习的一部分，也就是说，模型在训练的时候，即需要特征矩阵X，也需要真实标签Y。而聚类属于无监督学习，无监督学习算法在训练的时候只需要特征矩阵X，不需要标签，曾经学过PCA的将维算法就是无监督学习中的一种，聚类算法也是无监督学习的代表算法之一，其目的就是将数据划分为有用的组或者簇，这种划分可以基于业务需求或者建模需求来完成，也可以单纯的帮助数据的自然结构和分布在商业中，手头有大量的当前和潜
2021-04-11 20:59:22
2043
原创 对偶问题
1.对偶问题随着线性规划应用的逐步深入，人们发现一个线性规划问题往往伴随着与之配对的、两者有着密切的联系的另一个线性规划问题，将其中一个称为原问题，另外一个称之为对偶问题。对偶理论深刻揭示了原问题与对偶问题的内在联系，由对偶问题引申出来的对偶解有着重要经济意义，是经济学中重要的概念工具之一，对偶理论充分显示线性规划理论逻辑上的严谨性与结构上的对称性，它是线性规划的重要成果。原问题的例子某家具厂木器车间生产木门和木窗的两种产品，加工木门收入56\扇，加工木窗收入30\扇，生产一扇木盟需要木工4小时、
2021-04-11 20:09:23
15328
1
原创 MySQL数据库的完美卸载
第一步：双击安装安装包卸载首先找到对应的msi文件，点击next，然后在下面的内容选择remove点击"是"第二步骤：删除目录删除安装文件夹，然后打开安装盘的隐藏目录（默认安装在C盘：\Program Files(x86)）。颜色比较淡的就是打开之前隐藏的文件夹打开ProgramData文件夹，里面有一个MySQL的文件夹，删除这个文件夹这样就完全卸载了！！...
2021-03-05 13:13:47
105
原创 SQL刷题
答案解析SQL的学法顺序：select–from–where–group by–having–order by执行顺序：from–where–group by–having–select–order by，但是如果有其他的关键字的时候，运行的结果是下面这个结果from–join–on–where–group by–avg,sum–having–select–distinct–order by答案解析1）drop是完全删除表，包括结构2）delete是删除表数据，保留表的结构，而且可以加whe.
2021-03-04 22:26:09
723
1
转载 SQL刷题：排名的问题
题目下图是"班级"表中的内容，记录了每个学生所在班级，和对应的成绩。题目要求现在需要按成绩来排名，如果两个分数相同，那么排名要是并列的。正常排名是1，2，3，4，但是现在前3名是并列的名次，排名结果是：1，1，1，2。【解题思路】1.涉及到排名问题，可以使用窗口函数（rank, dense_rank, row_number）2.专用窗口函数rank, dense_rank, row_number有什么区别呢？select *, rank() over (order by 成绩 des
2021-02-26 12:48:35
181
原创 脑电时频分析II：时频分析
前言：为什么需要做时频分析脑电信号为非平稳信号，不能直接使用傅里叶变换进行操作时频分析将连续数据划分为一个个小片再做傅里叶变换谱分析不能反映各个频段能量随时间的变化1、时频分析的原理——卷积（Convolution）上次提到的谱分析的原理是将需要处理的信号跟kernel函数进行点积处理，这样就能得到谱分析的结果，但是时频分析的是卷积其实和点积有相同的原理，只不过时频分析需要得到随时间变化的信息，所以需要这个kernel函数随着时间，不断的往前推进， 都做一个点积，这个流程就是一个卷积，但是因
2021-01-29 14:08:29
4863
3
原创 脑电时频分析I：谱分析
1、EEG频带划分自发的EEG活动在活体大脑中持续存在，通常通过频率进行分类（也叫神经振荡活动）特定频段的脑活动，即节律性的活动，具有特定的头皮分布和生物学意义最后还有一个γ波，主要是指30hz~100hz的一个波段，通常这个波段也包含了噪声唁电的成分，比较难提取处理，比较少用到这个波段这个波段主要是有可能躯体感觉皮层，进行一个多通道的感觉输入的i信号处理，比如我们同时处理视觉和听觉信号的处理，而且γ波与我们记忆的形成有关除此之外，还有一个特殊的波段，8~12hz的Mu波段主要是特指我们
2021-01-28 22:48:40
9695
原创 基于R语言的方差分析
1、导入相关的包单因素方差分析一、正态性检验with(ToothGrowth, tapply(len, dosef, shapiro.test))二、方差齐性检验三组以上的因子需要用leveneTest()检验leveneTest(len~dosef, ToothGrowth)不过有一些教材认为应该用残差来检验正态性和方差齐性因此这里需要进行一次方差分析AOV1 <- aov(len~dosef, ToothGrowth)summary(AOV1)这里面的Residuals就
2021-01-27 20:22:15
3771
2
原创 关于R语言的绘图包ggplot2参数
ggplot2在R语言中ggplot2是一个用来绘制图形的R包，gg的意思是Grammer of Graphics，意思就是绘图的语法，作者是Hadley Wickham，这个大神也是统计学诺贝尔奖的获得者ggplot2的核心理念是将绘图与数据分离，数据相关的绘图与数据无关的绘图分离ggplot2的原理是按照图层作图的ggplot2是保有命令式作图的调整函数，使其更具有灵活性ggplot2将常见的统计变换融入到绘图当中这个库的逻辑在我看来式真正实现一个图层叠加的概念：一句话代表一张图，然后最
2021-01-24 14:19:56
6584
原创 单/多因素重复测量方差分析
重复测量方差分析普通的方差是对于独立的单样本进行一次测量，比如我们在对一个班的前20名测量身高，然后再对后20名同学测量身高，这样我们就是对这个班的同学进行单次测量重复测量就是每隔一周对两个组的同学的身高进行测量，这样的样本是相依样本，在这里不同的时间测量，以及不同组别的同学就是两个因子，这种情况就相当于对于同一个样本进行重复的测量本次采用的数据集解释：不同的植物，在不同浓度的CO2下，植物的CO2的吸收情况代码：单因素重复测量方差分析多因素重复测量方差分析...
2021-01-23 15:48:00
3081
原创 单/多因素协方差分析
（1）单因素协方差分析当我们的数据不是很独立，难以避免的有一些相关关系，所以得用到协方差分析R语言有一份自带的数据集，叫litter这个数据是研究不同的药物剂量对于老鼠体重的影响，这里面的dose是剂量的意思，weight是体重的意思，其中dose是自变量weight是因变量，gesttime是一个小老鼠处在母老鼠中的孕期时间，不同的孕期时间对于出生后的小老鼠的体重也有一定的影响，但是并不是研究的主因素，所以这个定义为协变量所以，我们需要用到协方差分析，对这个协变量进行控制同样的是采用
2021-01-23 15:20:20
5232
原创 python3的map函数，匿名函数，apply函数用法解析
Python map()函数map()函数是对一个序列做相同的函数运算之后，返回一个map对象，简单来说就是输入一个序列，返回一个计算好的序列结果语法参数：function就是希望输入的序列做什么运算参数：interable就是一个或者多个可以迭代的对象案例：但是我们发现，在python3里面是输出不了我们想要的结果的，输出的告诉你是一个map对象如果我们将他转成列表或者迭代器，都是不行的最后是通过使用遍历的方法，放到新列表输出匿名函数lambda外意是没有名字的函数，本身是
2021-01-14 21:23:49
1294
转载 aov()函数lm()函数区别，（I型、Ⅲ型平方和）
R:aov和lm方差分析的区别在R中经常会用aov()和lm()两个函数进行方差分析，aov 函数的内核使用了lm算法，但二者有一定的区别。aov() 默认（summary） 结果是基于Type I 平方和，而 lm() 默认（summary）的结果是Type III平方和。aov()分析的结果受自变量输入顺序的影响，而lm()与自变量输入顺序无关。当然这种差异是针对非平衡数据而言。对于平衡全处理的数据结构，二者分析的结果是一致的。Ⅲ型平方和与Ⅰ型平方和如果是等组设计，这几种平方和没有任何区别。不同
2021-01-13 17:40:30
4215
1
原创 Warning:TypeError: ‘str‘ object is not callable
Exception in thread Thread-8:Traceback (most recent call last):File “D:\anaconda\lib\threading.py”, line 926, in _bootstrap_innerself.run()File “D:\anaconda\lib\threading.py”, line 870, in runself._target(*self._args, **self._kwargs)TypeError: ‘str’
2021-01-10 19:39:49
597
2
原创 python的线程相关知识
1、线程在python里面除了多进程可以实现多任务之外，还可以使用多线程完成那这两者有什么区别呢？两个字：节约1.1多线程作用2、多线程完成多任务2.1、线程的创建步骤实例：import timedef sing(): for i in range(3): print('singing....') time.sleep(1)def dance(): for i in
2021-01-10 19:36:18
1832
原创 python的进程相关知识
1.多任务1.1电脑中的多任务比如同时下载好几个文件：多任务的概念：在同一时间内执行多个任务1.2 多任务的两种表现形式并发：在一段时间交替去执行多个任务比如：对于单核的CPU处理多任务，操作系统会轮流的让各个任务交替去执行，但是交替速度非常快并行：在一段时间内真正的同时一起执行多个任务对于多核的CPU处理任务，操作系统会给CPU每个内核安排一个任务执行，多个内核是真正的一起执行多个任务，这里需要注意的是多核CPU是并行的执行多任务，始终有多个任务一起执行2、进程的介绍2.1、
2021-01-10 19:00:05
770
转载 python的迭代器和生成器（iter()、yield）
在python中，我们经常使用for语句循环遍历可迭代的对象（list,string,dict,tuple）等对象，这些对象都被称为可迭代对象迭代器迭代器对象要求支持迭代器协议的对象，在Python中，支持迭代器协议就是实现对象的iter()()和next()方法。其中iter()()方法返回迭代器对象本身；next()方法返回容器的下一个元素，在结尾时引发StopIteration异常。iter()和next()方法这两个方法是迭代器最基本的方法，一个用来获得迭代器对象，一个用来获取容器中的下一个
2021-01-10 15:37:13
1652
原创 关于python的time库使用
Python的time库这是python里面自带的标准库，有时候会用到，但是到了关键的时候就想不起来它的用法，在这里做一个总结‘time库包含下面三种用法，是比较常用的获取时间：time()、ctime()、gmtime()时间格式化：strftime()、strptime()程序的运行时间计算时间:sleep()、perf_counter()1、时间获取第一个是返回当前的时间戳，是系统的一个时间浮点数，是从1970年1月1日0:00开始，到当前为止的一个以秒为单位的数值。第二个是返回
2021-01-09 23:31:52
843
原创 Tobii pro lab学习笔记3_Metrics统计指标
Metrics统计指标解释在这个页面有导出数据格式的选择interval-based TSV file格式是指里面的时间片段数据导出，我们自定义的一个时间片段就是一个interval1.interval metrics导出的指标是开始的时间和结束的时间点2.Event metrics这个事件导出的指标是事件的数量以及第一次事件的事件，事件是系统自动检测到的某个点，也可以是自己自定义的某个点数据3.AOI fixation metrics这个是导出画的AOI区域里面的一些数据指标，..
2021-01-08 23:22:54
2644
4
原创 Tobii pro lab学习笔记2_数据可视化
数据可视化可视化分为两大类，第一类是Heatmap热点图，第二类是Gaze plot轨迹图对于热点图：颜色越深的地方，被试观察的越久关于热点图的记录类型，有四种，绝对次数，相对次数，绝对注视时长，相对注视时长：绝对和相对的区分在被试在同一个刺激物上面是否是相同观看了相同的时间，次数和注视时长的区分在于刺激材料的种类不同，如果是文字类的一般选择count类型，如果是图片类的刺激材料，一般选择duration类型对于Gaze plot轨迹图，圆圈越大注视的时长就越长，数值也越大如果有多个被试
2021-01-08 22:32:12
2237
2
原创 Tobii pro lab学习笔记1
Tobii Pro Lab版本1.152数据回放功能一、概览当我们把需要收集的数据导入到已经创建好的project中，可以看到每一条记录的情况进入到我们具体的记录内容上面之后到这个页面：在右侧，是对gaze data的一些基本介绍，可以看到这个记录的基本记录信息，并且可以通过调整屏幕上gaze点的显示外观，颜色，大小，透明度等信息二、Gaze data数据过滤的算法选择Gaze数据的过滤算法的不同是根据眼球转动的角速度进行数据筛选，点击右上角的齿轮，可以看到这个算法的一些细节，一般
2021-01-08 22:04:28
3250
2
原创 常用的统计分析方法
分析方法频率分析主要用于查看数据基本分布特征，数据清晰，各种统计量、基本报告数据源等数据探索探索性分析主要是从统计的角度查看统计量来评估数据分布，主要用于异常值侦测、正态分布检验、数据分段、分位点测算等交叉表分析交叉分析、是市场研究的主要工作，大部分研究分析均使用，主要用于分析报告和分析数据源，各种图表等，当然其中也有卡方检验和T检验，寻找差异表(Table)分析类似于Excel的数据透视表，连续数据和离散数据均可使用，也可以用作卡方检验和T检验卡方检验它属于非参数检验的范畴，主要是比较
2020-12-27 12:53:30
9132
原创 pandas的索引问题（iloc和loc）
关于loc和ilocloc指的是定位索引，英文意思是loctioniloc指的是数字定位索引，int location表示这个只能通过整数索引来取出元素先定义数据iloc索引用法取出指定的某几行，或某几列这个方法是在需要取出特定的行或者列的时候用，行或者列可以不填，默认选择是全部行或者全部列区域选择这个方法是比较常用的选择子区域的方法[行开始：行结束，列开始，列结束]，是左闭右开的，由于是输入的是指定的数字，所以一般知道确定的值的时候用，比如最后几个，前面几个等loc索引用法这个
2020-12-26 22:39:56
1707
原创 python按照第三方库出现的问题:ERROR: Command errored out with exit status 1: python setup.py egg_info Check the
ERROR: Command errored out with exit status 1: command: 'c:\users\11847\anaconda3\python.exe' -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'C:\\Users\\11847\\AppData\\Local\\Temp\\pip-install-vdu22uiy\\package_bdbcf519f4ac460c9d0662fa78e1275b\\
2020-12-26 21:17:40
1477
原创 方差齐性检验python实现
方差齐性在方差分析有一个重要的前提叫方差齐性先讲讲什么是方差齐性，方差齐性是指不同组间的总体方差是一样的。那为什么方差分析的前提是要组间的总体方差保持一致呢？先想想方差分析是做什么呢？方差分析是用来比较多组之间均值是否存在显著差异。那如果方差不一致，也就意味着值的波动程度是不一样的，如果此时均值之间存在显著差异，不能够说明一定是不同组间处理带来的，有可能是大方差带来大的波动；如果方差一样，也就意味着值的波动程度是一样的，在相同波动程度下，直接去比较均值，如果均值之间存在显著差异，那么可以认为是不同组间处
2020-12-26 19:45:56
5003
原创 方差分析python实现
单因素方差分析在此之间我们先导入数据，案例：我们探究施肥与否是否对植物的生长有影响，试验为： - 对照组：清水 - 实验组： 某肥料四个浓度梯度，分别是A,B,C,D，施肥一段时间之后测量树高（要控制其他变量保持一致，比如施肥之前的树高要基本保持一致，生长势基本保持一致等等）在方差分析满足，独立性，正态性，方差齐性，虽然没有满足方差齐性也可以进行非参数的检验，下面我们开始对数据进行处理import numpy as npimport pandas as pdimport matplotlib.p
2020-12-26 18:34:03
11716
2
原创 方差分析的SPSS实现
单因素方差分析1、首先打开我们的SPSS软件，将数据导入进去我们看到因子是group，我们研究的是不同的组别之间的均值是否有显著性差异，换句话说，假设我们的组别是不同的职业，1，2，3代表不同的职业，value是他们每天需要工作的时间，我们研究不同职业对于每天工作时间的差异我们知道要进行方差分析需要进行方差齐性正态性独立性按照上面的操作之后，就能得到有关方差分析的一些基本描述信息显著性这里是大于0.05的，说明方差是相等的下面是ANOVA的结果这里的显著性还是很明显的，只
2020-12-26 14:41:36
2237
原创 方差分析
方差分析基本术语实验设计和方差分析都有自己相应的语音。我们需要对一些重要的术语进行回顾，将有助于后续内容的理解和学习。为了研究某种药物对某种癌细胞株增值影响的研究为例例子：现在有两种药物：新研究的药物（Treat drug）和对照组药物(Control Drug)，我们提取培养的10哥癌细胞株作为研究的对象，随机分配一般的癌细胞株接受为期96h的TreatDrug治疗，另外一半接受为期96h的Control Drug治疗。研究治疗结束的时候，对两组细胞株的细胞抑制率进行评估在这个实验中，治疗方案（Tr
2020-12-24 22:37:01
1845
1
原创 基于EEGLAB的脑电数据预处理
关于EEGLAB这个脑电处理工具包，对于大多是需要处理脑电数据的人来说都不会很陌生，这里放一个EEGLAB官网的链接；https://sccn.ucsd.edu/eeglab/index.phpEEGLAB的优势具有便于操作的GUI界面，特别适合初学者学习使用支持导入多种数据格式（可以读取几乎所有格式的EEG信号）对于高密度的数据可以，支持滚动浏览，方便我们查询脑电的数据交互式的绘图功能，方便ERP波形绘制和头皮电压分布地形图绘制等工具基于独立成分ICA的伪迹去除和源分析技术提供多种高级的
2020-12-24 20:58:11
14974
21
原创 统计学假设检验和建模
1.经典t检验让我们在两个不同的场合下对一个赛车对的表现进行衡量，在第一次比赛中，团队的成员的得分为[79,100,93,75,84,107,66,86,103,81,89,105,84,86,86,112,112,100,94]，在第二次比赛中，他们的得分为[92, 100, 76, 97, 72, 79, 94, 71, 84, 76, 82, 57, 67, 78, 94, 83, 85, 92, 76, 88]可以用下面的python语句生成这些数据并且用t检验来比较两组数据import n
2020-12-23 15:17:39
769
原创 两组之间的非参数检验：Mann-Whitney检验
Mann-Whitney检验曼-惠特尼U检验又称“曼-惠特尼秩和检验”，是由H.B.Mann和D.R.Whitney于1947年提出的。它假设两个样本分别来自除了总体均值以外完全相同的两个总体，目的是检验这两个总体的均值是否有显著的差别。可以看作是对两均值之差的参数检验方式的T检验或相应的大样本正态检验的代用品。由于曼-惠特尼秩和检验明确地考虑了每一个样本中各测定值所排的秩，它比符号检验法使用了更多的信息。如果两组的测量不是正态分布的，我们必须借助于非参数检验。比较两个独立组别最常用的非参数检验是M
2020-12-23 14:41:16
14724
1
原创 Wilcoxon符合秩和检验
在非正态分布的数据中，我们不应该使用单样本t检验（尽管这个检验对于偏离正态性相当稳健），相反，我们必须使用均值的非参数检验方法。我们可以进行Wilcoxon符号秩和检验。注意和单样本t检验不同，该检验检查是否有差异：(rank, pVal) = stats.wilcoxon(data-checkValue)该方法有3个步骤：计算每个观测值和感兴趣的值的差异；忽略差异的符号，将他们按照大小排序；将所有负（或正）秩次的秩次加起来，也就是那些低于（或高于）选定的假设值的秩次。在下面的表格中，你可
2020-12-23 14:32:19
9246
原创 假设检验中错误的类型
I类错误I类错误是指在无效假设是真的时候，结果是显著的，第一类错误的可能性经常用a表示，并且该值的数据分析前就确定，在质量控制中，第一类错误被叫作生产者风险，因为你在一个产品符合规范要求的情况拒绝了它简单来说就是不能拒绝原假设的时候拒绝了原假设II类错误和检验效能如果我们想回答这样一个问题：“当备择假设实际上是正确的时候，我们有多大可能拒绝原假设”，换句话说，我们检测出真实效果的可能性是多少？我们面临着一个不同的问题。要回答这些问题我们需要备择假设第二类错误是，尽管无效假设是错误的，但是结果不是很
2020-12-23 14:19:56
4273
E-prime系列课程5 E-prime实验设计常用技术-样例.zip
2020-11-27
ERPLAB8.02.zip
2020-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人