Blog of Mary Sun

原创 Python时序预测_第一篇

https://www.cnblogs.com/lfri/articles/12243268.html

原创 数据清洗_第一篇 缺失值处理（3）_常见插值法(均值、回归、EM、多重)

目录1. 均值插值法2. 回归插值法3. EM算法4. 多重插值1. 均值插值法均值插补是利用样本数据平均值或众数作为其替代值对数据进行插值。均值插补的插补值计算方程为： （1）其中，为是否回答的描述符号表示，表示“是”，表示“否”，是个数2. 回归插值法回归插值是根据样本中缺失变量和已得到变量构建回归方程，即根据已有的样本数据，对调查中目标变量的缺失值进行估算。构建自变量与目标变量Y的关系，且第个缺失值的插补估算值可表示为： ...

原创 数据清洗_第一篇 缺失值处理（4）_自回归滑动平均模型 ARMA

目录1. 时序滞后阶数2. ARMA 模型3. 建立ARIMA模型的步骤1. 时序滞后阶数时序的滞后阶数即向后追溯的观测值的数量。0阶滞后项(Lag 0)代表没有移位的时序，一阶滞后(Lag1)代表时序向左移动一位，二阶滞后(Lag2)代表时序向左移动两位，以此类推。时序可以通过lag(ts,k)函数变成k阶滞后，其中ts指代目标序列，k为滞后项阶数。2. ARMA 模型自回归滑动平均模型（Autoregressivemovingaverage model，简称：ARMA模型..

转载 数据清洗_第一篇 缺失值处理（2）_样条函数 Spline function

目录1. 样条函数定义2. 样条曲线简介3. 样条插值法4. 三次样条曲线1. 样条函数定义样条是一种特殊的函数，由多项式分段定义。在插值问题中，样条插值通常比多项式插值好用。用低阶的样条插值能产生和高阶的多项式插值类似的效果，并且可以避免被称为龙格现象(Runge phenonmenon) 的数值不稳定的出现，并且低阶的样条插值还具有“保凸”的重要性质。备注：在计算方法中，有利用多项式对某一函数的近似逼近，计算相应的函数值。一般情况下，多项式的次数越多，需要的数据就越多，...

原创 数据清洗_第一篇 缺失值处理（1）_奇异谱分析 SSA

目录1. SSA的发展史2. SSA的步骤1. SSA的发展史奇异谱分析(Singular spectrum analysis SSA）:最早出现在1986年Broomhead 和 King[1]发表的论文里。而SSA的思想则是在俄罗斯以及英国和美国的几个小组中独立提出的。此后，SSA获得了高度的关注和蓬勃的发展。文章[2]详尽描述了SSA技术的理论和实践基础。SSA技术是一种新颖而强大的时间序列分析技术，融合了经典时间序列分析，多元统计，信号处理等要素。从算法的角度来看，SSA的主要...

转载 Python_第二篇 编程问题（3）_解决numpy.core.multiarray failed to import问题

在import tensorflow和import keras时出现这个问题：根本原因是numpy版本低方法一：先pip uninstall numpy，确保完全卸载numpy，再pip install -U numpy方法二： 在卸载numpy后，删掉anaconda3\lib\site-packages\numpy\core\multiarray.cp36-win_amd64.pyd文件，再pip install -U numpy...

转载 Python_第六篇 第三方安装包（2）_statsmodels

statsmodels是一个Python模块，它提供对许多不同统计模型估计的类和函数，并且可以进行统计测试和统计数据的探索。说实话，statsmodels这个词我总是记不住，但是国宝“熊猫”这个单词pandas我还是记得住的，因此每次我打开statsmodels的方式是：百度搜索pandas，然后进入pandas官网 点击里面的documentation进入对应标签页面 选择下方pandas Ecosystem标签 此标签下看到pandas生态环境就下的第一个标签就是Statsmodels库，选

原创 Python_第六篇 第三方安装包（1）_fancyimpute介绍及使用

1.简介fancyimpute是python的第三方工具包，主要提供了各种矩阵计算、填充算法的实现。2.安装在anaconda prompt上直接执行pip3 install fancyimpute会报错pip install ecos error “ Microsoft Visual C++ 14.0 is required.”，需要到https://www.lfd.uci.edu/~gohlke/pythonlibs/#ecos下载对应版本的whl文件，安装一下（pip3 install e

转载 机器学习_第一篇 过程总结(2)_EM算法 Expectation Maximization

1.最大期望算法1.1 简介 最大期望算法(Expectation-Maximization algorithm,EM),是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation,MLE)的优化算法，通常作为牛顿迭代法(Newton-Raphsom method)的替代用于对包含隐变量(Latent variable)和缺失数据(incomplete-data)的概率模型进行参数估计。EM算法的标准计算框架由E步(Expectation-step)和...

转载 机器学习_第三篇 判别分析(1)_线性判别分析 LDA/FDA

目录1. 简单的判别分析_ 距离判别法2. Fisher判别分析/线性判别分析1. 简单的判别分析_ 距离判别法2. Fisher判别分析/线性判别分析

原创 神经网络_第一篇种类(3)_SOM自组织映射网络

SOM自组织映射网络1. SOM简介1.1 SOM特征1.2 与其他ANN的区别1.3 竞争学习2. SOM的工作原理1. SOM简介自组织神经网络SOM（Self-organizing feature Map），它模拟人脑中处于不同区域的神经细胞分工不同的特点，即不同区域具有不同的响应特征，而且这一过程是自动完成的。1.1 SOM特征一种用于特征检测的无监督学习\color{red}{无监督学习}无监督学习神经网络。SOM用于生成训练样本的低维空间，可以将高维数据间复杂的非线性统计关系转化为简

原创 神经网络_第一篇 种类(2)_NARX

NARX神经网络1. NARX概念2. NARX神经网络结构模型3. NARX神经网络的特点1. NARX概念NARX神经网络（Based on the nonlinear autoregressive with exogeneous inputs neural network 基于带外源输入的非线性自回归神经网络）。NARX是一种用于描述非线性离散系统的模型。表示为：式中：u(t),y(t)分别是该网络在t时刻的输入和输出；Du为输入时延的最大阶数；Dy为输出时延的最大阶数；故u(t-Du),…,

转载 MATLAB_第二篇神经网络学习_BP神经网络

BP神经网络代码实现1. BP神经网络的简介和结构参数1.1 BP神经网络的结构组成1.2 BP神经网络训练界面的参数解读非常感谢博主wishes61的分享.1. BP神经网络的简介和结构参数一种按照误差逆向传播算法训练的多层前馈神经网络用于预测BP神经网络的计算过程：由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各

转载 MATLAB_第二篇神经网络学习(1)_工具箱学习

在网上，发现可以通过神经网络工具箱这个GUI界面来创建神经网络,其一般的操作步骤如下：1：在输入命令里面输入nntool命令，或者在应用程序这个选项下找到Netrual Net Fitting 这个应用程序，点击打开，就能看见如下界面2：输入数据和输出数据的导入（在本文中选取了matlab自带的案例数据）3：随机选择三种类型的数据所占的样本量的比例，一般选取默认即可4：隐层神经元的确定...

原创 Web of science搜索相关会议与期刊

1、搜索页面配置2、搜索结果呈现

原创 数据质量管理_第三篇 不平衡数据处理（2）

目录1. 数据不平衡处理难点2. 解决方案3. 缺点1. 数据不平衡处理难点不同数据类型的处理难度：大数据+分布均匀<大数据+分布不均衡<小数据+数据均衡<小数据+数据不均衡\color{blue}{大数据+分布均匀< 大数据+分布不均衡<小数据+数据均衡<小数据+数据不均衡}大数据+分布均匀<大数据+分布不均衡<小数据+数据均衡<小数据+数据不均衡对于需求解决的问题：拿到数据后，首先统计可用训练数据有多大，\color{red}{首先统计可用训

原创 数据质量管理_第四篇 对数变换

目录1. 对数变换 log transformation2. 数据取对数的原因3. 取对数的意义4. 计算公式1. 对数变换 log transformation对数变换是一种特殊的数据变换方式，它可以将一类理论上未解决的模型问题转化为已经解决的问题。2. 数据取对数的原因基于对数函数在其定义域内是单调递增函数。取对数后不会改变数据的相对关系。它们的主要作用在于它能帮助稳定方差，始终保持分布接近于正态分布并使得数据与分布的平均值无关。3. 取对数的意义缩小数据的绝对数值，方便计算取对数后，可

原创 谷歌浏览器使用_第四篇 密码导入

目录1. 开启浏览器导入功能2. 浏览器重启完成后，打开 Chrome ，进行密码的导出、导入1. 开启浏览器导入功能如果想让 Chrome 支持密码导入和导出，需要先在地址栏chrome://flags/#password-import-export，搜索Password import，将default修改为enabled。将该功能启用并重启浏览器才能生效。2. 浏览器重启完成后，打开 Chrome ，进行密码的导出、导入...

原创 商业分析_第六篇 RFM模型

目标1. 概念2. 分类RFM模型是衡量客户价值和客户创利能力的重要工具和手段。在众多的客户关系管理(CRM)的分析模式中，RFM模型是被广泛提到的。该机械模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱3项指标来描述该客户的价值状况。在RFM模式中，R(Recency)表示客户购买的时间有多远，F(Frequency)表示客户在时间内购买的次数，M (Monetary)表示客户在时间内购买的金额。1. 概念客户数据库中有3个神奇的要素，这3个要素构成了数据分析最好的指标：最近一次消费

原创 商业分析_第五篇 目标群体指数TGI

目录1. TGI定义2. 计算公式3. TGI含义1. TGI定义目标群体指数TGI(Target Group Index）（“倾向性指数”）指某一子群，某一指标的比例，与总群同一指标比例之比，再乘以标准数100所得的值。目标群体指数可反映目标群体在特定研究范围（如地理区域，人口统计领域，媒体受众、产品消费者）内的强势或弱势。2. 计算公式TGI指数= [目标群体中具有某一特征的群体所占比例/总体中具有相同特征的群体所占比例]*标准数100例如，在15-24岁的人群中，有8.9%的人过去一年内

原创 商业分析_第四篇 App运营指标

原创 商业分析_第三篇 用户画像

目录1. 用户画像概念2. 用户画像应用3. 用户画像理解3.1 最好标签排序3.2 用户画像标签的获得3.3 选择概率的阈值4、用户画像的构架4.1 业务属性划分4.2 数据流向与加工4.3 平台级应用![在这里插入图片描述](https://img-blog.csdnimg.cn/20200801213032297.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZ

原创 商业分析_第二篇 关联规则

目录1.1 关联规则的含义1.2 支持度和置信度的定义1.3 支持度和置信度的意义1.4 支持度和置信度的缺点1.1 关联规则的含义关联规则是形如X→Y的蕴涵式，其中， X和Y分别称为关联规则的先导(antecedent或left-hand-side, LHS)和后继(consequent或right-hand-side, RHS) 。其中，关联规则XY，存在支持度和置信度。1.2 支持度和置信度的定义**支持度support：**用来确定给定数据集的频繁程度，即给定数据集在所有数据集中出现的频率

原创 谷歌浏览器使用_第三篇 书签导出

1. 单击浏览器“更多”按钮2. 单击“书签”的“书签管理”3. “书签管理”中单击“更多”4. 保存书签的位置和文件名

转载 软件安装_第二篇 Latex

目录1. LaTex简介2. LaTex环境配置2.1 Tex live 安装2.1.1 离线安装2.1.2 在线安装3. Tex studio 安装与设置3.1 Tex studio 安装3.2 Tex studio 设置3.2.1 设置中文界面3.2.2 添加行号1. LaTex简介论文投稿时，有的期刊要求用Latex对论文进行排版。LaTex基于Tex，主要目的是为了方便排版。在学术界的论文，尤其是数学。计算机等学科的论文都是由latex编写，因为用它写数学公式非常漂亮。**LaTex的工作方式

原创 软件使用_第二篇 Latex基础知识

目录1. 基础知识1.1 Latex 源文件1.1.1 空白距离1.1.2 特殊字符1.1.3 Latex命令1.1.4 注释1.2 源文件的结构1.3 文档布局1.3.1 文档类1.3.2 宏包1.3.3 页面样式1.3 一个典型的命令行过程1. 基础知识1.1 Latex 源文件Latex的源文件为普通的ASCII文件，可以使用任何文本编辑器来创建。Latex源文件不仅包含了要排版的文本，而且也包括了告诉Latex如何排版这些文本内容的命令1.1.1 空白距离空白距离space：空格和制

原创 软件使用_第一篇 Excel常用功能

目录1. 快捷键2. 单元格使用2.1 单元格2.2 单元格从属关系2.3 单元格引用方式2.4 单元格添加下拉列表2.5 剔除无效数据3. 常用函数3.1 求和函数 sum3.2 平均值 AVERAGE3.3 单元格个数 COUNT()3.4 IF函数1. 快捷键Ctrl+C 复制；Ctrl+V粘贴；Ctrl+X剪切；Ctrl+Z撤销；Ctrl+S保存；Ctrl+N新建以及Delete删除2. 单元格使用2.1 单元格单元格定义：A1代表单元格的地址，A列与第一行的交叉处单元格。其中的A是

原创 软件安装_第一篇 SPSS

接下来就是SPSS23的激活过程复制crack文件夹中的"lservrc"文件到C（根据您自己安装的目录选择盘符）:\ProgramFiles\IBM\SPSS\Statistics\23)回到安装界面注册代码VDOV7M8KUEIAWBZIKPP6DUKX4JIO3LWRSJQW4BTDCU5NS28ZLZSSROOZQ8HASZ6VUHRZRZ8I8DGWIFY9...

原创 谷歌浏览器使用_第二篇 chrome插件失效解决

目录1.1 下载插件1.2 修改后缀名crx为rar，并解压1.3 上传解压后文件夹1.4 最终结果，加载得到谷歌翻译插件1.1 下载插件下载插件网址：http://chromecj.com/，打开chrome浏览器更多工具---->扩展程序，将crx后缀的插件拖到界面，出现程序包无效的问题1.2 修改后缀名crx为rar，并解压1.3 上传解压后文件夹在扩展程序中打开开发者模式，点击加载已解压的扩展程序。选中解压后的文件夹（上图中的extension_2_0_4_副本）。加载安装重启浏

原创 商业分析_第一篇 价格弹性

目录价格弹性1. 需求价格弹性1.1 概念1.2 Ed的性质1.3 Ed的变动范围1.3 影响产品需求弹性大小的因素：1.4 需求价格弹性的政策含义1.5 弧弹性和点弹性1.6 弹性系数的问题：2. 交叉价格弹性2.1 需求交叉价格弹性3. 分析指标价格弹性需求价格弹性为负（公式中未加负号）；替代品的交叉弹性为正；互补品交叉弹性为负；供给价格弹性为正；需求收入弹性可正可负，看是正常品(正数)还是低档品(负数)了。正常品中奢侈品的收入弹性大于1。1. 需求价格弹性1.1 概念需求价格弹性（pri

原创 Mysql简单入门_第六篇 查询练习

查询语句单表查询语句Where 条件表达式【where子句用来指定查询条件】条件表达式1 AND 条件表达式2 【and 用来联合多个条件查询】IN (元素1，元素2，……)【in 用来判断某个字段是否在指定的集合中】BETWEEN 取值1 AND 取值2【between and 判断某个字段的字是否在指定的范围中】LIKE ‘字符串’【like 匹配字符串是否相等】IS NULL 【is null 判断字段的值是否为空值】DISTINCT 属性名【distinct 消除重.

原创 命令行_第六篇 Tensorflow安装

转载 命令行_第五篇 修改jupyter notebook文件保存位置

如何将jupyter notebook创建文件的默认保存位置C:\Users\Mary.Sun（Mary.Sun是我的电脑名）改为D:\jupyter notebook？1.打开anaconda prompt

转载 Python时序预测_第三篇 常规知识（1）_知识介绍

目录1.1 朴素法1.1 朴素法朴素法：假设第一个预测点和上一个观察点相等的。即 yt+1=yt假设y轴表示物品的价格，x轴表示时间(天)。如果数据集在一段时间内都很稳定，若想要预测第二天的价格，可以取前面一天的价格，预测第二天的值。...

转载 时间序列_第一篇 知识概述（3）_分解

1.1 时间序列的组成部分一个时间序列往往是几类变化形式的叠加或耦合：长期趋势（Secular Trend，T），季节变动（Seasonal Variation，S），循环波动（Cyclical Variation，C），不规则波动（Irregular Variation，I）长期趋势 T长期趋势：现象在较长时期内持续发展变化的一种趋向或状态季节波动 S季节波动：由于季节的变化引起的现象发展水平的规则变动循环波动 C循环波动：指以若干年为期限，不具严格规则的周期性连续变动不规则波动

转载 时间序列_第一篇 知识概述（1）

时间序列_第一篇 知识概述（1）1. 什么是时间序列时间序列是一系列的观测点按照时间顺序排序的集合。时间序列是无处不在的。一个人几个月来的血压变化情况我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展

原创 Python爬虫_第三篇 动态网页（1）_好看视频 json

7、对动态网页好看视频进行爬虫，利用json模块解析数据，爬取多页视频7.1 爬虫的一般思路分析目标网页，确定爬取的url路径，headers参数 发送请求 --requests 模拟浏览器发送请求，获取响应数据 解析数据 --json模块，把json字符串转化为python可交互的数据类型 保存数据 --保存在目标文件夹中7.2 好看视频下载分析判断网页是静态还是动态？ 如何下载单个网页中的视频？ 如何下载多个网页中的视频？7.3 源代码import requests..

原创 Python爬虫_第二篇 静态网页爬虫（4）_贴吧图片（xpath）

6、采用Xpath定位信息，下载贴吧第一页图片

转载 Python爬虫_第一篇 爬虫之路（4）_XPath定位

4、XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

转载 Python爬虫_第一篇 爬虫之路（5）_HTML & XML

6.1 什么是HTML？6.1.1 HTML 是用来描述网页的一种语言。HTML 指的是超文本标记语言 (HyperTextMarkupLanguage) HTML 不是一种编程语言，而是一种标记语言(markup language) 标记语言是一套标记标签(markup tag) HTML 使用标记标签来描述网页6.1.2 HTML 标记标签通常被称为 HTML 标签 (HTML tag)。HTML 标签是由尖括号包围的关键词，比如 <html> HTML...