- 博客(95)
- 收藏
- 关注
RSS订阅原创 1.1 Java概述
黑马程序员-Java入门在运行窗口中输出cmd输出回车。解惑： cmd默认操作C盘下的users文件夹下的XXX文件夹。（XXX就是计算机名）扩展一个小点： 在很多资料中都说成是DOS命令，其实是不对的。真正的DOS命令是1981年微软和IBM出品的MS-DOS操作系统中的命令才叫做DOS命令。 而在Windows中，win98之前的操作系统是以非图形化............
2022-07-05 10:42:54
256
原创 3.2 Hadoop MapReduce与Hadoop YARN -Hadoop YARN
文章目录Hadoop YARN一、Hadoop YARN介绍YARN简介YARN功能说明YARN概述二、Hadoop YARN架构、组件YARN官方架构图官方架构图中出现的概念YARN3大组件三、程序提交YARN交互流程核心交互流程整体概述MR提交YARN交互流程四、YARN资源调度器SchedulerMR程序提交YARN交互流程如何理解资源调度调度器策略FIFO Scheduler概述FIFO Scheduler优势、坏处Capacity Scheduler概述Capacity Scheduler资源队列
2022-05-08 20:22:39
170
原创 3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce
文章目录Hadoop MapReduce一、理解MapReduce思想二、Hadoop MapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、Hadoop MapReduce介绍分布式计算概念MapReduce介绍MapReduce产生背景MapReduce特点MapReduce局限性MapReduce实例进程阶段组成MapReduce数据类型四、1Hadoop MapReduce官方示例概述示例说明案例：评估圆周率π（PI）的值案例：wordcount
2022-05-08 20:05:37
477
原创 2.5 Apache Hadoop、HDFS -HDFS工作流程和机制
文章目录HDFS工作流程和机制一、HDFS集群角色与职责主角色：namenode从角色：datanode主角色辅助角色： secondarynamenodenamenode职责datanode职责二、HDFS写数据流程（上传文件）写数据完整流程图核心概念--Pipeline管道核心概念--ACK应答响应核心概念--默认3副本存储策略三、HDFS读数据流程（下载文件）读数据完整流程图HDFS工作流程和机制一、HDFS集群角色与职责官方架构图主角色：namenodeNameNode是Hadoop分
2022-05-08 19:35:53
379
原创 2.4 Apache Hadoop、HDFS - HDFS shell操作
文章目录HDFS shell操作一、HDFS shell命令行解释说明介绍文件系统协议区别参数说明二、HDFS shell命令行常用操作1、创建文件夹2、查看指定目录下内容\3、上传文件到HDFS指定目录下4、查看HDFS文件内容5、下载HDFS文件6、拷贝HDFS文件7、追加数据到HDFS文件中参考HDFS shell操作一、HDFS shell命令行解释说明介绍命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后，予以执行
2022-04-17 18:25:50
342
原创 2.3 Apache Hadoop、HDFS - HDFS分布式文件系统基础
文章目录HDFS分布式文件系统基础一、文件系统、分布式文件系统文件系统定义传统常见的文件系统数据、元数据思考海量数据存储遇到的问题思考案例 场景互动：分布式存储系统的核心属性及功能含义一、分布式存储的优点二、元数据记录的功能三、分块存储好处四：副本机制的作用总结二、HDFS简介HDFS简介三、HDFS起源发展、设计目标HDFS起源发展HDFS设计目标四、HDFS应用场景适合场景不适合场景五、HDFS重要特性（1）主从架构（2）分块存储（3）副本机制（4）元数据管理（5）namespace（6）数据块存储参考
2022-04-17 18:04:01
2110
原创 2.2 Apache Hadoop、HDFS - Apache Hadoop集群搭建
文章目录Apache Hadoop集群搭建一、Hadoop集群简介Hadoop集群整体概述思考Hadoop集群简介二、Hadoop集群模式安装（Cluster mode）思路Hadoop源码编译Step1:集群角色规划Step2:服务器基础环境准备Step5:编辑Hadoop配置文件（1）Step5:编辑Hadoop配置文件（2）Step5:编辑Hadoop配置文件（3）Step5:编辑Hadoop配置文件（4）Step5:编辑Hadoop配置文件（5）Step5:编辑Hadoop配置文件（6）Step6:
2022-04-17 17:18:37
1766
原创 2.1 Apache Hadoop、HDFS - Apache Hadoop概述
文章目录Apache Hadoop概述一、Hadoop介绍、发展简史、现状Hadoop介绍Hadoop发展简史Hadoop现状总结二、Hadoop特性优点、国内外应用Hadoop特性优点Hadoop国外应用Hadoop国内应用总结三、Hadoop发行版本、架构变迁Hadoop发行版本Apache Hadoop概述一、Hadoop介绍、发展简史、现状Hadoop介绍狭义上Hadoop指的是Apache软件基金会的一款开源软件。用java语言实现，开源允许用户使用简单的编程模型实现跨机器集群对海量
2022-04-17 16:14:09
2686
1
原创 1.6 大数据导论与Linux基础-vi/vim文本编辑器
文章目录vi/vim文本编辑器一、vim编辑器介绍、3种工作模式vim编辑器简介打开与新建文件vim编辑器3种工作模式命令模式<-->输入模式命令模式<-->底线命令模式总结二、vim基本操作命令光标移动复制粘贴删除、撤销操作参考vi/vim文本编辑器一、vim编辑器介绍、3种工作模式vim编辑器简介vi是一款很多unix及其延伸系统内置的文本编辑器，具有强大的文本编辑能力。vim是从vi发展出来的一个文本编辑器，可以理解为vi编辑器的增强版。vim中代码补完、编译及错误
2022-04-16 21:11:26
636
原创 1.5 大数据导论与Linux基础-Linux常用系统命令
文章目录Linux常用系统命令一、时间、日期查看二、内存、磁盘使用率查看三、进程查看参考Linux常用系统命令一、时间、日期查看date命令：用来显示或设定系统的日期与时间，在显示方面，使用者可以设定欲显示的格式，格式设定为一个加号后接数个标记。cal（calendar）命令：用于用于显示当前或者指定日期的公历。[root@node1 linux02]# dateTue May 18 14:44:13 CST 2021[root@node1 linux02]# date +"%Y-%m-%
2022-04-16 21:02:15
533
原创 1.4 大数据导论与Linux基础-Linux常用基础命令
文章目录Linux常用基础命令一、Linux文件系统基础知识二、Linux常用操作命令概述（1/6）显示目录内容（2/6）切换目录（3/6）创建、删除（4/6）复制、移动（5/6）文件内容查看（6/6）其他解压缩命令（2/2）打包压缩、解包解压缩参考Linux常用基础命令一、Linux文件系统基础知识Linux文件系统概念操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统；文件系统的结构通常叫做目录树结构，从斜杠/根目录开始；Linux号称“万物皆文件”，意味着针对Lin
2022-04-16 20:57:28
916
原创 1.3 大数据导论与Linux基础-VMware Workstation虚拟机使用
文章目录VMware Workstation虚拟机使用一、VMware虚拟机概念与安装VMware介绍VMware功能、组件网络架构图在PC上安装VMware Workstation虚拟机软件二、Centos操作系统的虚拟机导入step1:配置VMware虚拟机网段step2:配置windows本地虚拟网卡step3:解压虚拟机压缩包step4：导入node1虚拟机step5：导入node2虚拟机step6：导入node3虚拟机三、VMware虚拟机常规使用内存、磁盘调整虚拟机启动、停止快照使用四、Fina
2022-04-16 20:22:10
830
原创 1.2 大数据导论与Linux基础-Linux操作系统概述
文章目录Linux操作系统概述操作系统概念与分类操作系统概念操作系统分类桌面操作系统嵌入式操作系统服务器操作系统移动设备操作系统Linux起源与发展Linux内核与发行版本Linux内核（Kernel）Linux发行版本参考Linux操作系统概述操作系统概念与分类操作系统概念操作系统（operating system，简称OS）是管理计算机硬件与软件资源的程序，需要处理如：管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务；没有操作系统的机器称之
2022-04-16 16:33:59
1237
原创 1.1 大数据导论与Linux基础-大数据导论
文章目录大数据导论一、企业数据分析方向原因分析现状分析预测分析二、数据分析基本步骤概述Step1：明确分析目的和思路Step2：数据收集Step3：数据处理Step4：数据分析Step5：数据展现Step6：报告撰写总结三、大数据时代背景大数据定义大数据5V特征应用场景四、分布式与集群概念混淆点应用参考大数据导论数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。它不仅指狭义上的数字，还可以是具有一定意义
2022-04-13 18:16:17
1733
原创 三、量化择时
文章目录量化择时总览1. 趋势择时（1）传统趋势指标1）MA（移动平均）2）MACD（指数平滑异同移动平均线）3）DMA指标（平均线差指标）4）TRIX（三重指数平滑移动平均指标）（2）自适应均线1）自适应均线的算法2. 市场情绪量化择时总览择时交易是指利用某种方法来判断大势的走势情况，是上涨还是下跌或者是盘整。如果判断是上涨，则买入持有；如果判断是下跌，则卖出清仓；如果判断是震荡，则进行高抛低吸，这样可以获得远远超越简单买入持有策略的收益率，所以择时交易是收益率最高的一种交易方式。量化择时就是利用数
2022-02-14 22:32:20
11070
原创 二、量化选股
文章目录总体介绍因子选股判断方法五个步骤总体介绍量化选股就是利用数量化的方法选择股票组合，期望该股票组合能够获得超越基准收益率的投资行为。量化选股策略总的来说可以分为两类：第一类是基本面选股，第二类是市场行为选股。基本面选股多因子模型、风格轮动模型和行业轮动模型市场行为选股资金流模型、动量反转模型、一致预期模型、趋势追踪模型和筹码选股模型。策略简介多因子模型应用最广泛的一种选股模型，基本原理是采用一系列的因子作为选股标准，满足这些因子的股票则被买入，
2022-01-25 22:38:02
16536
原创 一、基础介绍
文章目录1、知识框架介绍2、策略篇介绍3、理论篇介绍1、知识框架介绍2、策略篇介绍量化投资的主要内容包括：量化选股、量化择时、股指期货套利、商品期货套利、统计套利、期权套利、算法交易、ETF/LOF套利、高频交易等。投资策略总的来说分为两大类：判断趋势型和判断波动率型。趋势型：是一种高风险的投资方式，通过对大盘或者个股的趋势判断，进行相应的投资操作。如果判断是趋势向上则做多，如果判断趋势向下则做空，如果判断趋势盘整，则进行高抛低吸。优点：收益率高；缺点：风险大。一旦判断错误则可能遭受重大损
2022-01-25 21:12:57
12426
原创 债券到期收益率计算
债券到期收益率YTM计算公式Python 实现计算公式Python 实现import scipy.optimize as soimport numpy as np'''计算债券到期收益率的函数 PV:表示债券全价； C:票面年利息； k:年付息频率； y:到期收益率； M:债券面值; T:债券期限（年）'''def YTM(PV,C,k,M,T): def ff(y): coupon=[] for i i
2021-09-06 15:32:50
2790
原创 5. 数据预处理
数据预处理文章目录 数据预处理1. 处理缺失数据滤除缺失数据填充缺失数据2. 数据转换移除重复数据利用函数或映射进行数据转换替换值:replace重命名轴索引离散化和面元划分检测和过滤异常值排列和随机采样计算指标/哑变量3. 字符串操作字符串对象方法正则表达式pandas的矢量化字符串函数案例：食谱数据库在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。pandas和内置的Python标准库提供了一组高级的、灵活的、快速的工具，可以让你轻松地将数据规整为想要的格式。1.
2021-08-23 20:58:34
205
原创 第二章 随机变量及其分布
第二章 随机变量及其分布随机变量及其分布随机变量的概念离散随机变量的概率分布列随机变量的分布函数连续随机变量的概率密度函数随机变量的数学期望数学期望的定义数学期望的性质随机变量的方差与标准差方差与标准差的定义方差的性质切比雪夫不等式常用分布汇总常见离散分布两点分布与二项分布一．两点分布二项分布泊松分布定义二、泊松分布的数学期望和方差三．二项分布的泊松近似几何分布几何分布与负二项分布几何分布常用连续分布均匀分布指数分布指数分布的无记忆性正态分布伽玛分布贝塔分布随机变量函数的分布分布的其他特征数矩变异系数分位数
2021-08-16 21:18:57
193
原创 第一章 随机事件与概率
第一章 随机事件与概率随机事件及其运算随机现象样本空间随机事件随机变量事件间的关系事件间的运算事件域概率的定义及其确定方法排列与组合公式概率的公理化定义概率的性质概率的可加性概率的单调性概率的加法公式概率的连续性条件概率条件概率的定义乘法公式全概率公式贝叶斯公式独立性两个事件的独立性多个事件的相互独立性试验的独立性随机事件及其运算随机现象样本空间随机事件随机试验的结果称为随机事件，简称事件随机变量为了用函数研究随机事件，需要用数反映事件，将随机试验的样本点用数表示出来，就是随机变量事件
2021-08-16 20:01:22
142
原创 第八章 方差分析与回归分析
第八章 方差分析与回归分析方差分析问题的提出单因子方差分析的统计模型平方和分解一．试验数据的误差估计二．组内偏差与组间偏差三．偏差平方和及其自由度总平方和分解公式检验方法参数估计重复数不等的情形多重比较效应差的置信区间多重比较问题重复数相等场合的 T 法重复数不等场合的 S 法方差齐性检验一元线性回归变量之间的关系一元线性回归模型回归系数的最小二乘估计回归方程的显著性检验一．F 检验二．T 检验三．相关系数检验估计与预测一．估计二．Y0 的预测区间一元非线性回归确定可能的函数形式参数估计曲线回归方程的比较
2021-08-15 23:12:52
1646
原创 第七章 假设检验
第七章 假设检验假设检验的基本思想与概念引入原理假设检验的基本步骤上一章是对总体参数作出估计，本章是检验总体参数为某给定值是否合理．假设检验的基本思想与概念引入假设检验通常分为参数检验与非参数检验．前面两个例子的原假设 H0 可以通过有限个实参数来描述，称为参数检验，最后一个例子就是非参数检验问题。一般在参数检验中检验单个参数时需要写出备择假设，其他情况可以不写出备择假设．原理对于作出的原假设 H0，需检验是否合理．通常是根据在假设 H0 成立的条件下，取得问题中样本观测值概率的大小而定．发
2021-08-14 14:00:55
425
原创 第六章 参数估计
第六章 参数估计点估计的几种方法：矩估计、最大似然估计、贝叶斯估计矩估计-替换原理最大似然估计点估计的评价标准相合性无偏性有效性综合：均方误差最小方差无偏估计贝叶斯估计引入统计推断的基础贝叶斯公式的密度函数形式贝叶斯估计区间估计引入区间估计的概念枢轴量法区间估计单个正态总体参数的置信区间一、已知 σ2 ，估计µ二．未知 σ2 ，估计µ三．估计 σ2两个正态总体下参数的置信区间一．已知方差 σ12 ,σ22 ，估计均值差µ 1 − µ 2二、未知方差 σ12 ,σ22 ，估计均值差µ 1 − µ 2三、估计方
2021-08-12 21:15:25
1272
原创 第五章 统计量及其分布
第五章 统计量及其分布5.1 总体与样本5.3 统计量及其分布统计量与抽样分布样本均值样本方差样本矩及其函数§5.4 三大抽样分布χ2分布t 分布（t-distribution）F 分布（F-distribution）抽样分布定理5.1 总体与样本若样本 (X1, X2, …, X n) 满足(1) 随机性，每一个个体在每次抽样时被抽到的机会均等，即样品 X i与总体 X 同分布；(2) 独立性，每次抽样互不影响，即 X1, X2, …, X n 相互独立．则称 (X1, X2, …, X n)
2021-08-12 20:08:33
433
原创 1.6 SQL基础 - TCL 语言 - 视图
文章目录 1.6 SQL基础 - TCL 语言 - 视图视图视图的删除视图结构的查看存储过程和函数 1.6 SQL基础 - TCL 语言 - 视图视图含义：理解成一张虚拟的表视图和表的区别： 使用方式 占用物理空间视图 完全相同 不占用，仅仅保存的是sql逻辑表 完全相同 占用视图的好处：1、sql语句提高重用性，效率高2、和表实现了分离，提高了安全性###视图的创建语法：CREATE VIEW 视图名AS查询语句;###视图的增删改查1、查看视图的数据 ★SE
2021-07-02 20:42:09
133
原创 1.5 SQL基础 - 数据库事务
文章目录 1.5 SQL基础 - 数据库事务 数据库事务含义特点事务的分类：使用到的关键字事务的隔离级别:视图视图的删除视图结构的查看存储过程和函数 1.5 SQL基础 - 数据库事务 数据库事务含义通过一组逻辑操作单元（一组DML——sql语句），将数据从一种状态切换到另外一种状态特点（ACID）原子性：要么都执行，要么都回滚一致性：保证数据的状态操作前和操作后保持一致隔离性：多个事务同时操作相同数据库的同一个数据时，一个事务的执行不受另外一个事务的干扰持久性：一个事务一旦提交，则数
2021-07-01 12:17:57
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人