angeliacmm的博客

原创 2021-06-23

Tensorflow2程序设计案例1.单层神经网络-Fashion-MNIST1.1目标与步骤本题完成解析图片识别时尚衣服单品的功能，以此达到或者掌握Tensorflow2的单层神经网络的知识点。实施步骤如下：1：准备数据如数据源所示，据由一些图片构成，里面的内容是时尚单品；2：利用Tensorflow2单层神经网络推断出图片分类代表0-9中的哪个类别，首先收集导入Tensorflow2的支持，加载数据集，浏览数据，预处理数据，构建模型，编译模型，训练模型，评估模型，预测模型，详细代码见5.1

原创 Mysql之表操作

4.表操作1.数据库设计​ 系统设计中一个重要的环节就是数据库设计.​ 数据库设计的时候需要先进行数据建模(实体关系图 E-R图)​ 数据建模的依据就是前期所做的需求分析​ 实体-关系图(Entity Relationship Diagram),也称为E-R图,提供了表示实体、属性和关系的方法，用来描述现实世界的概念模型。​ 构成E-R图的基本要素是实体、属性和关系​ 实体(Entity)：实体用来表示具有相同特征和性质的事物(类似于java的类)，实体由实体名和实体属性来表示。​ 属

原创 Mysql之安装配置、基本操作

Mysql数据库1.安装配置Mysql​ 1.Windows操作Mysql服务器​ 安装成功Mysql之后，会在"控制面板->管理工具->服务"中出现Mysql服务,选中Mysql服务右键选择启动，停止，重启选项。​ 2.Linux操作Mysql服务器​ 0.在线安装​ sudo apt install mysql-sever-5.7​ （Ubuntu 16.10和17.04这两个版本对于5.7支持比较好）​ 在安装过程中有一个需要输入“root（此root非彼r

原创 JVM运行时数据区域图

原创 Hadoop的shuffle流程图

原创 Hive之UDF、Java客户端操作、与Hbase交互

2.自定义函数UDF1.创建一张表create table t_student_udf(id int,name string,tel string)row format delimitedfields terminated by ','stored as textfile;2.上传数据load data local inpath '/home/hdfs/data_getarea' into table t_student_udf;文件内容：1,张三,138341122332,李四,1

原创 Hive之内置函数

5Hive函数1.内置函数1.创建表create table t_student(id int,name string)row format delimitedfields terminated by ','stored as textfile;2.上传数据load data local inpath '/home/hdfs/data_student' into table t_student;文件内容如下：1,terry2,kiven3,larry4,renee3.函数测

原创 Hive之数据类型、查询操作

3.数据类型，表以及表的操作1.数据类型tinyint/smallint/int/biginty s lfloat/double/decimalbooleanstring/varchar/chartimestamp/date/intervalbinaryArray 数组 Map 键值对 Struct 对象2.表•Table 内部表•External Table 外部表•Partition 分区表•Bucket Tabl

原创 Hive之认识、搭建

Hive1.什么是Hive，Hive运行架构Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。通过Hive，我们可以方便地进行ETL(extract抽取/transform转化/load加载)的工作。1.Hive与Hbase的区别Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，H

原创 Hbase之滤器Filter

3.基本命令 hbase shell​ 在终端输入hbase shell命令进入hbase命令行。hbase shell1.输入help命令，查看帮助文档hbase(main):000:0> helphbase(main):000:0> help '分组名称'练习:help 'ddl'help 'dml'help 'namespace'2.输入list命令，查看表列表hbase(main):000:0> list#案例:#查看有哪些命名空间list_n

原创 Hbase之JavaAPI操作、表设计优化

3.JAVA API操作​ C:/window/System32/Drivers/etc/hosts​ 修改hosts文件，配置主机与虚拟机的映射信息​1.编写流程​ 1.HBaseConfiguration​ Configuration conf = HBaseConfiguration.create();​ conf.set(“hbase.zookeeper.quorum”,“standalone:2181”)​ 2.Connection​ Connection co

原创 Hbase之认识、搭建集群

1.What Hbase结论​ 1.分布式列式数据库​ 2.基于键值对的数据库​ 3.基于四维表格的数据库​ 4.NoSql的数据库​ 5.对非结构化和结构化数据友好的数据库​ 6.BigTable 十亿行*百万列 表被分割成不同的Region由来​ Hadoop database > Hadoop的数据库​ 1.数据库-------存储数据​ 2.HDFS分布式文件系统存储数据与Hbase存储数据的有什么区别？​ 1.文件系统读取数据是顺序读写的，效率比较低。​ 2.数

原创 修改Spark源码满足业务需求

背景说明今年换了一份新工作，最近业务需求里面涉及到一些点，发现不能通过配置Spark达到支持的目的。因此就涉及到修改Spark源码了，特意在此记录一下修改过程。具体操作定位到需要修改的源码所在类，如果可以通过扩展的方式来修改源码是最为方便的。但不幸的是，我此次修改的代码是在object里面，Scala的单例对象中，不能被继承扩展。直接将该源文件中所有内容复制粘贴到自己的专门修改源代码的项目中，并按照源文件的包名目录结构定义存放。根据业务逻辑需求，修改对应代码。打包。生成到对应的maven .

原创 第五章 Spark-SQL进阶（三）之SQL函数

第五章 Spark-SQL进阶（三）3.SQL函数3.1内置函数3.1.1数学函数*返回类型**姓名（签名）**描述*DOUBLEround(DOUBLE a)返回的舍入BIGINT值a。DOUBLEround(DOUBLE a, INT d)返回a四舍五入到d小数位。DOUBLEbround(DOUBLE a)返回a使用HALF_EVEN舍入模式的舍入后的BIGINT值（从Hive 1.3.0，2.0.0开始）。也称为高斯舍入或银行家舍入。例如：bro

原创 第五章 Spark-SQL进阶（二）之数据源

第五章 Spark-SQL进阶（二）2.数据源数据以各种不同的格式提供电子表格可以用 XML，CSV，TSV 表示应用程序指标可以用原始文本或 JSON 写出每个用例都有针对它定制的特定数据格式在大数据领域，我们通常会遇到 Parquet、ORC、Avro、JSON、CSV、SQL 和 NoSQL 数据源以及纯文本文件等格式。我们可以将这些数据格式大致分为三类：结构化、半结构化和非结构化数据。2.1结构化数据结构化数据源定义数据的模式。利用有关底层数据的额外信息，结构化数据源可提供

原创 第五章 Spark-SQL进阶（一）之Dataset用法

第五章 Spark-SQL进阶（一）1.核心语法1.1DataFrame第一种方式通过读取外部数据集spark.read.数据源方法()DataFrameReader对象中有Spark内置支持数据源读取数据的方法eg：parquet csv text json jdbc table orc等第二种方式通过createDataFrame方法传递RDD或Seq参数createDataFrame[A <: Product : TypeTag](rdd: RDD[A])c

原创 第四章 Spark-SQL基础（二）之Dataset优势

第四章 Spark-SQL基础（二）8.核心对象8.1SparkSessionSpark-SQL组件中的一个会话对象。SparkSession对象中构建SparkSession的核心源代码如下：@Stableobject SparkSession extends Logging { /** * Builder for [[SparkSession]]. */ @Stable class Builder extends Logging { private[thi

原创 第四章 Spark-SQL基础（一）之Spark SQL优点

第四章 Spark-SQL基础（一）1.认识Spark-SQLSpark SQL是Spark中处理结构化数据的模块。提供了一种新的编程抽象DataFrame/Dataset，并且可以充当分布式SQL查询引擎。集成：无缝地将SQL查询集成到Spark程序中。统一数据访问：使用统一的方式连接到常见数据源。Hive兼容：通过配置可以直接兼容Hive，运行查询Hive数据。标准的连接：通过JDBC、ODBC连接。Spark SQL包括具有行业标准JDBC和ODBC连接的服务器模式。2.Spark

原创 第三章 Spark-Core编程进阶（二）之Spark优化

第三章 Spark-Core编程进阶（二）6.管道命令Spark在RDD上提供pipe方法，可以让我们使用任意一种语言(只要能读写Unix标准流)实现Spark作业中的部分逻辑。pipe方法的源代码如下：/** * Return an RDD created by piping elements to a forked external process. */def pipe(command: String): RDD[String] = withScope { // Simila

原创 第三章 Spark-Core编程进阶（一）之高性能操作

第三章 Spark-Core编程进阶（一）1.回顾思考，运行以下案例，看看会产生什么现象？class MyCoolRddApp { val param = 3.14 def work(rdd: RDD[Int]) { rdd.map(x => x + param) .foreach(println) }}object Test{ def main(args:Array[String])={ val conf=new SparkConf con

原创 Spark基础篇-Spark-Core核心模型（二）

第二章 Spark-Core核心模型（二）3.分区计算Spark中RDD的计算是以分区为单位的，每个RDD都会实现compute函数以达到这个目的。/** * :: DeveloperApi :: * Implemented by subclasses to compute a given partition. */@DeveloperApidef compute(split: Partition, context: TaskContext): Iterator[T]注意，该属性

原创 Spark基础篇-Spark-Core核心模型（一）

第二章 Spark-Core核心模型1.RDD弹性分布式数据集（Resilient Distributed Dataset）是Spark中最基本的数据抽象。不可变（只读）可分区可并行计算自动容错位置感知性调度RDD是Spark的核心抽象模型，本质上是一个抽象类。RDD源代码部分重点代码实现如下：abstract class RDD[T: ClassTag]( @transient private var _sc: SparkContext, @transie

原创 Spark基础篇-初识Spark

第一章 初识Spark1.认识SparkSpark是加州大学伯克利分校AMP实验室开发基于内存的通用并行计算框架。思考：已经学习了MapReduce，为什么要学习Spark？1.1并行计算并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是：用多个处理器来协同求解同一问题。注意，其实就是将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算并行计算系统：既可以是专门设

原创 机器学习-整理1

1.机器学习分类目前机器学习主流分为：有监督学习，无监督学习，强化学习。 1.有监督学习： 通过学习许多有标签的样本，然后对新的数据做出预测。例如，准确识别新照片上的水果（分类）或者预测二手房的售价（回归）。 有监督学习可分为回归和分类。 回归：即给出一堆自变量X和因变量Y，拟合出一个函数，这些自变量X就是特征向量，因变量Y就是标签。 而且标签的值连续的，例LR。 分类：其数据集，由特征向量X和它们的标签Y组成，当你利用数据训练出模型后，给你一个只知道特征向量不知道标签的数据，让你

原创 使用Yolo3进行目标检测实现流程记录1

上个月需要使用目标检测进行项目开发，简单了解了下目标检测的技术之后，果断选择使用yolo来进行尝试。在查看了无数篇博客之后，头疼脑热，各种花样的问题之后，果断记录了自行爬坑的过程，希望对后续使用yolo3目标检测的小伙伴有所帮助。

转载 几种常见的激活函数

本课程笔记是基于今年斯坦福大学Feifei Li, Andrej Karpathy &amp; Justin Johnson联合开设的Convolutional Neural Networks for Visual Recognition课程的学习笔记。目前课程还在更新中，此学习笔记也会尽量根据课程的进度来更新。今天终于可以开始讲神经网络啦~~1.一个简单的介绍我们先把那些关于人脑、神经什么...

转载 【深度学习】神经网络入门（最通俗的理解神经网络）

转载自:https://blog.csdn.net/lyl771857509/article/details/78990215form:http://tieba.baidu.com/p/3013551686?pid=49703036815&amp;see_lz=1#先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地...

原创 深度学习之逻辑回归

使用逻辑回归解决分类问题第一步：将线性方程转化为矩阵计算之后代入Sigmoid函数第二步：获取最大似然估计第三步：计算W使得最大似然估计值最大第四步：编码实现一个最简单的分类，是在平面上画一条直线，左边为类0，右边为类1，直线表示为z=ax+by+c这是一个分类器，输入(x,y)，那么，要求的参数有三个:a,b,c。另外注意c的作用，如果没有c，这条直线一定会过原点。第一步：将线性方程转化为矩...

原创 Scala类型系统与隐式操作

Scala类型系统与隐式操作Scala类型系统（了解）1泛型（了解）1.1泛型类1.2泛型特质1.3泛型函数2类型系统（了解）2.1类型界定：2.1.1上下界2.1.2.视图界定2.1.3.多重界定2.2.类型约束2.3.型变Scala隐式转换（理解）1隐式转换（掌握）2利用隐式转化丰富现有类库的功能（掌握）3引入隐式转换（掌握）4隐式转换规则（掌握）5隐式参数（掌握）6利用隐式参数进行隐式转换（...

原创 Scala面向对象程序编程

Scala面向对象程序编程1 Scala类（重点）1.1类定义1.2 getter、setter1.3主构造器(primary constructor)1.4辅助构造器(auxiliary constructor)2 Scala对象（重点）2.1单例对象2.2伴生对象（重点）2.3样例类case class2.4扩展类或者特质的对象2.5 apply方法3 Scala继承（理解）3.1抽象类3.2...

原创 深度学习基础之线性回归

理解线性回归线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。...

原创 学习TensorFlow数学基础知识准备阶段1

最近准备入手TensorFlow深度学习，奈何很多数学基础知识全部都已经回交给各位老师了。因此从刚开始的无从下手，到现在还可以推导一些公式。把我在这个过程中回顾整理的内容，自我留档，同时也分享给大家，希望可以对有兴趣学习TensorFlow但又无从下手的朋友有一些提示作用。这篇博客只是整理了推导 线性回归 和 逻辑回归 所使用到的数学内容。后期整理出其他部分内容的再给大家分享。以下数学内容都属于基础知识，涵盖了高中和大学学习的部分内容，主要体现在导数（高中数学），高等数学（上册），线性代数，

原创 Scala中的函数式编程总结

函数式编程:函数式编程是种编程方式，它将电脑运算视为函数的计算。函数编程语言最重要的基础是λ演算（lambda calculus），而且λ演算的函数可以接受函数当作输入（参数）和输出（返回值）。和指令式编程相比，函数式编程强调函数的计算比指令的执行重要。和过程化编程相比，函数式编程里函数的计算可随时调用。简单说，“函数式编程"是一种"编程范式”（programming paradigm），...

原创 Scala知识笔记1

Scala知识笔记11 认识Scala1.什么是Scala2.Scala是面向对象编程语言3.Scala是函数式编程语言4.Scala是静态类型的5.Scala是可扩展的6.Scala互操作2 Scala基础语法（一）1.变量 val/var1.1 val 不可变的1.2 声明与赋值同时定义2.方法 def2.1 格式:2.2 过程2.3 当方法为非递归方法时，可以将返回类型省略2.4 方法调用 ...