- 博客(22)
- 收藏
- 关注
RSS订阅
原创 Hadoop 完全分布式环境搭建
Hadoop 环境搭建(二)JDK 安装下载 JDK 并解压：解压命令是：tar -svzf 压缩包名配置 JAVA 环境变量vi /etc/profile在最下面添加环境变量信息：export JAVA_HOME=/home/hadoop/jdk1.8.0_251export PATH=$PATH:$JAVA_HOME/bin然后再输入命令：source /etc/profile至此，一台服务器上的 java 环境就配置好了。再配置其余三台服务器，由于其余三台服务器没
2020-07-31 17:35:06
354
原创 Hadoop 之 CentOS7 集群搭建
Hadoop 环境搭建（一）新建虚拟机及 Linux 环境搭建修改网络配置进入 CentOS7 操作系统，输入命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33修改两处：BOOTPROTO=staticONBOOT=yes添加下述代码：IPADDR=192.168.87.100GATEWAY=192.168.87.2NETMASK=255.255.255.0DNS1=8.8.8.8注：以下三
2020-07-31 17:29:52
315
原创 Meet Hadoop
初识 HadoopHadoop 是什么Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和海量存储。Hadoop 官网的原话是：The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing。意思是 Hadoop 是一个可靠的、可扩展的、分布式的计算框架。
2020-07-31 17:16:17
133
原创 Meet Big Data
初识大数据什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决海量的数据存储和分析计算的问题。这里的海量指的是 TB、PB、EB 级及以上的数据量。大数据的特性是什么大数据的特征可用五个 V 去概况，即：Volume（数据量大）、Velocity（数据产生和处理速度快）、Variety（数据类型多样）、Value（价值密度低，商业价值高）、Vera
2020-07-31 17:10:39
175
原创 Linux 常用命令
Linux 处理目录的常用命令ls：列出目录及文件名；cd：切换目录；pwd：显示目前的目录；mkdir：创建一个新的目录；rmdir：删除一个空的目录；cp：复制文件或目录；rm：移除文件或目录；mv：移动文件与目录，或修改文件与目录的名称。我们可以在终端使用 man [命令] 来查看各个命令的使用文档，如：man cp。ls（列出目录）常用语法： ls [-adl] 目录名称选项参数：-a：全部的文件，连同隐藏文件（开头为 . 的文件）一起列出来；-d：仅列出目
2020-07-17 13:52:01
195
原创 Linux 目录结构
Linux 系统的目录结构进入 Linux 系统后，打开终端，进入根目录，输入 ls 命令，可以看到根目录下的文件结构，如图所示：利用 ls 命令我们可以了解到 Linux 的目录结构，Linux 的目录结构如下所示：以下是对这些目录的解释：/：根目录；/bin：bin 是 Binary 的缩写，这个目录存放着最经常使用的命令；/boot：这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件；/dev：dev 是 Device（设备）的缩写，该目录下存放的是
2020-07-17 13:49:14
118
原创 机器学习学习笔记（七）
（七）神经网络的学习1.代价函数假设神经网络的训练样本有 mmm 个，每个包含一组输入 xxx 和一组输出信号 yyy ， LLL 表示神经网络层数， SlS_lSl 表示中间每层的neuron个数( SlS_lSl 表示输出层神经元个数)， SlS_lSl 代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类。二类分类： SL=0,y=0or1S_L ...
2019-03-09 19:42:32
150
原创 机器学习学习笔记（六）
（六）逻辑回归1.非线性假设我们之前学的，无论是线性回归还是逻辑回归都有这样一个缺点，即：当特征太多时，计算的负荷会非常大。下面是一个例子：当我们使用 x1,x2x_1,x_2x1,x2 的多次项式进行预测时，我们可以应用的很好。 之前我们已经看到过，使用非线性的多项式项，能够帮助我们建立更好的分类模型。假设我们有非常多的特征，例如大于100个变量，我们希望用这100个特征来构建一...
2019-02-08 18:06:40
318
原创 机器学习学习笔记（五）
（五）正则化1.过拟合的问题到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。先解释什么是过度拟合问题，如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数...
2019-01-28 01:19:27
178
原创 机器学习学习笔记（三）
（三）多变量线性回归1. 多维特征在机器学习学习笔记（二）中，我们探讨了单变量/特征的回归模型，现在再对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为 (x0,x1,...,xn)(x_0,x_1,...,x_n)(x0,x1,...,xn) 。增添更多特征后，再引入一系列新的注释：nnn 代表特征的数量x(i)x^{(i)}x(i) 代表...
2019-01-22 00:07:16
282
原创 机器学习学习笔记（二）
（二）单变量线性回归1.模型表示首先第一个学习算法是线性回归算法，并且这属于监督学习的范畴。先举个例子，这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，需要根据不同房屋尺寸所售出的价格，画出数据集的图像。比方说，如果一个房子是1250平方尺大小，你要知道这房子能卖多少钱。那么，我们可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来...
2019-01-21 00:03:47
243
原创 机器学习学习笔记（一）
（一）什么是机器学习，机器学习能做些什么事情1.什么是机器学习最早定义机器学习的人是Arthur Samuel，他对机器学习的定义是说，在进行特定编程的情况下，给予计算机学习能力的领域。另一个年代近一点的定义，由Tom Mitchell提出，他说，一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。通俗来讲，经验...
2019-01-20 01:17:26
702
原创 IDEA环境配置及快捷键修改
IDEA的安装这里不进行介绍。注：IDEA的创建项目等同于Eclipse的工作空间，IDEA的创建模型等同于Eclipse的创建项目，博主一开始就被这个事情坑了好久！IDEA 快捷键修改这里我们把快捷键修改为我们最常使用的Eclipse 1.首先，打开IDEA工具，进入工作区 2.然后点击File -> Settings -> Keymap 3.将Keymap下的Default改成E
2017-08-19 13:24:11
818
原创 多模块Maven项目的快速构建
多模块Maven项目的快速构建Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。这里不介绍Maven的安装和配置，很简单，网上大把都有安装配置示例，这里只演示如何快速构建一个Maven项目。一个简单的Maven模块结构是这样的：---- app-root |-- pom.xml (pom) | |-- app-uti
2017-08-11 16:29:05
448
原创 Spring-（5）Spring AOP
Spring AOPAOP : Aspect Oriented Programming，意思是“面向切面编程”，我们以前了解的很多都是面向对象编程（OOP），而面向切面编程会解决很多问题，需要说明的一点是，AOP只是OOP的一个补充，传统的编程都是纵向编程，而AOP则是进行横向编程，AOP独立于应用程序的业务逻辑，就像servlet过滤器和servlet监听器一样，它可以处理一些每次都需要操作但又
2017-08-05 23:58:36
273
原创 Spring-（4）Spring 注解
Spring-（4）Spring 注解Spring基于注解的配置:从 Spring 2.5 开始就可以使用注解来配置依赖注入。而不是采用 XML 来描述一个 bean 连线，你可以使用相关类，方法或字段声明的注解，将 bean 配置移动到组件类本身。如果需要用到注解进行依赖注入，则需要在xml文档中的beans中加上这一代码：<beans xmlns="http://www.springframe
2017-08-02 22:06:40
205
原创 Spring-（3）Spring DI
Spring-（3）Spring DIDI：Dependency Injection，即“依赖注入”，依赖注入可以有高效的解耦合的能力。可以说，依赖注入仅仅是控制反转的一个具体的例子，当编写一个复杂的 Java 应用程序时，应用程序类应该尽可能的独立于其他的 Java 类来增加这些类可重用的可能性，当进行单元测试时，可以使它们独立于其他类进行测试。依赖注入有助于将这些类粘合在一起，并且在同一时间让它
2017-08-01 12:57:06
264
原创 Spring-（2）Spring IOC
Spring-（2）Spring IOCIoc—Inversion of Control，即“控制反转”，不是什么技术，而是一种设计思想。在Java开发中，Ioc意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。如何理解好Ioc呢？理解好Ioc的关键是要明确“谁控制谁，控制什么，为何是反转（有反转就应该有正转了），哪些方面反转了”，那我们来深入分析一下：谁控制谁，控制什么：传
2017-07-22 12:20:58
204
原创 Spring-（1）HelloSpring
Spring-（1）HelloSpring 首先介绍一下Spring，Spring 是最受欢迎的企业级 Java 应用程序开发框架。数以百万的来自世界各地的开发人员使用 Spring 框架来创建好性能、易于测试、可重用的代码。其次，Spring 是轻量级的，Spring 框架是一个开源的 Java 平台， Spring 框架的基础版本是在 2 MB 左右的。 Spring 框架的核心特性
2017-07-21 14:51:29
467
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人