8 yunpiao123456

尚未进行身份认证

暂无相关简介

等级
TA的排名 4w+

Spark 实战(四)

ALS是交替最小二乘法ALS是交替最小二乘的简称。在Spark MLlib中特指通过交替最小二乘法求解的协同推荐算法。它通过观察所有用户给产品打分,来推断每个用户的喜好并向用户推荐适合的产品。用户评分矩阵的每行代表一个用户,每列代表一个物品。我们认为用户评分矩阵是由用户特征矩阵U乘以物品特征矩阵V得到。即A = U*V。因此,如果知道了U、V就不难求得A。ALS假设打分矩阵A是近似低秩的,

2017-04-10 09:36:03

Boost标准库安装

一、前言       Boost库是一个可移植、提供源代码的C++库,作为标准库的后备,是C++标准化进程的开发引擎之一。 Boost库由C++标准委员会库工作组成员发起,其中有些内容有望成为下一代C++标准库内容。在C++社区中影响甚大,是不折不扣的“准”标准库。Boost由于其对跨平台的强调,对标准C++的强调,与编写平台无关。大部分boost库功能的使用只需包括相应头文件即可,少

2016-09-14 16:49:10

opencv安装教程

OpenCv是C++图像处理的重要工具,这个深度网络的项目都得借助OpenCv进行开发的。虽然网上已经有了很多关于OpenCv的配置教程,但出于教程完整性考虑,这里还是用专门的一篇博客来介绍OpenCv的具体配置方法。我们以OpenCv的最新版本为3.1.0版本为例介绍其配置方法。  一、OpenCv的下载安装  首先,给出OpenCv的官方下载地址:OpenCv下载。  

2016-09-14 15:44:21

网址

http://binhua.info/machinelearning/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B7%B1%E5%85%A5%E6%B5%85%E5%87%BAhttp://www.tuicool.com/articles/ZbMBjmhttp://m.blog.csdn.net/article/details?id=5103933

2016-09-13 18:08:33

深度网络之梯度下降算法

回归与梯度下降:       回归在数学上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回归还有很多的变种,如locally weighted回归,logistic回归,等等,这个将在后面去讲。       用一个很简单的例子来说明回归,这个例子来自很多的地方,也在很多的open source的软件中看到,

2016-09-13 17:59:45

BP神经网络后向传播算法

下图显示了三层神经网络的后向传播算法实现过程:    每个神经元有两个单元组成。一个是权重和输入信号。另一个是非线性单元,叫做激励函数。信号e是激励信号。y=f(e)是非线性单元的输出,即是神经元的输出。    为了训练神经网络,我们需要训练数据。训练数据由输入信号(x1 and x2 )和期

2016-09-13 16:15:10

caffe源码剖析之Blob

#ifndef CAFFE_BLOB_HPP_#define CAFFE_BLOB_HPP_#include #include #include #include "caffe/common.hpp"#include "caffe/proto/caffe.pb.h"#include "caffe/syncedmem.hpp"const int kMaxBlobAxes = 3

2016-09-12 09:57:43

卷积神经网络概念与原理

一、卷积神经网络的基本概念    受Hubel和Wiesel对猫视觉皮层电生理研究启发,有人提出卷积神经网络(CNN),YannLecun最早将CNN用于手写数字识别并一直保持了其在该问题的霸主地位。近年来卷积神经网络在多个方向持续发力,在语音识别、人脸识别、通用物体识别、运动分析、自然语言处理甚至脑电波分析方面均有突破。    卷积神经网络与普通神经网络的区别在于,卷

2016-09-05 10:00:27

web前台技术之间的关系html,css,javascript

如果你是一个Web开发初学者,那么你难免会在网上搜索HTML, CSS, XML, JS(Javascript), DOM, XSL等等这些词的意思,然而,随着学习的深入。当你把他们搅在一起,你又糊涂了,你会不停的问,HTML是什么?CSS是什么?XML是什么?JS是什么?它们到底有什么用?无论是网络百科,还是一些IT专题网站,又或者一些牛人博客,他们都会告诉你,某个单一的东西是什么,这类文章很多

2016-08-17 16:00:31

Struts2入门示例教程

回顾Struts2的使用过程,网上搜的教程多多少少都会有点问题,重新记录下创建过程,方便查阅。1、下载Struts2的jar包下载地址:http://archive.apache.org/dist/struts/binaries/我用的是struts-2.3.14-all.zip这个版本2、创建一个web project项目下面给出所有文件均创建完成后的工程

2016-07-28 12:49:04

struts2的核心和工作原理

在学习struts2之前,首先我们要明白使用struts2的目的是什么?它能给我们带来什么样的好处?设计目标   Struts设计的第一目标就是使MVC模式应用于web程序设计。在这儿MVC模式的好处就不在提了。技术优势       Struts2有两方面的技术优势,一是所有的Struts2应用程序都是基于client/server HTTP交换协议,The Jav

2016-07-28 12:47:37

数据分析系统Hive

Hive概述    Hive是由facebook开源,最初用于解决海量结构化的日志数据统计问题。其是构建在Hadoop之上的数据仓库。数据计算使用MR,数据存储使用HDFS。Hive定义了一种类SQL查询语言——HQL。类似SQL,但不完全相同。通常用于进行离线数据处理(采用MapReduce)。可认为Hive是一个HQL-MR的语言翻译器。     上述代码是ma

2016-07-13 15:27:08

Hadoop数据收集与入库系统Flume与Sqoop

Hadoop提供了一个中央化的存储系统,其有利于进行集中式的数据分析与数据共享。 Hadoop对存储格式没有要求。可以存储用户访问日志、产品信息以及网页数据等数据。        常见的两种数据来源。一种是分散的数据源:机器产生的数据、用户访问日志以及用户购买日志。另一种是传统系统中的数据:传统关系型数据库(MySQL、Oracle)、磁盘阵列以及磁带。        Flume由

2016-07-12 20:09:29

Zookeeper基本原理与应用场景

Zookeeper是一个针对大型分布式系统的可靠协调系统。提供的功能包括:配置维护、名字服务、分布式同步、组服务等。目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper已经成为Hadoop生态系统中的基础组件。Zookeeper有如下特点:    最终一致性:为客户端展示同一视图,这是zookeeper最重要的功能。 

2016-07-12 14:48:02

Hbase编程实践

Hbase 访问方式            Hbase 访问方式包括:            (2)、Native Java API :最常规和高效的访问方式;             (3)、HBase Shell : HBase的命令行工具,最简单的接口,适合HBase管理使 用;             (4)、Thrift Gateway :利用Thrift序列化技术,支持

2016-07-06 21:29:57

Hbase的应用场景、原理及架构分析

HBase概述     HBase是一个构建在HDFS上的分布式列存储系统。HBase是ApacheHadoop生态系统中的重要一员,主要用于海量结构化数据存储。从逻辑上讲,HBase将数据按照表、行和列进行存储。        如图所示,Hbase构建在HDFS之上,Hadoop之下。其内部管理的文件全部存储在HDFS中。与HDFS相比两者都具有良好的容错性

2016-07-06 20:17:54

MapReduce 2.0编程实践(涉及多语言编程)

Hadoop提供了三种编程方式:Java(最原始的方式、HadoopStreaming(支持多语言)以及HadoopPipes(支持C/C++)。Java编程接口是所有编程方式的基础。不同的编程接口只是暴露给用户的形式不同而已,内部执行引擎是一样的。不同编程方式效率不同。       与Linux管道机制一致,通过标准输入输出实现进程间通信。几个举例:    

2016-07-05 20:21:56

MapReduce 2.0应用场景、原理与基本架构

现介绍计算框架MapReduce。MapReduce一个应用场景是有大量文件,里面存储了单词,且一个单词占一行。执行任务是如何统计每个单词出现的次数?类似应用场景有搜索引擎中,统计最流行的K个搜索词以及统计搜索词频率,帮助优化搜索词提示。     MapReduce将作业的整个运行过程分为两个阶段:Map阶段和Reduce阶段     Map阶段由一定数量的Map

2016-07-05 19:15:36

Yarn的原理与资源调度

本节,主要介绍yarn的基本原理以及资源调度。在hadoop1.0不能满足多系统集成的背景下孕育了yarn的产生。由于多分布式系统可以很好的集成,因此yarn的出现使得整个集群的运维成本大大降低。同时,yarn可以很好的利用集群资源,避免资源的浪费。除此之外,yarn的出现实现了集群的数据共享问题。不同的分布式计算框架可以实现数据的共享,比如hadoop的mapreduce输出可以作为storm的

2016-07-01 19:24:36

Hadoop生态系统概述

已经不是第一天接触hadoop了,但是系统的学习一直没有进行,为了能更快的成长,决定从今天开始系统的学习大数据。并做相关技术记录。ps:希望不要三分钟热度,半途而废。要为未来的战争时刻准备着...第一次接触hadoop是在清华大学网络研究院,并对此产生浓厚的兴趣。    以上都是题外话,下面开始切入正题,本系列文章打算以hadoop为起点,围绕其对hbase、hive、pig、sqoo

2016-07-01 16:12:43

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!