6 SunnyMarkLiu

尚未进行身份认证

https://github.com/SunnyMarkLiu

等级
TA的排名 1w+

Machine Learning & Deep Learning 论文阅读笔记

PapersMy Machine Learning & Deep Learning Papers Notes.

2017-08-07 11:21:23

Python OpenCV3 VideoCapture读取视频文件失败解决方案

问题描述环境:Windows 7、Python2.7、OpenCV3.2、Miniconda2 如下代码不能打开视频:def playing_video_from_file(): # videocv2.VideoWriter_fourcc(*'mp4v') videoCapture = cv2.VideoCapture() videoCapture.open("../vide

2017-04-21 16:54:57

Hadoop生态系统搭建(5)—— 分布式协同服务框架 Zookeeper 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署1.下载 zookeeper:zookeeper-3.4.6.tar.gzwget http://mirror.bit.edu.cn/apa

2017-04-18 15:24:49

Hadoop生态系统搭建(4)——高性能分布式 NoSQL 数据库 HBase 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署关键点:Introduction to HBase ArchitectureAn In-Depth Look at the HBase

2017-04-14 19:36:31

Hadoop生态系统搭建(3)——数据仓库 Hive 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 安装部署此处选择在 master 节点安装 HIve。 1.下载 hive 1.2.2 版本,http://hive.apache.org/do

2017-04-12 22:37:59

Hadoop生态系统搭建(2)——数据分析脚本 Pig 的安装部署与测试

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 部署步骤此处选择在 master 节点安装 Pig。 1.下载 Pig:http://www.apache.org/dyn/closer.cgi/

2017-04-12 16:46:26

《Hadoop 2.x HDFS源码剖析》2 — HDFS 通信协议

HDFS 涉及数据节点、名字节点和客户端之间的配合、相互调用,为了降低节点间代码的耦合性,提高单个节点代码的内聚性,HDFS 将这些节点间的通信抽象城不同的接口。HDFS 节点间的接口主要有如下两种:Hadoop RPC 接口:HDFS 中基于 Hadoop RPC 框架实现的接口;流式接口:HDFS 中基于 TCP 或者 HTTP 实现的接口; Figure 1. HDFS 组建通信

2017-01-07 21:55:33

《Hadoop 2.x HDFS源码剖析》1 — HDFS 体系结构与基本概念

HDFS 体系结构  HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)最开始作为Apache Nutch搜索引擎的基础架构而开发的,是Apache Hadoop Core项目的一部分。HDFS是一个可以运行在通用硬件上、提供流式数据操作、处理超大文件的分布式文件系统。   HDFS是一个主/从(master/slave)体系结构的分布式系统,如下

2017-01-06 20:29:29

Ubuntu16 搭建 Hadoop2.x HDFS 源码测试环境

由于整个 Hadoop 源代码过于臃肿,此处搭建 HDFS 源码分析环境,分析 HDFS 源码,为后续分析 MapReduce 和 Yarn 等作基础。1. 下载 hadoop-2.7.3.tar.gz 和 hadoop-2.7.3-src.tar.gz官网下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.3/ 分别解压两个压缩包: ha

2016-12-20 15:59:25

通过工具查看Hadoop的 fimage 文件和 edits 文件

Offline Image ViewerWeb Processorhdfs oiv -i fsimage 通过只读的 WebHDFS API 查看 fimage 所记录的文件系统信息: bash$ bin/hdfs oiv -i fsimage 14/04/07 13:25:14 INFO offlineImageViewer.WebImageViewer: WebImageViewer

2016-12-12 17:51:18

解决 Hadoop 集群执行包含 third-part lib 的 jar包的 ClassNotFoundException 问题

1 异常信息WordCount 的 maven 工程包含一些第三方的 lib,打包 package 之后的 jar 包放到 Hadoop 集群执行时报如下异常Class/File NotFoundException:使用 jd-gui 反编译生成的 jar 包,也可发现没有包含 guava:但 maven工程的 External Libraries 里包含 guava 的依赖:所以,问题出在 mav

2016-12-04 21:41:25

hadoop2.7 动态新增节点和删除节点

1. 系统环境Ubuntu 16.04 vmware Hadoop 2.7.0 Java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.130 clone 一份 slave2 作为新增的节点 slave3,修改静态 IP 为 192.168.19.131,同时修改 master 、slave1

2016-11-29 19:25:39

Hadoop生态系统搭建(1)——Ubuntu16.04环境搭建 Hadoop 2.7.0 全分布式环境

1. 系统环境Ubuntu 16.04 vmware hadoop 2.7.0 java 1.8.0_111master:192.168.19.128 slave1:192.168.19.129 slave2:192.168.19.1302. 部署步骤2.1 Basic Requirements1.、添加 hadoop 用户,并添加到 sudoerssudo adduser hadoop

2016-11-28 21:46:08

CGLib basic tutorial

CGLib basic tutorialEnhancerEnhancer允许创建接口类/非接口类的代理类,Java 的 standard library 自带的类Proxy用于创建实现指定接口的代理类。 Enhancer创建的动态代理类可以拦截指定类的所有方法的调用。Demo:待创建的代理类 POJO:public /*final*/ class SampleClass { public S

2016-09-25 19:30:03

CGLib、Proxy、Aop resources

Create Proxies Dynamically Using CGLIB LibraryCGLib: The Missing Manual

2016-09-24 20:53:39

ubuntu 手动安装 mysql

ubuntu 手动安装 mysql打开mysql下载页面( http://dev.mysql.com/downloads/mysql/ ) ,在 Select Platform:下选择Linux-Generic,下载Linux - Generic (glibc 2.5) (x86, 64-bit), Compressed TAR Archive(针对自己的机器机型选择)将下载的 tar.g

2016-09-11 22:17:14

Awesome Design Patterns Summary in java

Awesome Design Patterns  Awesome Design Patterns Summary in java.1. Creational PatternSingletonSimple FactoryFactory MethodAbstract FactoryBuilderPrototype2. Structural PatternAdapterComposite

2016-09-08 20:44:09

ZooKeeper 单机模式和集群模式的环境搭建

ZooKeeper环境搭建下载最新稳定版的 Zookeeper使用的是最新稳定版的 zookeeper-3.4.9Standalone Operation1、 将下载的 ZooKeeper 解压,进入 conf 目录,复制一份 zoo_sample.cfg 的配置文件命名为 zoo.cfg,修改如下:# the basic time unit in milliseconds used by ZooK

2016-09-06 09:46:17

Maven3 + Spring4 + SpringMVC4 + Mybatis3

Maven、Spring、SpringMVC、Mybatis 整合基本流程1 整合思路1.1 Spring、SpringMVC、Mybatis 整合的系统架构:1.2 整合基本流程  整合采用自下而上的方式整合:第一步:整合 dao 层,mybatis和spring整合,通过spring管理mapper接口。使用 mapper的扫描器自动扫描mapper接口在spring中进行注册。第二步:整合

2016-08-27 11:27:41

Spring MVC Basic Process Flow

Spring MVC Basic Process Flow1. Spring MVC Basic Framwork    2. DispatcherServlet Source Code  DispatcherServlet继承自HttpServlet,所以入口为 doService 方法: @Override protected void doService(HttpServletR

2016-08-03 17:20:27

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!