IIgeoywq-CSDN博客

原创 Spark机器学习过程梳理

最近半个月开始研究Spark的机器学习算法，由于工作原因，其实现在还没有真正开始机器学习算法的研究，只是做了前期大量的准备，现在把早年学习的，正在学习的和将要学习的一起做个梳理，整理一个Spark机器学习完整流程。本文推荐的书籍注重通俗和实战。基础知识Linux基础知识和实战Linux的学习推荐《鸟哥的Linux私房菜》基础篇，这本书是成千上万Linux学习者的入门书籍，诙谐，幽默，深刻，注实战。我

2016-12-10 09:52:40 4668

转载线性代数的本质

最原始出处：http://blog.csdn.net/myan/article/details/647511 （CSDN孟岩的博客）本文转自：http://www.fuqingchuan.com/2015/04/889.html非常精彩的文章，对直观理解矩阵的本质很有帮助，文章标题叫做矩阵的本质可能更合适。编者按：想要机器学习，线性代数必要先行，至于为何，不如看看这篇文章，肯定会有所启发的。同时

2016-11-23 14:26:37 829

原创 Spark高级数据分析（1） ——纽约出租车轨迹的空间和时间数据分析

前言本文在之前搭建的集群上，运行一个地理空间分析的示例，示例来自于《Spark高级数据分析》第八章。 Github项目地址：https://github.com/sryza/aas/tree/master/ch08-geotime ，这个例子是通过分析纽约市2013年1月份的出租车数据，统计纽约市乘客下车点落在每个行政区的个数。在开始正文之前,需要掌握以下基础知识：Scala基础语法S

2016-11-21 15:43:38 13317 5

原创 Android项目新架构（1）—————RxJava

前言我们的新项目采用了 Android 10 大神的Android Clean Architecture 架构模式，目前项目已经基本结束，现在回过头来，梳理一下项目的新架构，为了梳理这个架构，我们必须先介绍几个Android端的新技术——Rxjava，RxAndroid（响应式编程库），Retrofit(网络请求库),Dagger2（依赖注入库），计划写四篇博客：针对Android开

2016-11-04 14:51:31 932

原创利用Docker搭建大数据处理集群

利用Docker搭建数据分析集群前面的android项目刚完，项目总结文章还未写完，公司需要研究数据分析平台，任务下达到我们部门了，自己动手在Docker搭建了三个三节点的数据分析集群，主要包括Hdfs集群(分布式存储集群)，YARN集群(分布式资源管理集群)，Spark集群(分布式计算集群)。在开始正文之前,需要掌握以下基础知识： *Linux基础知识; *Doceker镜像，容器和

2016-11-03 11:46:24 17113 10

转载 Retrofit2.0+okhttp3缓存机制以及遇到的问题

简介retrofit本身并没有缓存。如果想缓存，它要么必须让retrofit之上的应用层知道你的域和如何缓存事物，或它需要在retrofit之下HTTP client层知道HTTP的语义。OkHttp是由Square发布的一个HTTP client，它支持高速缓存服务器响应的语义。如果服务器的响应具有Cache-Control头，例如，它将被缓存，以便随后的请求可以从高速缓

2016-09-21 10:22:19 648

原创 Android集成微信支付之-天坑

项目集成微信支付，折腾了三天左右，坑太多，做个简单记录开通和主要原理不再讲了，参考微信支付官网截个官网的业务流程图，下面好说明1 支付结果回调（图中的17步）支付结果回调，微信官方的说法是：在net.sourceforge.simcpux.wxapi包路径中实现WXPayEntryActivity类(包名或类名不一致会造成无法回调)，在WXPayEntryActivity类中实现onResp函

2016-08-16 16:52:38 672

原创 Python笔记（4）——Python Web框架

一 Python Web框架比较目前主要的Python Web框架有Django 、Flask 、Tornado、web.py等。下面主要对这几个框架做个比对： Python Web框架优点缺点说明 Django 1.文档，api资源丰富齐全 2.开源，遵循MVC设计模式；3.框架功能齐全； 1.框架相对重量2.系统紧耦合，难以用第三方库代替。 Django是目

2016-03-20 21:17:32 701

原创支付宝——手机网站支付接口研究

一 API版本说明下面是官网的说明：做个简单说明： API1.0接口主要用于网站（包括手机端的网站）的调用；API2.0主要用于手机app的调用。根据我们做的手机端网站的接口开发，主要使用API1.0接口。 API1.0接口的请求参数如下：根据上面的请求参数做开发前的准备工作。二开发准备工作2.1 首先需要注册支付宝企业账户详细步骤参考支付宝企业版官网注册。2.2 PID（pa

2016-02-26 22:49:24 6716

原创 Git研究（2）——Git服务器搭建

git服务器都在linux系统上搭建，本片主要介绍三种git服务器的搭建：一 Git服务器本篇在Centos7上搭建git服务器（1）安装git （2）添加git用户useradd gitpasswd git（3）初始化Git仓库#创建git数据存储目录mkdir datacd data#初始化裸仓库，没有工作区git init --bare test.git#更改test.gi

2016-02-19 20:43:44 709

原创 Python笔记（3）——控制语句和函数

一控制语句1.1 条件语句（if）#!/usr/bin/env python3# -*- coding: utf-8 -*-#导入Python内置模块import sys#获取本机当前安装的python版本if sys.version_info.major<3: print('Version 2.X')elif sys.version_info.major>3: prin

2016-02-19 09:20:03 579

原创 Python笔记（2）——数据类型和数据结构

本篇了解一下Python的基础数据类型和数据结构。一基础数据类型基础数据类型描述举例整形（int）包括负整数、无大小限制 a=1print(type(a)) #<class 'int'> 浮点型（float）无大小限制 e=.3.2e1 #3.2print(type(e)) #<class 'float'> 布尔类型（bool）逻辑值 Tru

2016-02-17 21:28:42 772

原创 Python笔记（1）——简介和安装

一 Python简介1.Python是Guido van Rossum（外号龟叔），在1898年写的一门编程语言，目前龟叔仍然是主要开发者，决定整个语言的发展方向。Python社区经常称呼他是仁慈的独裁者。 2.Python的官方描述：”Python is friendly easy to learn Open” 一句话，就是容易学习，简单。 3.Python与Java、C#、C等语言的区别：

2016-02-16 19:28:07 824

原创 Git研究（1）——Git使用总结

git的简介、诞生以及与svn的区别，参见廖雪峰的git教程网站。本篇主要介绍使用git工具的知识点：1.安装Windows下安装git地址：https://git-for-windows.github.io/，一路傻瓜式安装，注意安装到下面的步骤时，第一个是只能用git bash命令行操作git，第二个是可以用git bash和windows自带的cmd命令行操作git，我选择的是第二个。 2.

2016-01-30 16:38:53 597

转载 Activity启动模式图文详解：standard, singleTop, singleTask 以及 singleInstance

Activity启动模式图文详解：standard, singleTop, singleTask 以及 singleInstance英文原文：Understand Android Activity's launchMode: standard, singleTop, singleTask and singleInstance 另外关于启动模式还有篇很好的文章：Androi

2016-01-25 14:20:45 559

原创 Java核心技术笔记——数据结构（3）

本篇主要分析链表（LinkedList），上一篇中通过分析数组列表（ArrayList）源码，发现在列表中间位置添加和删除元素时，ArrayList的元素位置要整体移动，这样效率很低，然而，LinkedList则不同，Java中的链表是双向链接的，即每个节点存储前一个节点的引用，也存储后一个节点的引用（如下图）。 1 LinkedList 类关系图 LinkedList主要实现了List、D

2016-01-21 18:10:14 614

原创 Java核心技术笔记——数据结构（2）

上一篇中的提到集合具体实现类在后续章节中逐一分析，本篇来分析项目中经常用到的数组列表（ArrayList）1 数组列表类关系 ArrayList主要实现了List、RandomAccess、Cloneable、Serializable接口，继承了AbstractList抽象类。 List接口定义了数组列表必须实现的方法 AbstractList实现了List中的通用的方法； RandomAc

2016-01-21 11:08:50 711

原创 Java核心技术笔记——数据结构（1）

java设计了一套集合（也叫容器）类库，来支持最常用的数据结构，Java集合类库采用接口与实现分离的原则。下面主要梳理集合接口，集合类，及集合算法。1 Java集合接口Java的集合接口关系图如下：集合有两个基本接口Collection和Map （1） Collection接口的源码如下：public interface Collection<E> extends Iterable<E>

2016-01-20 15:16:46 592

原创 Android高德地图开发（3）——路况+定位

在上篇的基础上，我们继续添加路况和定位功能：1.路况图层显示高德地图封装了交通路况信息，通过调用AMap 类的方法setTrafficEnabled()，显示路况信息。

2016-01-19 10:26:14 2917 2

原创 Android高德地图开发（2）——地图显示+自定义控件

在上篇文章中，我们已经申请了高德地图开发KEY，并在android studio中部署了高德地图开发环境，这篇文章介绍如何显示地图和自定义控件。

2016-01-19 10:18:43 4469

原创 Android高德地图开发（1）——准备阶段

1 地图SDK下载高德地图Android SDK主要包括地图SDK、搜索SDK和定位SDK。其中地图SDK有包括2D地图SDK和3D地图SDK。（1）3D SDK，提供矢量地图显示、离线地图等功能。（2）2D SDK，提供栅格地图显示、覆盖物绘制等功能。（3）搜索 SDK，提供兴趣点搜索、路径规划、公交查询、地理编码等功能。（4）定位 SDK，提供定位、逆地理编码（地址的文字描述

2016-01-19 09:37:17 1711

IIGEOywq