sdoddyjm68-CSDN博客

原创用Spark分析Pokemon精灵的传说级潜质

拿到了一个有趣的数据集，当作Spark的实践项目，目标是根据精灵的能力值预测精灵是否是传说级的精灵一起来成为伟大的训练师吧！首先，读取数据，并查看数据的基本信息：有18个特征：against_* 是该精灵对其他系的精灵（比如龙系、超能力系）时能造成的伤害（比如水系克火系，那么火系精灵对上水系精灵就会输出减半，相反水系对火系则会伤害翻倍）。原数据集这些列的元素只有0.5，1，2三个值...

2018-03-12 10:15:59 730 1

原创 learning-spark学习笔记（2）：reduce()、fold()和aggregate()的区别

reduce()、fold()和aggregate()都是在spark中对RDD的聚合操作，在理解这几个函数的时候费了一点劲reduce()和fold()要求操作的RDD是同种类型，也就是操作的元素类型和返回的元素类型一致temp = sc.parallelize([1,2,3,4])sum = temp.reduce(lambda x, y: x + ｙ）注意这里x指的是这...

2018-03-10 11:02:09 2746

原创 learning-spark 学习笔记（1）：装个环境

最近在学习 Spark框架版本迭代很快，这本书上的Spark版本是1.1，对应的hadoop版本是2.4。遗憾的是Apache Spark已经不提供1.1版本的下载了，为了避免版本更迭导致的学习受阻，要尽量采用低版本的Spark和hadoopSpark下载地址：Apach Spark。 Spark提供java、scala及python的api接口如果使用的是python且pytho...

2018-03-07 23:15:48 673

原创 RPC：at-most-once vs at-least-once

RPC（Remote Procedure Call）是分布式系统机制的重要部分，被广泛使用RPC消息传输： RPC的软件结构： RPC中 Client 可能会出现的 failure：Client 没有收到 Server 的回应Client 不知道 Server 是否收到了 Request（或许 Server/Net 在发送回复的时候失败了）最简单的解决 failu...

2018-03-02 12:36:01 3769 1

原创 TFSVM：用TensorFlow实现SVM

较基础的SVM，后续会加上多分类以及高斯核 Talk is cheap, show me the code import tensorflow as tffrom sklearn.base import BaseEstimator, ClassifierMixinimport numpy as npclass TFSVM(BaseEstimator, ClassifierMixin)...

2018-02-27 19:10:01 2189 3

原创解决Tensorflow读取MNIST数据集时网络超时问题

最近在学习TensorFlow，比较烦人的是使用tensorflow.examples.tutorials.mnist.input_data读取数据from tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets('/temp/mnist_data/')X = mni...

2018-02-10 18:12:39 3669 2

原创 2015上海城市道路拥堵指数分析（EDA）

本次研究使用的数据集是2015年上海SODA竞赛的城市数据集，拿到数据后我就确立了本次数据挖掘的题目——对于上海市道路交通拥堵指数的分析，并实现不同位置在一定精度（80%）下的交通拥堵指数的预测。根据主观感觉，一个位置特定时间的交通拥堵指数可能跟这个路段的天气情况（降水、温度、风向、能见度等）、空气质量（PM2.5指数）和道路情况相关，所以本次数据分析选用的数据集有城市交通拥堵指数.csv、空

2018-01-30 23:54:22 8365 11

原创 HandsOn-ML学习笔记（1）用机器学习方法解决简单回归问题

很久没法博客了，可能自己也变懒了，正好最近在看一本大神推荐的书，准备写写笔记，把自己不会的，解决了的记录下来。文中的中文全部来自作者蹩脚的翻译，还望理解书名叫《Hands-On Machine Learning with Scikit-Learn & Tensorflow》，我用的是东南大学的影印版，封面大概是这个样子（图片来自京东）第一章主要是讲了机器学习的基础知识，主要的几个分类（

2018-01-06 21:25:55 3709

叶家鸣《软件工程（C编码实践篇）》MOOC课程http://mooc.study.163.com/course/USTC-1000002006一、学习心得我是一名非计算机专业毕业的学生，学习网易云课堂上软件工程这门课是想来提升自己的计算机编程能力。这门课的代码量并不算大，孟宁老师更关注的是将软件工程的思想教授给我们，让我们以后在面对复杂的工程问题时，采用软件工程的方法，做到高内聚低耦合、构件化软件

2017-11-07 15:52:45 253

原创 JPG、PNG与MNIST数据集之间的转换

最近用到手写识别，想起来 TensorFlow 的 tutorial 上有个手写识别的教程，想正好拿来用。但是问题很明显，TensorFlow 上的这个教程手写数据集的前期处理是自动完成的，如果我想输入自己的手写图片，该如何做前期处理呢？TensorFlow 用到的数据集是MNIST，在数据集的官网上可以看到，MNIST 把图片文件转成了特定格式的二进制文件，文件后缀为 idx3-ubyte同时百度

2017-11-02 22:30:35 9689 28

原创香港大学深度学习课件笔记（1.5）

上一节介绍了 TensorFlow，Softmax，还有简单的一些分类算法，这一节主要介绍一下几点：逻辑回归（Logistic Regression）Deep Neural NetworkDNN 的优化ppt 首先用了异或数据组做引例：模型选用的经典的逻辑回归，效果怎么样呢：x_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]], dtype=n

2017-10-31 22:55:13 655

原创 # Software-eng lab 6

Riderppp 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006实验结果修改menu.c之后：Makefile 以及 Makefile clean：实验过程首先是将 menu 改为子系统并添加接口，然后使得 menu 系统支持带参数的命令，这里贴出主要部分的代码，总体同上一个实验的代码相差不多：// men

2017-10-31 16:45:30 314

原创香港大学深度学习课件笔记（1）

机器之心的公众号分享了香港大学的深度学习课件，比较通俗易懂，遂捡起来学习。在这里做一下笔记记录一下学习过程的感悟上图在ppt中频繁出现，也表现了 TensorFlow 的核心：输入数据或图像，用 TensorFlow 操作建立模型，更新模型中的变量。接下来简单介绍了下 TensorFlow 中的一些基本概念：在 TensorFlow 中，使用图来（graph）来表示计算任务在被称之为会话（s

2017-10-26 19:07:26 579

原创 # Software-eng lab 5

Riderppp 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006实验结果实验过程这次实验首先是要求从源文件中找到bug，一开始的时候输入quit命令会显示指令错误，如下图找了好久可算找着了，原因在linktable.c这个文件中（这里贴出修改后的代码）/* * linktable.c * 原代码中w

2017-10-21 15:41:31 319

原创 # Software-eng lab 4

Riderppp 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006实验结果这期是用可重用的链表完成命令行菜单小程序。在前两期中用的是函数调用来完成小程序，扩展性较差，链表很好地解决了这个问题。实验代码/* * linklist.h * 主要是数据节点结构的定义以及寻找命令和显示全部命令的函数声明 *

2017-10-12 19:52:07 241

原创 # Software-eng lab 3

Riderppp 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006

2017-09-28 19:23:23 256

原创 # Software-eng lab 2

Riderppp 《软件工程（C编码实践篇）》MOOC课程作业http://mooc.study.163.com/course/USTC-1000002006实验结果本次实验要求写一个不少于八个功能的小程序，代码如下：#include <stdio.h>//以下是八个功能void printSomeStar(){ for(int i = 0; i < 5; i++) p

2017-09-22 16:42:01 274

原创 # Software-eng lab 1

Linux的使用与hello world小程序的编译实验结果实验流程打开终端，创建一个新的文件hello.c，在vim下完成代码的编辑执行后的结果：下面将hello.c添加到本地的git库：git commit -m "hello world"添加成功：打开自己的GitHub的主页，创建新的repository，同时在终端设置本地git上传的用户名和repo名，将hello.c上传#设置名字

2017-09-15 16:34:11 362

sdoddyjm68的博客