- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 fastjson解析json字符串和数组+Scala时间处理
废话不多说直接上代码1.Json解析package scala.csdnimport com.alibaba.fastjson.JSONobject ParseJson { def main(args: Array[String]): Unit = { //解析json字符串 val jsonStr = "{\"name\":\"Michael\"}" v...
2019-08-28 23:12:54
2533
原创 Hive初学者常用的一些命令
Hive菜鸟指南Hive简介Hive对我来说就是一个基于HDFS的数据仓库，它提供了一个种SQL语言，能让不精通Java语言而熟悉SQL语言的工程师，快速的对HDFS或其他存储文件系统如Amazon，S3，上的数据进行数据分析，是Hadoop生态系统中非常重要的一个工具。2.Hive常用语句2.1菜鸟建表法1.直接建表，指定分隔符，默认存储为text，也可以指定存储格式！cr...
2019-04-25 23:00:06
576
翻译 机器学习之数据准备
04 | 数据准备数据准备阶段包含从原始数据到形成最终数据集（将要被喂给模型工具的数据）的所有操作。数据准备任务可能要进行多次，没有规定的固定顺序。任务包括：表，记录和特征选择以及为了模型工具的数据清洗和转换。-数据准备是费时间的纽约时报的一篇文章报道，数据科学家在挖掘出有价值的“金块”之前要花费50%到80%的时间在很多诸如收集数据和准备不规则的数据的普通任务上。混乱的数据是数据科学...
2018-10-03 00:07:17
9292
翻译 机器学习之数据理解
03 | 数据理解-数据理解收集原始数据获取或者下载数据 从不同的数据源或者有关系的数据合并为一个数据集描述数据数据的描述性统计 数据的特征机构挖掘数据（原始数据分/挖掘）数据挖掘对原始数据提供一个直观的感受 对数据可视化以发现有用的模式 这一步可能有些数据问题不被发现 可能的描述猜想会知道新数据集合和试验真实的数据质量错误，异常和缺失值-数据挖掘数据...
2018-09-29 20:42:52
1046
翻译 机器学习概览之商业理解
02 | 商业理解-理解商业要对你要解决的问题有一个清晰的认识，为了你解决问题的目标它如何影响你的计划。在这个阶段的任务主要包括如下几点：明确你的商业目的 评估你的处境 定义你的数据挖掘目标 制定你的项目计划-如何开始呢？问一个你能用数据回答的问题是一个不错的开始。-问一个尖锐的问题-尖锐问题尖锐问题可以以名字或者数字回答 我的股票价格下周会...
2018-09-27 22:02:19
756
翻译 机器学习概览2
-什么是机器学习？机器学习就是一段可以从经验中学习计算机程序，关于一些任务T和以及程序在任务T中的表现的性能评估P，程序能随着经验不断的提升性能。-更多关于机器学习的定义机器学习是一门让计算机在不被明确编程的情况下行动的科学。---吴恩达机器学习是一项能帮助计算机从现有数据中学习，以便预测未来的行为，结果和趋势的数据科学技术。---微软-机器学习利用历史数据进行预测...
2018-09-26 19:28:40
303
翻译 机器学习概览
第一部分：机器学习基础01 | 概览-机器学习无处不在从左至右：自动驾驶，人脸识别，垃圾检测，信用卡欺诈检测从左至右：维护（故障）预测，销售预测，语音识别，机器人-计算机视觉正在超越人类能力左图上：椅子，餐桌，人。左图下：狗，人，树叶。右图：此图显示的是ImageNet图像识别大赛在2012-2015年的表现，随时间推移错误率一直在下降，并在2015年低于了...
2018-09-23 22:33:06
270
原创 开始机器学习-Getting Started With Machine Learning
前段时间网上查机器学习相关资料，无意间发现一个文档，里面是英文版的机器学习笔记，分为机器学习基础和机器学习算法两部分，该文档是以为机器学习爱好者的苦心之作，然后为了学习，我就想试着翻译一下，就当是学习一下英文，然后顺带着复习一下机器学习的相关理论。 目前是这样计划的：翻译的顺序就按照文档的目录顺序进行，然后根据自己的理解添加一些自己的说明，或者补充一些相关的概念或...
2018-09-23 12:35:27
1828
1
原创 基于networkx分析Louvain算法的社团网络划分
图论之-Python NetworkX 入门1：图论概述1.1图论基本概念1图一个图G = （V, E）由一些点及点之间的连线（称为边）构成，V、E分别计G的点集合和边集合。在图的概念中，点的空间位置，边的区直长短都无关紧要，重要的是其中有几个点以及那些点之间有变相连。图1：图示例2有向图和无向图最基本的图通常被定义为“无向图”，与之对应的则被称为“有向图”。两者唯一的...
2018-08-16 20:08:34
23902
19
原创 Python读取CSV和解析json格式数据
1读写CSV文件原始CSV文件数据图1：股票数据stocks.csv2将股票数据读取为元组序列代码：import csvwith open('stocks.csv') as f: f_csv = csv.reader(f) headers = next(f_csv) print(headers) for row in f_csv:...
2018-08-15 21:00:35
35241
原创 手撕贝叶斯之垃圾短信（邮件）识别
基于贝叶斯的垃圾短信分类利用贝叶斯对垃圾短信（邮件）分类想必是入门机器学习的首选排行前三的一个实例，对于一个算法原理的了解和手撕这个算法还是有一定的差距的。对于贝叶斯分类算法的原理可以用一句话概括：通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。用公式来解释其实主要就是利用条件概率公式：然而今天的主题不是讲解贝...
2018-08-13 21:35:48
5146
8
原创 机器学习常见归一化方法及实现
归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为标量。 在多种计算中都经常用到这种方法。在对数据进行算法训练时，由于数据的问题可能导致算法的效果并不理想，这时候可以考虑一下对数据进行归一化方法。比较常用的又线性归一化，0均值归一化，以及其他数学函数演变而来的归一化方法。下面列出我所用过的归一化方法。线性归一化—Min-Max归一化。公式如下Xnorm...
2018-08-11 23:17:05
15629
原创 Python爬虫获取PPT模板
多风格PPT任君挑作为一个资深直男，审美风格一直被好友所诟病。然而直男的另一大特点就是，爱咋咋，反正已经这样了，这种破罐子破摔的心理需要适当的改变了。毕业前夕为了将四五十页的论文压缩到十几页的PPT上真是愁白了头，看着别人高大上的图标，醒目的背景，酷炫的动态效果吊炸天，心想一个PPT而已，至于吗，Ctrl+C—>Ctrl+V不就解决了吗。何必费那么大周折。嘴上这么说，心理也是极其渴望能做...
2018-08-09 22:42:24
14633
2
翻译 scikit-learn之线性回归
1、线性回归（Linear Regression）下面是一个用于回归方法的集合，其目标值是根据输入变量的线性组合(Linear combination)表示。在数学概念中，y^表示预测值(predicted value)。y^(w,x) = w0+w1x1+w2x2+....+wpxp.由上面模型，我们指定向量W=(w1,w2,...wp)为系数(weight)coef_，和w0为截距inte
2018-02-13 23:00:53
742
原创 图像处理基础2
1、图像处理是总是会用到模糊处理：其本质则是灰度图片与高斯核做卷积，当然也有其他核函数做卷积操作。高斯模糊只是图像处理操作的一部分而已，其他有图像插值，兴趣点计算等。 2、Scipy库有两个比较常用的对图像进行模糊处理的滤波函数：可以导入包来回去不同的滤波函数：from scipy import ndimage.filters.有prewitt滤波器和sobel滤波器...
2018-02-11 20:17:15
299
原创 图片处理小结1
2016年被称为人工智能的元年。随着AlphaGo战胜李世石，人工只能再一次站在时代的风口浪尖。但是人工智能觉不仅限于AlphaGo打败李世石这样一个应用，在智慧安防，智慧交通，智慧医疗，智慧语音等等无不渗透着人工智能的身影。2017年，人工智能已经上升到国家战略层面。2017年11月15日，《新一代人工智能发展规划》暨重大科技项目在京启动，会上公布了首批共四家国家人工智能开放创新平台名单...
2018-02-09 20:59:16
439
原创 Samba部署和优化
上一篇写到邮箱的Linux shell爬虫。爬取后的文件你可能想在windows系统下查看，那么要实现Linux与Windows系统的文件共享，Samba其实是不错的选择。当然还有其他的方法和工具。比如psftp这个工具也是蛮好用的，之前没有部署Samba的时候有时候需要从Windows往Linux传文件，或者从Linux往Windows传文件，我都是使用这个工具。下面简单说明一下这个工具的使
2017-09-16 14:36:42
4341
原创 用Linux shell脚本爬取豆瓣邮箱
前两天总结一下邮箱格式的正则表达式，写了一个脚本来判断输入的邮箱地址是否符合邮箱的格式（有兴趣的朋友可以翻一下我的博客去看一下）。在网上找资料的时候，发现基本都是用Python和Java来做爬虫，当然Python的居多。本着学习的心态，既然得到了邮箱地址有效性的判断，那就顺便用脚本写一个抓取网页邮箱的爬虫吧。豆瓣上着了一个网页，是一个人发起了一项活动，让大家留下邮箱，然后和陌生人进行邮箱通信，
2017-09-15 13:48:23
1504
原创 鸟哥私房菜第十三章习题答案
1新建一个script，当你执行该script的时候，可以显示你目前的身份和你目前所在的目录。2自行写一个程序，计算你还有几天可以过生日。3让用户输入一个数字，程序可以由1+2+3……一直累加到用户输入的数字为止。4编写一个程序，它的作用是查看/usr/local/sbin/niaoge13/logical这个名称是否存在，若不存在，则创
2017-09-14 16:18:18
3260
原创 Linux shell验证邮箱的有效性
最近又好多天没总结了，这两天偶然间网上听了一节课用shell脚本做爬虫。于是就从最基本的邮箱搞起来，今天总结了一些正则表达式的基础写了一个一个验证邮箱有效性的shell脚本。一下是总结内容：电子邮箱（E-MAILBOX）是通过网络电子邮局为网络客户提供的网络交流的电子信息空间。电子邮箱具有存储和收发电子信息的功能，是因特网中最重要的信息交流工具。在网络中，电子邮箱可以自动接收网络任何电子邮箱所
2017-09-12 21:08:31
5868
原创 zabbix安装报错集锦
这两天在Linux上安装监控cacti和nagios以及zabbix，真是让人没脾气，由于很多的原理不清楚，配置文件看不太懂，所以按照老师步骤做的时候，错误真是花式涌现。先总结一下今天的问题，明天把这几个监控都搞定之后再总结剩下的问题。1
2017-09-03 22:20:12
644
原创 Linux文件系统小结
Linux操作系统相对于桌面操作系统Windows，在文件系统设计上，有一个很重要的可以说是Linux哲学的思想：一切皆文件。Linux\Unix认为，系统和所有的硬件设备的交互都应该如同文件操作一样简单易行，文件也不应该和应用程序绑定，比如.doc必须有Word才能打开，你可以在Linux上用cat打开任何文件（有意义的话）。因为Linux是开源的，利用Linux来开发软件的团队或个人太多了
2017-09-02 22:39:30
382
原创 virtualbox安装centos，putty远程连接
前几天装了双系统win7和centos，电脑卡的不行，因为开机引导的问题，搞得系统都进不去，很无奈的电脑又换回了win7。但是为了学习还是得有个Linux系统呀，于是下了个virtualbox虚拟机，因为VMware有点大，本人的电脑内从和硬件马上都要黄土了，所以选择了virtualbox。装系统的过程也是各种坑那，总结如下。1安装的如果是Centos的话，刚开始的时候选择系统版本，你会发现找
2017-09-01 18:36:08
619
原创 常用端口及其所代表的协议
今天老师搞了个小测验，对自己近期所学进行检验，一塌糊涂。每天都在接受新课程，新东西记不住，学过的又忘了。总结：还是得时不时回顾一下学过的知识，温故而知新。说说今天的测验吧，其中有一道题，给出了几个常用的端口号，让写出这些端口所带表的服务及协议，一脸懵逼，没上过网络基础的我真的是懵逼了，前几天买了一本网络基础，才看了两章，今天看到第三章，看着看着发现这不是今天测验的内容吗，后悔前两天要是不偷懒的
2017-08-29 19:04:34
743
原创 Linux之nfs部署
1. nfs 部署一服务端配置 NFS1 服务端安装NFSCentOS 上使用 NFS 服务，需要安装两个包(nfs-utils 和 rpcbind), 不过当使用 yum 安装nfs-utils 时会把 rpcbind 一起安装上:# yum install -y nfs-utils运行结果如下，安装成功。 2.修改配置文件#vim /etc/exports
2017-08-26 18:20:01
210
原创 win7上装Linux的一些注意事项
学习了一些Linux的操作之后，本着学习的精神想着把自己的电脑装上Linux。之前在机房的虚拟机上装了五六遍CentOS，觉得装系统还是蛮简单的，流程也不是太复杂，于是就在网上大概查了一下流程。 先是用在网上下载镜像文件CentOS-6.3-x86_64-bin-DVD1.iso，和启动U盘制作工具UltraISO，按照网上的教程吧自己的U盘格式化做成了Linux CentO
2017-08-25 21:55:15
1861
原创 Linux之mv
命令格式：mv + [选项]+ 源文件或者目录 + 目标文件或者目录如果目标参数不存在，那么就是对源参数进行重命名。如果目标参数是已经的文件或者目录，那么就是将源文件或者目录进行覆盖或者移动，此时源文件消失。命令功能：进行文件、目录移动或重命名。实验步骤：1# man mv> more_help.file（通过数据流定向，将mv的帮助用法重新写入到more_help.file）
2017-08-24 15:50:47
251
原创 Linux之ls 命令
Ls这个命令估计是新手最常用的命令之一了，因为Linux系统对所有的内容都是以文件的形式显示，对于刚接触Linux系统的人，每每做完一个骚操作就特别想看看发生了什么奇迹的事情于是会用这个命令来显示操作效果。命令格式：ls + [选项] + command。不带任何选项，是对目录内容的普通显示。选项-a：列出目录内的所有文件（包含隐含文件）。选项–l：列出文件的详细信息（包括文件属性
2017-08-24 09:41:40
1575
原创 Linux之解压缩常用命令
最近学习Linux搭建LAMP（Linux+Apache+MYSQL+PHP）和LNMP（Linux+Nginx+MYSQL+PHP）环境，在Linux上下载下的都是这些软件的安装包，所以需要进行解压之后再进行安装，这就需要用到一些解压缩的命令了。因为每个命令对应的都有很对选项，所以本文只是对最常见的操作进行总结。注：本人初学Linux，对很多问题理解的用到也不是很透彻，所以本文只是个人学习总结。
2017-08-23 20:03:56
300
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人