JasonTome-CSDN博客

转载 spark学习之combineByKey函数

在数据分析中，处理Key，V alue的Pair数据是极为常见的场景，例如我们可以针对这样的数据进行分组、聚合或者将两个包含Pair数据的RDD根据key进行join。从函数的抽象层面看，这些操作具有共同的特征，都是将类型为RDD[(K,V)]的数据处理为RDD[(K,C)]。这里的V和C可以是相同类型，也可以是不同类型。这种数据处理操作并非单纯的对Pair的value进行map，而是针对不同的k

2017-04-27 13:29:58 763

转载初识Spring Boot

前言：Spring Boot旨在简化Spring的开发，因此学习Spring Boot的时候就不可避免需要涉及到Spring的方方面面。Spring Boot将很多魔法带入了Spring应用程序的开发之中，在spring Boot中有四个特别重要的内容：分别是自动配置、起步依赖、命令行界面和Actuator。同时Spring Boot也将改变我们传统的开发方式，将我带入微服务的世界。自

2017-04-27 13:27:23 771

转载 scala如何连接和操作mysql/oracle/sqlserver数据库

【问题场景】　　在scala中怎么连接mysql/oracle/sqlserver数据库，进行数据库操作。* 【解决思路】　了解scala的强大特性我们会发现java中的东西，scala基本可以拿来使用，那么要解决scala连接数据库的问题，自然是可以通过java最经典的JDBC方式来解决，当然了现在针对scala操作数据库的，已经有涌现出了很多封装框架如ScalaQuery

2017-04-27 13:24:56 3781

转载 Spark Core核心编程之广播变量剖析

本文转自AiTi修炼|大数据技术窥探记录一些个人学习Scala,Spark,Hadoop,Storm,Nodejs,RSpark,Storm,Hbase,Hive,Flume等IT技术的历程如果深入思考spark的分布式集群工作过程，就会发现有一些问题是分布式多节点需要考虑解决的。如一些变量在集群节点之间的拷贝。如我们在应用程序中编写代码，实际运行时候是将相关的代码

2016-10-12 14:43:14 661

转载 Spark学习资源整合(持续更新)

一、为什么学习Spark 大数据技术快速发展，Spark为Hadoop大数据技术生态体系带了新的活力与技术革新。至于为什么学习Spark，这样的问题真的是一千个人心中有一千个哈姆雷特。Spark的官网告诉我们：Apache Spark™ is a fast and general engine for large-scale data processing.而其独特魅力已经在疯狂地影

2016-08-29 22:34:40 1051

转载 scala案例学习之Currying柯里化

【写在前面】由于之前工作的一些特殊情况，加上在比较多使用知识管理软件（为知/有道云笔记等）后，就越来越少写博客，但在生活工作却总感觉缺少了点东西，蓦然回首发现原来是“丢失了”"学习写作"的修炼心。故有必要重新治理一下博客，以rscala.com记录、分享自己在IT技术自我修炼与窥探历程。一、初识Currying柯里化柯里化（Currying）技术 Ch

2016-08-29 22:26:52 1693

转载转载hadoop实践路上异常问题以及相关解决方法记录

hadoop实践路上异常问题以及相关解决方法记录，这篇文章不错，帮我解决了hadoop几个折腾了好久的问题，记录一下。原文转载自：http://rscala.com/index.php/38.html

2015-07-05 01:16:40 520

转载 jkd7、tomcat7安装详解。Neither the JAVA_HOME nor the JRE_HOME environment variable is defined 错误解决

1.JKD7直接双击就可以安装。无需多讲.两者配套使用jkd7下载地址：http://www.oracle.com/technetwork/java/javase/config-417990.htmltomcat7下载地址:http://tomcat.apache.org/download-70.cgijdk环境变量配置：我的jdk安装在c盘。则把C:\Progra

2014-05-25 15:39:28 17253 1

转载网络分析能力修行模型

概述数次应业内朋友之邀，为其团队培训网络分析技术，从第一次开始，我就着手架构这个能力修行模型的框架，但还不够完善和成熟。随着我对网络分析技术理解的深入和本身水平的提升以及培训次数的增加，我不断的将其完善，并最终形成现在的雏形。根据这个网络分析能力修行模型，初学者可以清晰了解如何入手学习网络分析技术，并按部就班、循序渐进的提升网络分析技术的能力水平。

2013-07-31 01:05:08 1154

转载别具匠心的HTTP应用层行为设计

今年的年初，有位兄弟在QQ跟我讨论一个较为少见的报文交互情况，我当时在看了具体的报文交互之后，对他说是某种HTTP探测机制，他则对我说有人认为是某种SACK的重传机制，记得我曾说过我会找时间好好研究一下这个交互的行为，后来的确也写了一些分析、画了一些图示，但是在未完成的情况下被耽搁了，直至最近才把这个翻出来，闲话少说，我们还是直奔主题，一起来看一下这个有意思的应用交互行为吧。

2013-07-31 01:02:25 792

转载网络分析技术学习步骤

网络分析技术学习步骤网络分析有以下典型作用：　查看网络中的流量分布；l　查看网络中的协议分布；l　查看网络中各主机的通讯信息；l　快速定位并排查网络故障；l　找出网络中潜在的安全隐患；l　查找网络中的蠕虫病毒攻击，黑客攻击，木马攻击；l　协议学习；l　。。。。。。l对于网络分析的学习，我们推荐按照以下的学习步骤：首先，必须了解并掌握网络分析的

2013-07-31 01:01:26 1115

原创使用sql提取url域名信息

rl截取分析过程，在话单采集过程中，对访问记录url进行分析。1.URL是IP:port截取出IP和端口2.url是域名的，保留域名select t.url,substr(url, 8),substr(substr(url, 8), 1, instr(substr(url, 8), '/')-1),substr(substr(substr(url, 8), 1, ins

2013-07-29 22:16:16 1846

转载 storm简介

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一

2013-06-23 21:28:00 621

转载大数据处理点滴笔记

自我头脑风暴，说得对与错都请指点，后续补充。当下三大技术热点：高并发、分布式、大数据（也许，还有很多，这只是自我修炼的三个目标）。大数据处理系统有几点要求：低延迟高性能分布式可扩展（更多的要求是可横向扩展）容错现在用的比较多的就是Hadoop、Storm。 Hadoop依赖于HDFS磁盘延时较高（可精确到小时）统计结果存在HBase

2013-06-23 21:24:31 539

转载需求分析与系统设计的面向对象推导过程

几年前写的了，这两天整理东西的时候又给翻出来了，当时是公司让给我给设计人员讲讲如何写面向对象的设计说明书，所以临时东拼西凑的弄了这么个东西，毕竟是用于内部培训的，有些东西都是直接从网上整段COPY的，最多就是用自己的话又修饰了一遍，在此说明一下，各位看到的时候，莫过多纠结于此。一. 引言1.1 文档概要　　概要很简单... 1.2

2013-06-02 12:16:35 2611

原创 Java中通过dom4j读取配置文件实现抽象工厂+反射

在Donet中实现反射的主要原理是：将差异配置在config配置文件里面，并利用接口，通过在U的bin路径下面找到具体实现的名字来使程序运行。在Java中也可以同Donet一样，将差异配置在配置文件里面。另外，我们采用下面的方式实现，将会更加便捷。逻辑描述：现在我们想在B层和D层加上接口层，并使用工厂。而我们可以将创建B和创建D看作是两个系列，然后就可以使用抽象工厂进行

2013-06-02 12:11:51 735

转载 Oracle 判断并手动收集统计信息脚本

一. 说明在之前的blog： Oracle Statistic 统计信息小结 http://blog.csdn.net/tianlesoftware/archive/2009/10/15/4668723.aspx 里对统计信息的收集有说明， Oracle 的Automatic Statistics G

2013-06-01 21:18:55 697

原创深入研究equals方法

equals方法的重要性毋须多言,只要你想比较两个对象是不是同一对象,你就应该实现equals方法,让对象用你认为相等的条件来进行比较. 下面的内容只是API的规范,没有什么太高深的意义,但我之所以最先把它列在这儿,是因为这些规范在事实中并不是真正能保证得到实现.1.对于任何引用类型, o.equals(o) == true成立.2.如果 o.equals(o1) == true

2013-06-01 20:48:50 659

原创计算日志中的时间段重合时间差，适合时长计算

package test;import java.text.ParsePosition;import java.text.SimpleDateFormat;import java.util.Date;public class Test { /** * 这里共有2个时间段（b1-----e1）【b2-----e2】，4个时间点； *相当于两条线段(b代表起点，e代表端

2013-05-27 21:03:21 909

转载 sql语句实现同一时间范围内并发数统计计算

这是在做一个酒店系统时遇到的问题。通常情况下，一个服务生仅负责一个房间的客人用餐，但是，考虑到效益原因，酒店鼓励服务生同时为多个房间的客人提供服务。这样，酒店每天要对在同一时间段内服务房间最多的一名服务生进行奖励。表1列出了一天中酒店服务生所服务的房间号和服务时间。表1 服务清单 room_idwaiter_name

2013-05-27 20:47:30 1377

原创信息系统项目管理之项目范围管理知识总结

项目范围：指为了成功达到项目的目标，项目所规定包含且只包含所有需要完成的工作。产品范围：一个产品或一项服务应该包含哪些特征和功能。标志产品范围完成的对比依据是产品（需求）说明。项目提交成果：每个阶段都可能需要提交、以反映项目进展的中间成果或最终成果。范围定义：把项目的主要可交付成果划分为较小的、更易管理的单元。范围规划：确定项目范围并编写

2013-05-05 20:56:18 1307 1

原创如何绘制双代号时标网络图

双代号时标网络图是结合双代号网络图和横道图优点而产生的一种应用广泛的网络计划图。如何绘制双代号网络图？我们通常用间接绘制法，分四步。下面举例说明工序代号紧前工序工序时间A--2BA3

2013-05-05 15:50:04 9172

原创从一个“赢”字理解项目管理

项目管理的工作中很多时候会有疑惑——项目管理何来九大知识体系，这些知识体系仅仅是外国人的实践经验吗？如何深刻认识这些方法体系？或许一个“赢”字能解答，暂且称其为项目管理的“赢”道吧。项目管理要成功，须有“赢”道，有的“赢”方法与技巧，“赢”在中国的历史中有着巧妙的管理知识——中国历史上伟大而又富有历史争议的第一位皇帝——秦皇嬴政，用一个“赢”字中的“月”字与“贝”字告诉了后人时间与费

2013-05-05 15:44:26 37955 1

转载如何使用google解决问题（来自《程序员》杂志）

如何使用google解决问题redguardtoo著文章选自2004年《程序员》杂志第8期P56前面收集了篇如何问问题的文章就是《学会提问》http://blog.programfan.com/article.asp?id=7207，觉得很不错，这里继续有关如何解决问题，安安注本文介绍了使用google解决难题的一些高级技术，重点讲述了如何选择关键字

2013-02-16 14:10:00 794

原创深入学习jquery mobile 页面模版（1）

在美国，IOS和Android设备占了很大比重，而美国以外的地方主要是Nokia的设备占统治地位。jQueryMobile为了在尽可能多的设备上运行，承诺将支持绝大部分移动设备/系统。在早些时候（2010年9月），jQuery的作者John Resig透露了一张jQueryMobile对各种设备/系统的支持表格（见下）。对于每个系统来说，jQueryMobile将他们的支持情况分为 A（好），B

2013-02-09 23:20:53 2473

转载如何成为一名程序员：我的道路

下面要说的是我在成为一名程序员的道路上做的几件事情。写在这里除了要让自己铭记在心外，我还希望它能对别人有些用处。1. 建立一个博客这是我后来才认识到的事，其实应该很早就去做。如果你是跟我类似的情况，你应该尽早开通一个博客——尽管还不知道该写什么。注册一个域名，买一个空间。你会惊奇的发现有很多可写的东西。你可以记录下你成为一名程序员的过程，或写一下你感兴趣的技术方面的东西。我一直以

2013-02-09 00:05:04 552

原创初始jquery mobile

什么是jquery mobile ？jQuery Mobile是一个框架，用于交付具有统一界面的跨平台移动Web应用程序。jQuery Mobile将响应式布局与渐进式增强结合起来，从而通过一个代码库来呈现最佳的用尸体验。通过使用jQuery Mobile，我们将会看到如何为iOS、Android、Windows Phone、BlackBerry及其他移动设备创建可主题化的，而且具

2013-02-08 23:23:21 671

转载【转】程序员技术练级攻略

月光博客6月12日发表了《写给新手程序员的一封信》，翻译自《An open letter to those who want to start programming》，我的朋友（他在本站的id是Mailper）告诉我，他希望在酷壳上看到一篇更具操作性的文章。因为他也是喜欢编程和技术的家伙，于是，我让他把他的一些学习Python和Web编程的一些点滴总结一下。于是他给我发来了一些他的心得和经历

2013-02-08 22:36:02 613

转载利用Jakarta Commons组件beanutils、dbutils简化JDBC数据库操作

虽然现在出现了很多ORM框架，可是还是有很多朋友也许还在使用JDBC，就像我现在一样，除了学习的时候在使用Hibernate、Spring类似这些优秀的框架，工作时一直都在使用JDBC。本文就简单介绍一下利用Jakarta Commons旗下beanutils、dbutils简化JDBC数据库操作，以抛砖引玉，希望对像我一样在使用JDBC的朋友有所帮助。下面就分两部分简单介绍beanu

2013-02-05 11:42:41 412

原创自己动手实现spring ioc

最近，买了本Spring入门书：spring In Action 。大致浏览了下感觉还不错。就是入门了点。Manning的书还是不错的，我虽然不像哪些只看Manning书的人那样专注于Manning,但怀着崇敬的心情和激情通览了一遍。又一次接受了IOC 、DI、AOP等Spring核心概念。先就IOC和DI谈一点我的看法。IOC（DI）：其实这个Spring架构核心的概念没有这么复杂，更

2013-02-05 11:37:54 779

原创爬虫技术

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。下面一系列文章将对爬虫技术做详细的介绍，希望大家最终能够做出自己喜爱的爬虫。网络爬虫技术随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，百度,Yahoo!和Google等，

2013-02-05 11:35:04 879

转载反汇编算法介绍和应用——线性扫描算法分析

做过逆向的朋友应该会很熟悉IDA和Windbg这类的软件。IDA的强项在于静态反汇编，Windbg的强项在于动态调试。往往将这两款软件结合使用会达到事半功倍的效果。可能经常玩这个的朋友会发现IDA反汇编的代码准确度要高于Windbg，深究其原因，是因为IDA采用的反汇编算法和Windbg是不同的。下面我来说说我所知道的两种反汇编算法。 1 线性扫描（Linear sweep）

2013-02-05 11:33:11 506

转载分享一种精确从文本中提取URL的思路及实现

在今年三四月份，我接受了一个需求：从文本中提取URL。这样的需求，可能算是非常小众的需求了。大概只有QQ、飞信、阿里旺旺等之类的即时通讯软件存在这样的需求。在研究这个之前，我测试了这些软件这块功能，发现它们这块的功能还是非常弱的。这类软件往往也是恶意URL传播的媒介，如果不能准确识别出URL，相应的URL安全检测也无从谈起。而且网上也有很多使用正则表达式的方法，可是我看了下，方法简单但是不够精确，

2013-02-05 11:29:51 4472 2

原创记录《自己动手写网络爬虫》书中涉及的内容学习一些算法

第1篇自己动手抓取数据第1章全面剖析网络爬虫 31.1 抓取网页 41.1.1 深入理解URL 41.1.2 通过指定的URL抓取网页内容 61.1.3 Java网页抓取示例 81.1.4 处理HTTP状态码 101.2 宽度优先爬虫和带偏好的爬虫 111.2.1 图的宽度优先遍历 121.2.2 宽度优先遍历互联网 131.2.

2013-02-05 11:26:57 1181

转载 proxool 0.9.1，解决 Attempt to register duplicate pool 异常

今天客户发来的日志中发现异常。该异常偶尔在程序启动的时候出现。[java] view plaincopyjava.sql.SQLException: org.logicalcobwebs.proxool.ProxoolException: Attempt to register duplicate pool called 'pool' at org.logic

2012-12-18 09:15:51 1888

转载程序员：编程能力 vs 职业技能，哪个更重要

英文原文：Coding skill vs. employee skill　　即便不是伟大的程序员，你也可以走的更远。　　每个程序员应该具备 2 种能力，即编程能力和个人的职业技能。　　编程能力意味着你写的代码是可靠，高性能，易维护的。这跟程序员花费的时间，他的思维，以及广泛的阅读有关。　　职业技能让你成为一个好的员工，好的同事。这需要反应敏捷，有良好的沟通，明白

2012-09-12 12:57:45 675

原创信息系统项目管理---之关键路径

AOE网：在一个表示工程的带权有向图中，用顶点表示事件，用有向边表示活动，边上的权值表示活动的持续时间，称这样的有向图叫做边表示活动的网，简称AOE网。AOE网中没有入边的顶点称为始点（或源点），没有出边的顶点称为终点（或汇点）。AOE网的性质：⑴ 只有在某顶点所代表的事件发生后，从该顶点出发的各活动才能开始；⑵ 只有在进入某顶点的各活动都结束，该顶点所代表的事件才能发生。关键路径

2012-09-12 09:11:05 1035 1

转载我们从David Cutler学到什么？

David Cutler何许人也？Google一把你就明白了。2008年获得了美国国家科技和创新奖章，这个奖大概相当于我们国家一年一度的国家科技奖吧，无论如何这是一种不平常的荣耀。尽管他的故事还没有真正成为过去，毕竟到现在为止，他仍然担任着微软云计算平台（Azure Services Platform）的主要开发者。但是已经有太多需要我们去解读和学习的精神，已经有太多需要我们去细细品味的哲理，

2012-09-12 09:07:48 2111 1

转载 Apache Lucene 3.x推荐教程

介绍：Apache Lucene是一个基于 Java的全文检索工具包，你可以利用它来为你的应用程序加入索引和检索功能。Lucene目前是著名的 Apache Jakarta家族中的一个开源项目，也是目前最为流行的基于 Java开源全文检索工具包。第一部分：概述我们在很多地方都可以看到搜索功能Windows系统中的有搜索功能：

2012-09-06 09:06:32 1096

转载基于朴素贝叶斯分类器的文本分类算法（下）

源代码下载：NaviveBayesClassify.rar Preface文本的分类和聚类是一个比较有意思的话题，我以前也写过一篇blog《基于K-Means的文本聚类算法》，加上最近读了几本数据挖掘和机器学习的书籍，因此很想写点东西来记录下学习的所得。在本文的上半部分《基于朴素贝叶斯分类器的文本分类算法（上）》一文中简单介绍了贝叶斯学习的基本理论，这一篇将展示如何将该理论运用到中文文

2011-04-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人