kinglin_zy的专栏

原创 数据治理-治理监控思维导图-01

原创 数据挖掘-思维导图-01

转载 彻底理解字符编码

一、前言　　在解决昨天的问题时，又引出了很多新的问题，如为什么要进行编码，这些编码的关系如何，如ASCII，IOS-8859-1，GB2312，GBK，Unicode之间的关系，笔者想要彻底理解字符编码背后的故事，遂进行了探索，具体笔记如下。如园友能读完本篇文章，我相信会解开很多疑惑。二、字符编码　　2.1 为何需要编码？　　我们知道，所有的信息最终都表示为一个二进

转载 统计学-笔记（一）

对事物的统计分析一般首先要对数据进行描述性统计分析，以便于描述测量样本的各种特征及其所代表的总体的特征以及发现其数据的内在规律，再选择进一步分析的方法。《统计学方法》---李航1.统计学习        统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息

转载 SAS DDE Sample

http://v8doc.sas.com/sashtml/win/z3ples.htmDDE ExamplesThis section provides several examples of using DDE with the SAS System under Windows. These examples use Microsoft Excel and Mic

转载 Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介

原文地址：http://www.cnblogs.com/shishanyuan/p/4747761.html【注】该系列文章以及使用到安装包/测试数据 可以在《 倾情大奉送--Spark入门实战系列》获取 1 、机器学习概念 1.1   机器学习的定义 在维基百科上对机器学习提出以下几种定义：l “ 机器学习是一门人工智能的科学，该领域的主要

转载 hive如何配置支持事务及insert、update、delete

转载自：http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274&extra=page%3D1Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景1. 流式接收数

转载 hive入门学习线路指导

转载自：http://www.aboutyun.com/forum.php?mod=viewthread&tid=7598&extra=page%3D1hive被大多数企业使用，学习它，利于自己掌握企业所使用的技术，这里从安装使用到概念、原理及如何使用遇到的问题，来讲解hive，希望对大家有所帮助。此篇内容较多：看完之后需要达到的目标1.hive是什么2.明白hive的

转载 Hadoop Hive sql语法详解3--DML 操作:元数据存储

转载自：http://www.aboutyun.com/thread-7326-1-1.html1 基本的Select 操作SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVI

转载 Hadoop Hive sql语法详解3--DML 操作:元数据存储

转载自：http://www.aboutyun.com/thread-7325-1-1.htmlhive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。DML包括：INSERT插入、UPDATE更新、DELETE删除•向数据表内加载文件•将查询结果插入到Hive表中

转载 Hadoop Hive sql语法详解2-修改表结构

转载自：http://www.aboutyun.com/thread-7324-1-1.htmlhive同样也面对传统数据库的一些操作，那么hive1.如何增加分区、删除分区？2.如何重命名表?3.如何修改列的名字、类型、位置、注释?4.如何增加/更新列?5.如何增加表的元数据信息?表添加一列 ：hiv

转载 Hadoop Hive sql语法详解1-认识hive及DDL操作

转载自：http://www.aboutyun.com/thread-7324-1-1.html1.认识hive： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，

原创 《离经叛道》-读书摘要（1）

当遇到不喜欢的情况，他们会想办法自己来解决。由于主动采取措施来改善状况，他们没有什么离开的理由。他们创造了自己想要的工作我们中很多人对生活中默认的常规都选择接受同优势群体相比，弱势群体倾向于维持现状的比例更高，约斯特及其同事由这一发现得出以下结论：“在某种状态下受害最深的人，却恰恰是最不愿去质疑、挑战、拒绝或改变这种现状的人。人们受到驱动

原创 读书笔记:《乌合之众》--群体时代的大众心理

前言：对某些社会现象的研究，更需要从心理学的角度而不是自然主义的角度着手。群体中累积起来的只有愚蠢的智慧，而非天才的智慧。群体可以杀人放火，无恶不作，但也能表现出极度忠诚，勇于献身和不计名利的举动，这是孤立的个人根本做不到的。

原创 每周一本读书笔记：《这么慢，那么美》

第一章以约束为前提的自由第二章根植于内心的修养：一个有点想法又勇于实现的人，这样的性格，在其他的一些地方也许是容易碰壁的，因为其不合群的性格，会遭到大多数人的排斥和反感。所以在我们以和为贵，崇尚中庸之道的民族长河里，三国魏人李康在其《运命论》里早大发感慨：木秀于林，风必摧之；堆出于岸，流必湍之；行高于人，众必非之。北欧社会教育体系中，另一个值得一提的地方就是贯穿一生的学

原创 《黑客与画家》 读书笔记（二）

最近很忙，每天阅读的时间很少，看书进度很慢，想看的书又很多，东看看西看看，一看就会有思考，或是共鸣，或是反省，或是启迪，结果看书进度更慢了。转眼要到9月份了，小朋友都要开学了。今年答应了小朋友，陪他出去旅游的，当做是一起去参加《爸爸去哪儿》第四季了。最后选择了去大连。然后在飞机上匆匆读了三章（良好的习惯 /另一条路 / 如何创造财富），依旧是迫不及待地想写读书笔记，因为共鸣太多，这种共鸣不仅是数量

转载 通过pymongo测试MongoDB的高可用性

原文出处： 肖鹏（@进击的麦兜兜） 自荐    1 实验环境搭建三台Ubuntu 14.04 64bit Server。 $ lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 14.04.1 LTSRelease: 14.04Codename: trusty

转载 Java 工程的外部依赖显示工具实现及使用

原文出处： IBM——developerworks在 Java 工程开发过程中，一般情况下，软件工程师以及项目管理人员都很清楚自己的工程项目都依赖于哪些外部组件接口，但是在某些情况，尤其是工程比较庞大时，一个工程分成多个组件由不同的项目组负责开发时，想要了解各个的工程依赖关系就变得有些困难。我们开发了一个简单易用工具（Java 工程的外部依赖显示工具），通过简单的配置就能清晰地显示 Jav

转载 MongoDB－学习笔记－基本概念

MongoDB  概念解析不管我们学习什么数据库都应该学习其中的基础概念，在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。下表将帮助您更容易理解Mongo中的一些概念：SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecol

转载 Mongodb联合查询

在关系型数据库中，通过连接运算符可以实现多个表联合查询。而非关系型数据库的特点是表之间属于弱关联，Mongodb作为Nosql代表，其本身特性不建议对多Collection关联处理，不过对于有些需要对多表关联处理的需求，Mongodb也可以实现。主要分为两种方式：简单手工关联和DBRef方式关联 1.简单手工关联下图表示帖子和用户两个Collection的ER图：

原创 站在巨人的肩膀上（一）

学习资源 （不断添加中）：http://www.runoob.com/mongodb/nosql.html

原创 《寻求优秀程序员之实战指南》读书笔记--了解优秀的程序员

很多HR，招聘主管以及创业者都感叹要招到和留住优秀的程序员实在太难了。对于寻求这个问题的答案，可以用知乎的方式来表述，即：如何吸引优秀的程序员为你工作？这里不对优秀程序员的标准作深入的探讨，而是假设已经找到了具有专业素养，符合企业和创业者定义的优秀程序员的人选，然后对如何吸引并留住优秀的程序员作探讨。首先HR，招聘主管以及很多创业者具有的性格特质，往往是和优秀程序员的性格特质是相反的，思维

转载 java提高篇之集合大家族

原文出处：http://www.cnblogs.com/chenssy/p/3495238.html在编写java程序中，我们最常用的除了八种基本数据类型，String对象外还有一个集合类，在我们的的程序中到处充斥着集合类的身影！java中集合大家族的成员实在是太丰富了，有常用的ArrayList、HashMap、HashSet，也有不常用的Stack、Queue，有线程安全的Vector

原创 《黑客与画家》 读书笔记（一）

前些天在《知乎》上探讨了下关于优秀程序员的话题。我说优秀的程序员应该兼具工科的严谨与艺术学科的想象力。应该是既热爱写代码又讨厌写代码的。通过写代码去探究和验证技术的原理；以实践，实验的方式传达工科的严谨。同时又需要有艺术想象力和创造力，将自己对技术本质的理解和对应用的想法用画笔画出来。程序员的画笔就是编程语言。优秀的程序员欣赏自己满意的代码，就像是在欣赏裱在IDE中的心爱画作一般。同时，写重复

原创 对技术发展趋势的思考

IT行业的技术发展很快，新技术，新架构层出不穷。在步入互联网时代，特别是移动互联网时代后，还是感受到了IT行业颠覆性的变化。      比较震撼的是，感觉使用Oracle的公司和场景越来越少，这从搜索Oracle相关的技术博客就可以发现这个趋势，ITPUB这个曾经聚集了众多Oracle技术大牛和爱好者的网站，近三年来的活跃度明显下降。主流技术网站搜到关于Oracle的帖子几乎都是2013年以前

转载 RMI的概念

http://www.cnblogs.com/leslies2/archive/2011/05/20/2051844.htmlRMI的概念RMI(Remote Method Invocation)远程方法调用是一种计算机之间利用远程对象互相调用实现双方通讯的一种通讯机制。使用这种机制，某一台计算机上的对象可以调用另外一台计算机上的对象来获取远程数据。RMI是Enterpri

原创 技术-Career Path

开发： PHP  Java Python Ruby Node.js .NET ASP C# C Delphi GoDocker HadoopSpark HBaseOpenStack  数据挖掘自然语言处理  推荐系统 搜索引擎 全线工程师移动开发前端iOS Android U3D Cocos2d-XHTML5 Web前端F

转载 浅谈数据挖掘中的关联规则挖掘

数据挖掘是指以某种方式分析数据源，从中发现一些潜在的有用的信息，所以数据挖掘又称作知识发现，而关联规则挖掘则是数据挖掘中的一个很重要的课题，顾名思义，它是从数据背后发现事物之间可能存在的关联或者联系。举个最简单的例子，比如通过调查商场里顾客买的东西发现，30%的顾客会同时购买床单和枕套，而购买床单的人中有80%购买了枕套，这里面就隐藏了一条关联：床单—>枕套，也就是说很大一部分顾客会同时购买床单和

转载 用R语言进行关联分析

用R语言进行关联分析    关联是两个或多个变量取值之间存在的一类重要的可被发现的某种规律性。关联分析目的是寻找给定数据记录集中数据项之间隐藏的关联关系，描述数据之间的密切度。 几个基本概念1.      项集这是一个集合的概念，在一篮子商品中的一件消费品即为一项（Item），则若干项的集合为项集，如{啤酒，尿布}构成一个二元项集。2.      关联规则一般记为的

转载 判断关联规则是否可靠-提升度 lift，KULC，IR

判断关联规则是否可靠-提升度 lift，KULC，IR在所分析的10000个事务中,6000个事务包含计算机游戏,7500个包含游戏机游戏,4000个事务同时包含两者。关联规则（计算机游戏，游戏机游戏） 支持度为0.4，看似很高，但其实这个关联规则是一个误导。在用户购买了计算机游戏后有 （4000÷6000）0.667 的概率的去购买游戏机游戏，而在没有任何前提

转载 【R】Linux安装R语言包(Installing R packages on Linux)

【R】Linux安装R语言包(Installing R packages on Linux)转自： http://www.cnblogs.com/xianghang123/archive/2013/01/08/2851450.html 有关install.packages()函数的详见：R包 package 的安装（install.packages函数详解）R的包（pack

原创 学习的境界

         做IT，总觉得很累。不仅仅是体力上的，更多的是精力上的，总觉 要学习的东西太多了，老的没学会，新的技术又扎堆地出现。        很多时候为把一些新名词，新理念搞清楚就已经是大费脑筋了。更何况，一大把名词，背后是又是一大把的知识点在那里等着我。有时候把一本书看完，感觉还是什么都不会，还是云里雾里的。脑子里的知识乱七八糟，时间一久，就只剩下一大堆的名词，和一大堆模糊的概念了。