- 博客(68)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 handler消息机制
handler消息机制一、looper和meesageQueue的创建主线程不需要程序员创建Looper和MessageQueue 由系统调用Looper.prepareMainLooper();其实调用的就是Looper.prepare();方法，通过一个线程级单例 threadLocal 把创建的looper保存起来。在调用Looper.prepare()的时候先通过 threa...
2019-03-05 16:28:21
265
1
原创 android 启动的流程
android 启动的流程Linux BootLoader 作用-> 加载驱动 启动硬件 加载linux内核系统的第一个进程 init 进程 对应的启动的代码 init.csystem/core/init/init.cmain方法创建重要的系统目录 并且加载进来 mkdir("/dev", 0755); mkdir("/proc", 0755);...
2019-03-05 11:45:52
228
转载 aidl实现
AndroidStudio实现AIDL AIDL的使用步骤aidl远程调用传递的参数和返回值支持Java的基本类型（int long booen char byte等）和String，List，Map等。当然也支持一个自定义对象的传递。服务端?1新建一个MyAidlDemoServer工程，然后在java目录下右键新建一个aidl File，然后在该目录下新建一个IMy...
2019-03-04 17:43:56
436
原创 主域向子域发送消息
主域向子域发送消息这里是官方的API。官方的API虽然全，但是不详细，很多人看的似懂非懂，还不如一个例子有用。这里贴出我的代码。主域的代码(发送消息)：ShowRankView : function(){ wx.postMessage({ message: 'ShowR', data1:1, data2 : "lalala", ...
2019-02-21 16:43:44
712
转载 CocosCreator-发布微信小游戏流程的正确“打开方式”
CCC 1.8版本发布了，可以发布微信小游戏了。我就CCC的发布微信小游戏跑了下流程，并进行了记录，整体并不复杂。我的运行系统是win7的64位系统。一、工具准备 1.cocos creator 1.8以上版本：http://www.cocos.com/download 2.微信开发者工具：h...
2019-02-21 15:28:26
1112
原创 18节、sotrm学习 (Storm集群部署及单词技术)
1、集群部署的基本流程 集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 注意： 所有的集群上都需要配置hosts vi /etc/hosts 192.168.239.128 storm01 zk01 hadoop01 192.168.239.129 storm02 zk02 hadoop0...
2018-12-27 17:11:57
261
原创 18节、sotrm学习 (Storm背景介绍)
Storm背景介绍 1、离线计算是什么？ 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度平台 3、Hadoop集群运维 4、...
2018-12-27 16:55:08
308
原创 HBase 性能优化
1.修改Linux最大文件数 Linux系统最大可打开文件数一般默认的参数值是1024，如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的 错误，导致整个HBase不可运行 查看： ulimit -a 结果：open files (-n) 1024 临时修改： ulimit -n 4096 持久修改： vi ...
2018-12-25 15:03:29
185
原创 16节、hbase安装及常用指令和javaAPI操作
hbase1.hbase简介 1.1.什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Goo...
2018-12-20 11:28:51
260
原创 正则表达式
常用规则 [abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a 到 z 或 A 到 Z，两头的字母包括在内（范围） [a-d[m-p]] a 到 d 或 m 到 p：[a-dm-p]（并集） [a-z&&[def]] d、e 或 f...
2018-12-18 15:52:16
93
原创 线程与多线程
1、多线程两种实现方式(1)继承Thread * 定义类继承Thread * 重写run方法 * 把新线程要做的事写在run方法中 * 创建线程对象 * 开启新线程, 内部会自动执行run方法(2)实现Runnable * 定义类实现Runnable接口 * 实现run方法 * 把新线程要做的事写在run方法中 * 创建自...
2018-12-18 15:51:52
175
原创 数组与链表的区别，ArrayList和LinkedList的区别，Vector和ArrayList的区别
数组与链表的区别* A:数组 * 查询快修改也快 * 增删慢* B:链表 * 查询慢,修改也慢 * 增删快 List的三个子类的特点 ArrayList: 底层数据结构是数组，查询快，增删慢。 线程不安全，效率高。 Vector: 底层数据结构是数组，查...
2018-12-18 15:51:39
1386
原创 java常用算法
冒泡法for (int i = 0; i < arr.length-1; i++) { for (int j = 0; j < arr.length-1-i; j++) { if(arr[j]>arr[j+1]) { int temp = arr[j]; ...
2018-12-18 15:51:29
1787
转载 AndroidStudio最详细JNI教程
AndroidStudio最详细JNI教程 在工作中，开发的项目一直没有用到jni知识，很多情况下都是拿别人的so包来用，jni的流程看了一遍又一遍，但是从来没有自己动手实现过，今天我们就自己动手实现一遍，让知识记得更牢固一些。二：NDK下载要实现我们的jni，首先一定要先下载NDK，NDK是什么？我相信很多小伙伴面试的时候一定背这道面试题了吧.如下：ND...
2018-12-18 15:32:34
950
转载 AndroidStudio 中下载Android SDK的两种方式
方式一、设置HTTP Proxy1. 打开Settings2. 点击HTTP Proxy，选择Manual proxy configuration：设置 Host name 为：mirrors.neusoft.edu.cn 设置 Port number 为：80 3. 点击Android SDK，...
2018-12-18 15:27:19
820
原创 07、机器学习 （lineage回归分类算法与应用）
1. Lineage逻辑回归分类算法1.1 概述Lineage逻辑回归是一种简单而又效果不错的分类算法什么是回归：比如说我们有两类数据，各有50十个点组成，当我门把这些点画出来，会有一条线区分这两组数据，我们拟合出这个曲线（因为很有可能是非线性），就是回归。我们通过大量的数据找出这条线，并拟合出这条线的表达式，再有新数据，我们就以这条线为区分来实现分类。 下图是一个数据集的两组...
2018-12-17 17:51:13
288
原创 06、机器学习（决策树分类算法与应用）
1. 决策树分类算法原理 1.1 概述 决策树（decision tree）——是一种被广泛使用的分类算法。 相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置 在实际应用中，对于探测式的知识发现，决策树更加适用 1.2 算法思想 通俗来说，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个...
2018-12-17 17:48:06
335
原创 05、机器学习 （协同过滤推荐算法与应用）
1. CF协同过滤推荐算法原理 1.1 概述 什么是协同过滤 (Collaborative Filtering, 简称 CF)？ 首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？ 大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想...
2018-12-17 17:42:36
984
原创 04、机器学习 （kmeans聚类算法与应用）
1. Kmeans聚类算法原理 1.1 概述 K-means算法是集简单和经典于一身的基于距离的聚类算法 采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。 该算法认为类簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。 1.2 算法图示 假设我们的n个样本点分布在图中所示的二维...
2018-12-17 17:32:49
568
原创 03、机器学习 （贝叶斯分类算法与应用）
1. 朴素贝叶斯分类算法原理 1.1 概述 贝叶斯分类算法是一大类分类算法的总称 贝叶斯分类算法以样本可能属于某类的概率来作为分类依据 朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种 注：朴素的意思是条件概率独立性[此处要想真正理解，需要有概率论的基础知识 P(A|x1x2x3x4)=p(A|x1)*p(A|...
2018-12-17 17:28:20
1181
原创 02、机器学习（knn分类算法与应用） - 简化版
1. kNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。[ 机器学习，算法本身不是最难的，最难的是： 1、数学建模：把业务中的特性抽象成向量的过程； 2、选取适合模型的数据样本。 这两个事都不是简单的事。算法反而是比较简单的事。] ...
2018-12-17 17:23:00
479
原创 01、机器学习 （python语言与numpy库）
1 Python快速上手1.1.Python简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Python是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 Pyt...
2018-12-17 17:15:06
260
原创 01、机器学习 （python数据类型详解）
python数据类型详解目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串 1.1、如何在Python中使用字符串 a、使用单引号(') 用单引号括起来表示字符串，例如： str='this is string'; print str; b、使用双引号("...
2018-12-17 16:54:52
256
原创 13节、离线计算系统（离线综合案例）
示例代码地址https://download.csdn.net/download/ieiqny1/108531321. 网站点击流数据分析项目业务背景1.1 什么是点击流数据1.1.1 WEB访问日志 即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接，在哪个网页停留时间最多，采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据...
2018-12-15 22:07:08
707
原创 10 节、离线计算系统（hadoop高可用）
Hadoop的HA机制 前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制1.1 HA的运作机制（1）hadoop-HA集群运作机制介绍 所谓HA，即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA（2）HDFS的HA机制详解 ...
2018-12-15 21:54:08
179
原创 09节、离线计算系统（mapreduce加强）
所需案例代码https://download.csdn.net/download/ieiqny1/10853089 流量统计相关需求1、对流量日志中的用户统计总上、下行流量 技术点： 自定义javaBean用来在mapreduce中充当value 注意： javaBean要实现Writable接口，实现两个方法 //序列化，将对象的字段信息写入输出流 ...
2018-12-15 21:51:14
191
原创 08节、离线计算系统 MAPREDUCE详解
所需案例代码https://download.csdn.net/download/ieiqny1/10853089 MAPREDUCE原理篇（1） Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop...
2018-12-15 21:48:36
397
原创 07节、HDFS详解
示例代码下载https://download.csdn.net/download/ieiqny1/10853073HDFS前言 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点...
2018-12-15 21:37:33
176
原创 06节、离线计算系统_第1天（HADOOP快速入门）
示例代码下载https://download.csdn.net/download/ieiqny1/108530631. HADOOP背景介绍1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3. HADOOP的核心组件有...
2018-12-15 21:30:34
419
原创 05节、轻量级RPC框架开发
实例中所有代码下载地址https://download.csdn.net/download/ieiqny1/108530511. RPC原理学习1.1. 什么是RPC RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如T...
2018-12-15 21:18:36
186
原创 04节、 java高级特性增强2
java JMS技术.1. 什么是JMS JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 JMS是一种与厂商无关的 API，...
2018-12-15 10:21:03
146
转载 04节、 java高级特性增强1
java多线程增强1、java多线程基本知识1.1进程介绍 不管是我们开发的应用程序，还是我们运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。 不同的应用程序运行的过程中都需要在内存中分配自己独立的运行...
2018-12-15 10:13:03
191
原创 03节 Zookeeper
软件下载地址：https://download.csdn.net/download/ieiqny1/108431011、Zookeeper概念简介： Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） ...
2018-12-15 09:58:18
117
原创 hive/azkaban/hadoop/zookeeper/flume的简单配置和启动，以及工具下载。整理。
一、hive启动方式 下载地址 https://download.csdn.net/download/ieiqny1/10843154 方式（1） hive/bin/beeline 回车，进入beeline的命令界面 输入命令连接hiveserver2 beeline> !connect jdbc:hive2//mini1:10000 （had...
2018-12-11 15:31:25
289
转载 12节、HIVE辅助系统
前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：1. 日志采集框架Flume1.1 Flume介绍官方文档地址： http://flume.apache.org/FlumeUserGuide.html1....
2018-12-10 14:24:16
1338
转载 11节、Hive基础学习
一、Hive简介 1、什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 2 、为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 3、为什么要使用...
2018-12-10 14:20:19
179
原创 Linux安装telnet
Linux安装telnet一、安装telnet1、检测telnet-server的rpm包是否安装 [root@localhost ~]# rpm -qa telnet-server 若无输入内容，则表示没有安装。出于安全考虑telnet-server.rpm是默认没有安装的，而telnet的客户端是标配。即下面的软件是默认安装的。2、若未安装，则安装telnet-server，...
2018-12-10 11:15:04
86
原创 常用sql语句
show databases;show tables;desc test;-------------分桶表示例：#创建分桶表drop table stu_buck;create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)clustered by(Sno) sorted by(Sno...
2018-12-07 11:13:03
159
原创 hive安装
Hive只在一个节点上安装即可yum安装mysql 5.1.73卸载系统自带的mysql执行以下命令查看是否有自带mysql:rpm -qa | grep mysql如果发现有输出结果,那么执行以下命令依次删除:rpm -e **** --nodeps开始安装mysql首先安装mysql客户端:yum install mysql然后安装mysql服务端:yum inst...
2018-12-05 13:46:23
102
原创 mapreduce参数优化
MapReduce重要配置参数1 资源相关参数mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用...
2018-11-23 13:41:18
692
azkaban服务器，安装包
2018-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人