- 博客(32)
- 收藏
- 关注
RSS订阅
原创 [大数据] 搜索日志数据采集系统 flume+hbase+kafka架构 （数据搜狗实验室）
1 收集规划 说明：D1 日志所在服务器1 —bigdata02.comD2 日志所在服务器2 —bigdata03.comA flume2 — bigdata02.com日志收集C flume3 — bigdata03.com 日志收集B flume1 — bigdata01.com日志整合E kafka —bigdata01.com,bigd...
2018-05-17 15:55:26
2910
1
原创 golang--好用的第三方库1
好用的golang库1 (信号量、单飞、信号栅栏、分组操作、分布式锁)1 信号量golang.org/x/sync ：使用互斥锁 +List 实现的。互斥锁实现其它字段的保护，而 List 实现了一个等待队列，等待者的通知是通过 Channel 的通知机制实现的。https://github.com/marusama/semaphore ：可以动态更改资源容量的信号量2 单飞模式https://pkg.go.dev/golang.org/x/sync/singleflight 合并读请求3 信号
2021-05-26 11:52:20
753
1
原创 golang--chan的五种编排方式
chan的五种编排方式介绍chan的五种编排方式，分别是Or-Done、扇入、扇出、Stream和map-reduce1 Or-Done 方式Or-Done模式是在多个任务场景，只要有一个任务执行完，就会知道这个完成信号。func or(channels ...<-chan interface{}) <-chan interface{} { //特殊情况，只有0个或者1个 switch len(channels) { case 0: return
2021-05-20 15:23:44
1326
原创 golang--通过chan实现互斥锁
通过chan实现互斥锁利用 select+chan 的方式，很容易实现 TryLock、Timeout 的功能原理chan中有一把锁lock 可以保护chan中的字段，同时chan的send和recev 两种角色存在一种hapends-befores的关系。type hchan struct { qcount uint // total data in the queue dataqsiz uint // size of the circular qu
2021-05-17 22:37:09
634
原创 golang--获取goroutine id的两种实现
Golang–获取goroutine id 的两种实现众所周知，在golang并发编程的一些情况下，需要打印一下goroutien的id号，怎么来实现呢？下面提供两种方法：从runtime.Stack()方法中获取方法栈，然后从栈帧处获取；获取运行时g指针，反解析出g的结构。g指针时保存在当前goroutine的TLS对象中。1 解析方法栈func GoID() int { var buf [64]byte n := runtime.Stack(buf[:], false)
2021-02-02 16:38:42
1695
原创 golang——go 编程模式
go编程模式实战左耳朵耗子老师在极客时间的课程，这里整理记录下1.函数编程type Option func(*Server)func Protocol(p string) Option { return func(s *Server) { s.Protocol = p }}func Timeout(timeout time.Duration) Option { return func(s *Server) { s.Timeout =
2021-01-23 17:06:42
526
原创 [java 学习基础] 散列表和平衡二叉树
title: 散列表和平衡二叉树tags:java数据结构categories:实用技能date: 2020-01-31 15:57:38description:散列表和数的区别散列表和平衡二叉树散列表散列表的插入、删除、查找的时间复杂度可以做到常量级的O(1),非常高效。二叉查找树二叉查找树在比较平衡的情况下，插入、删除、查找操作时间复杂度才是 O(logn)，相...
2020-01-31 16:13:23
239
原创 常用css列表
常用css列表color 设置文字的颜色，如： color:red;font-size 设置文字的大小，如：font-size:12px;font-family 设置文字的字体，如：font-family:‘微软雅黑’;font-style 设置字体是否倾斜，如：font-style:‘normal’; 设置不倾斜，font-style:‘italic’;设置文字倾斜...
2019-01-05 23:40:11
134
翻译 [译 ] 云计算Cloud Computing 12章 大数据、数据流、和移动云计算 -序
序处理器，存储，软件和网络技术的进步使我们能够存储和处理海量数据，将这项技术用于人类科学，利益，娱乐，恶意方案，或一些我们可以做的事。 人们可以谈论“数据的民主化”，因为科学家和决策者，记者和医疗保健提供者，艺术家和工程师，新手和领域专家都试图从数据中提取知识。本章介绍了三个最令人兴奋和要求最高的云应用方向：大数据，数据流和移动云计算。 大数据是现实可查的，我们每天生成2.5×1018字节的数...
2018-11-30 22:42:04
433
原创 [大数据]Scala 利用Akka 实现RPC框架
Scala 利用Akka 实现RPC框架1 介绍项目介绍：目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所有Hadoop的RPC显得有些笨重。Spark 的RPC是通过Akka类库实现的，Akka用Scala语言开...
2018-11-02 12:12:59
528
原创 [大数据]Scala 利用java 线程池实现FIFO调度器
Scala 利用java 线程池实现FIFO调度器1 设计想法三个提交事件 继承任务事件 分别是 提交事件(TaskSubmited) 任务成功事件(TaskSucceeded) 任务失败事件(TaskFailed)事件管理抽象类 EventLoop 里面有阻塞队列 eventQueue 原子操作的停止标志 stop 事件处理线程eventThread 里面run方法调用onReceiv...
2018-11-01 19:57:24
357
原创 [大数据]Scala 速学手册3
Scala 速学手册3高阶函数1 概念Scala混合了面向对象和函数式的特性，我们通常将可以做为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、匿名函数、闭包、柯里化等等。2 作为值的函数可以像任何其他数据类型一样被传递和操作的函数，每当你想要给算法传入具体动作时这个特性就会变得非常有用scala&gt; val arr = Arr...
2018-11-01 19:56:36
179
原创 用Scala写Java线程池
import java.util.concurrent.{Callable, Executors, Future}/** * Created by 57871 on 2018/10/31. */object java_Thread { def main(args: Array[String]): Unit = { val pool = Executors.ne...
2018-10-31 11:12:58
982
原创 IntelliJ Idea 常用快捷键列表
IntelliJ Idea 常用快捷键列表Ctrl+Alt+t 选择代码块 try catchAlt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+alt+回车Ctrl+E或者Alt+Shif...
2018-10-30 22:00:00
864
1
原创 [大数据]Scala 速学手册2
Scala 速学手册21 类、对象、继承、特质1.1 类1 类的定义//在Scala中，类并不用声明为public。//Scala源文件中可以包含多个类，所有这些类都具有公有可见性。class Person { //用val修饰的变量是只读属性，有getter但没有setter //（相当与Java中用final修饰的变量） val id = "9527" //用va...
2018-10-24 11:28:13
150
原创 [大数据] Scala 速学手册1
Scala 基础介绍1 Scala1.1 什么是ScalaScala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。1.2为什么要学Scala优雅速度快：开发速度快；静态编译，运行速度快学习大数据组件2 Scala基础2.1 声明变量object VariableDem...
2018-10-24 09:37:40
195
原创 基础知识之jvm内存空间
Java基础知识之jvm内存空间1 JVM内存空间有哪些分区？堆方法区JAVA虚拟机栈程序计数器本地方法栈堆空间(HEAP)：是创建对象的实例和数组都存放的内存空间，是随着虚拟机的启动而创建的，它是线程共享的区域，所以操作共享区域的成员就有了锁和同步。一个jvm只拥有一个这样的空间，同时它是gc的主要回收区。它分为三个部分：新生代、老生代、永久代。如果再细致一点，Java...
2018-10-23 22:38:18
165
原创 java基础知识之GC
java基础知识之GC1 GC算法标记清除标记整理复制算法标记清除：特点标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象在标记完成后统一回收所有被标记的对象缺点：效率低，标记和清除两个过程的效率都不高；空间碎片化严重，标记清除之后会产生大量不连续的内存碎片，空间碎片太多可能会导致以后在程序运行过程中需要分配较大对象时，无法找到足够的连续内存而不...
2018-10-23 22:30:46
124
原创 [大数据]hadoop 联邦机制 及 配置文件
hadoop 联邦机制1 原理即多个ha 联合组成一套集群环境，对外提供一致接口【ViewFs】（相当于扩容） 即cluserID 相等 但是相同的datanode服务于不同的namenode。 原理是通过namenodeID和blockPool-id来判别文件存放的位置。（不同的namenode存放不同的文件夹）原理图： 2 配置文件1 vi core-site.x...
2018-08-07 19:16:39
895
1
原创 [大数据] zookeeper JAVA API 使用
title: [大数据] zookeeper JAVA API 使用 tags: - zookeeper - 大数据 - 分布式 categories: - 大数据 date: 2017-07-10 18:57:38 description: [大数据] zookeeper JAVA API 使用1.基本使用org.apache.zookeeper....
2018-07-27 16:46:50
222
原创 zookeeper 介绍、结构与选举机制
1. Zookeeper概念简介：1 介绍Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 1. zookeeper是为别的分布式程序服务的 2. Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务） 3. Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一...
2018-07-19 09:55:18
286
原创 [大数据]基础 Linux 命令 学习笔记 -1 常用命令
title: 基础 Linux 命令 学习笔记-1 tags: - linux - 常用命令 categories: - 实用技能 description:linux常用命令最近几篇是关于linux系统的操作命令，今天是第一篇的常用命令 1.进入到用户根目录cd ~ 或 cd2.查看当前所在目录pwd3.进入到kfk用户根目录c...
2018-07-18 16:37:03
267
原创 [大数据]hbase HA配置
1 集群规划 bigdata01.com bigdatan2.com bigdata03.com master master regionserver regionsever regionsever2 修改配置vi hbse-env.shexport JAVA_HOME=/opt/modules/jdk1.7.0_6...
2018-05-04 14:17:53
149
原创 [大数据] hadoop HA 配置
前提：已经通过上一篇的环境配置好了zookeeper环境1 集群规划 bigdata01.com bigdata02.com bigdata02.com namenode namenode datanode datanode datanode journalnode journalnode journalnode...
2018-05-04 00:23:21
159
原创 [大数据]Zookeeper 配置
Zookeeper 环境配置1 版本选择因为要和后面的hive kafka集成 所以选择了 zookeeper-3.4.5-cdh5.10.0 2 文件配置复制并修改配置文件：cp conf/zoo_sample.cfg conf/zoo.cfgvi conf/zoo.cfg-----------------------------------------...
2018-05-03 17:01:01
118
原创 [大数据]hadoop 环境配置(1)
1 基础环境搭建Centos 6.4 环境 hadoop 环境搭建1 用户添加sodo adduser kfk2 hostname 更改sudo vi /etc/sysconfig/network3 hosts 更改sudo vi /etc/hosts4 关闭防火墙sudo vi /etc/sysconfig/selinuxS...
2018-05-03 16:39:38
121
原创 [云计算] docker 手册2
1 启动已经停止的容器lee@lee-KVM:~$ sudo docker start bob_the_container也可以用容器ID 来指定容器 也可以用restart 来重启容器( docker create 命令创建一个容器 但是却不运行它)2 附着到容器中sudo docker attach bob_the_container也可以使用容器Id如果...
2018-04-10 17:42:12
320
原创 [云计算] docker 手册 1
1 在Ubuntu 中安装DockerWay 1检查主机的发行版本lee@lee-KVM sudo lsb_release –codename | cut -f2xeniallee@lee-KVM:~$ sudo sh -c “echo deb https://apt.dockerproject.org/repo ubuntu-xenial main > /etc/apt...
2018-04-10 17:38:24
148
原创 [工作准备--算法] 八皇后问题--递归求解
目标在8*8的的国际象棋中摆上八个皇后 使其不能相互攻击 问题分析问题的解向量:(x0,x2,x3,….,x7)采用数组的下标i 表示皇后的所在行采用数组元素x[i]表示皇后的所在列向量约束条件 显示约束 (对解向量的直接约束) xi=1,2,3…n隐示约束1 :任意两个皇后不同列 :xi=≠xjxi=≠xjxi = \neq xj 隐示约束2 :两个皇后不...
2018-04-04 18:05:22
149
原创 [机器学习]svm支持向量机介绍
1 什么是支持向量机 支持向量机是一种分类器，之所以称为 机 是因为它会产生一个二值决策结果，即它是一个决策机。Support Vector Machine, 一个普通的SVM就是一条直线罢了，用来完美划分linearly separable的两类。但这又不是一条普通的直线，这是无数条可以分类的直线当中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的Support ...
2018-03-20 15:31:45
347
转载 京东量化平台策略之法玛尔三因子
京东量化平台策略1这三个因子一个叫贝塔，一个叫市值，一个叫估值——更简单地说，小盘股和低市净率的价值股会给你带来更好的回报。 所谓贝塔，有点类似于大家所说的“股性”，比如大盘涨1%，这个股票一般要涨1.5%，股民就会说这个股票“股性活”，而学术界则会说这个股票的Beta值是1.5(1.5÷1=1.5)。三因子模型之前的CAPM理论认为一份风险一份收获，一个股票的Beta越大那么预期收益就该越大。
2018-02-28 21:20:52
453
原创 windows+eclipse+远程提交hadoop集群
先将 最下面的的“旺旺大礼包”下载并解压0.环境变量配置 在环境变量中添加 HADOOP_HOME ------>Hadoop 解压后的目录 HADOOP_USER_NAME ----->集群中hadoop文件创建的所有者 （windows 和linux中的用户名称不同时使用） 将HADOOP_HOME加入PATH中（注意 JAVA
2018-01-10 14:52:18
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人