- 博客(11)
- 收藏
- 关注
RSS订阅原创 Maxwell's daemon mysql binlog
https://github.com/zendesk/maxwellThis is Maxwell’s daemon, an application that reads MySQL binlogs and writes row updates as JSON to Kafka, Kinesis, or other streaming platforms.mysql> insert in...
2019-06-27 11:00:56
155
原创 HDFS 原理、架构与特性
https://my.oschina.net/leejun2005/blog/151872HDFS架构•NameNode•DataNode•Sencondary NameNodeNamenode 的目录结构：${ dfs.name.dir}/current /VERSION/edits/fsimage/fstimedfs.name.dir 是 hdfs-site.xml 里配...
2019-04-22 12:45:13
160
转载 网络协议
http 请求客服端连上服务器后，向服务器请求某个ｗｅｂ资源内容：请求行，若干请求头，以及实体内容。Accept: */* (消息头用于描述客户端请求的哪台主机，以及客服端的一些环境信息）Accept-Language:en-usConnection: Keep-AliveHost: localhostReferer: http://localhost/links.aspUs...
2019-04-18 12:01:46
91
原创 收藏
https://blog.fundebug.com/2018/08/27/code-interview-data-structure/scala: https://www.cnblogs.com/fxjwind/p/3338829.htmljava read and save json https://howtodoinjava.com/json/json-simple-read-write-...
2019-04-17 17:03:02
138
转载 HashMap and TreeMap的内部结构
https://mp.weixin.qq.com/s/XimLdUgSz4Bj40yIlRQAgQHashMap基于哈希表的Map借口的实现。提供可选的映射操作。并允许使用null和null键。（除了非同步和允许使用null之外，HashMap和HashTable大致相同）。此类不保证映射的顺序，特别是他不保证顺序保持恒久不变。HashMap 的实例有两个参数影响其性能：初始容量 和...
2019-04-10 14:03:14
74
原创 海量数据处理之分库分表
海量数据处理之分库分表查询慢，分库分表副作用，如何解决。关系型数据库如： Mysql, sqlserver. 为了快速检索，采用B树或者其他索引技术。表中数据越多，索引树的范围越大，磁盘读取越多，性能越低。读写分离，主数据库用于写入，读数据库（多个）用于对外提供查询，通过数据复制的方式将主数据库的数据同步到读库。该框架提升了数据库的读写能力，但对于主数据库的写入能力依然没法扩展。...
2019-04-10 11:38:10
325
原创 数据结构： Reversing the first K elements of a Queue
Reversing the first K elements of a QueueGiven an integer k and a queue of integers, we need to reverse the order of the first k elements of the queue, leaving the other elements in the same relative...
2019-04-10 10:21:44
110
原创 File Format with Spark
CSV: Delimiter Separated ValuesPros: Human readable, all tools support it.Cons:IO/Storage inefficent (uncompressed)No richer types - all are stringsLinear scanning (projections and predicates)...
2019-04-09 13:52:54
182
原创 Kaggle's "Allstate Purchase Prediction Challenge."
Project paper, code, and presentation slides: https://github.com/justmarkham/kaggle-allstateGoal : Predict which car insurance options a customer will buy.Problem:(1) There are 7 car insurance opti...
2019-04-03 18:06:02
421
原创 线程,进程以及对多线程并发的理解
概念多线程(threading)和多进程(multiprocessing)进程是指一个内存中运行的应用程序，比如在Windows系统中，一个运行的exe就是一个进程。线程是指进程中的一个执行流程。联系与区别： 一个程序至少有一个进程，而一个进程至少有一个线程。一个应用程序可以同时启动多个进程。而线程则是指进程中的一个执行流程，一个进程可以有多个线程，每个线程分别执行不同的任务，当进...
2019-04-03 14:18:32
837
原创 基本概念
网桥Thread thread = new Thread(() -> { System.out.println("hello world!"); System.out.println("welcome to Westworld!"); }); thread.start();
2019-04-02 14:40:49
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人