scuter_victor-CSDN博客

原创 Kafka某topic无法消费解决方案&Kafka某Topic数据清理

由于项目原因，最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况，有三步去判断原因所在：step A：如果用kafka串口（即console-consumer）是可以正常消费该topic，则排除kafka集群出现故障step B：若平台业务能正常消费其他topic的消息，则排除平台业务代码逻辑问题step C：不到万不得已，则只能手动删除

2017-05-25 22:42:49 26574

原创 2017暑期实习面经分享（大数据&Java&后台）

阿里（内推一面，卒）时间：3月初；形式：电话面；岗位：Java研发（分布式方向）内容：1、Java的内存管理2、现有的GC算法3、HashMap是不是线程安全的，ConcurrentHashMap怎么实现线程安全4、volatie和synchronized的原理和对比5、tcp与udp的区别6、socket通信的过程7、AOP有用过吗？原理是啥？8、熟悉哪些

2017-05-20 16:15:16 3372 1

转载 vim C++开发环境插件安装详解

转载自：http://littlewhite.us/archives/212作者：littlewhiteC/C++是使用比例最高的程序语言，而vim是专为程序员开发的编辑器，当这两者结合起来，会给我们带来怎样的效果呢。对于windows上做C++开发的用户来说，vs为他们做了大量的工作，语法高亮、自动缩进、智能提示等等，当你happy的使用vs时，请记住

2017-05-07 11:29:24 5400

转载 Kafka使用进阶——消费者

Introducing the Kafka Consumer: Getting Started with the New Apache Kafka 0.9 Consumer Client http://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0.9-consumer-client 当kafk

2017-01-21 22:25:07 19210

笔者刚接触大数据方面时，只知道Hadoop和时下很火的Spark，对Hadoop、Spark的认知只停留在跑跑demo，写点离线小app，后来随着学业项目的需要，开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后，从一篇paper里看到Lambda这一陌生的字眼，再一搜，发现这正是我需要的大数据平台基础架构。Oryx2正是基于Lambda架构和Spark搭建的大数据处理开源框架。

2016-12-23 22:50:53 5301 2

翻译 Kafka学习笔记（三）

Apache Kafka集群架构上图即是Kafka集群架构概览图，以下将介绍图中的术语：Broker：为了维持负载均衡，Kafka集群一般是由多个broker组成。Kafka broker是无状态的，所以他们使用zookeeper维系集群的状态。一个broker单位时间（1秒）内可以处理成百上千的读写操作，并且可以hold住TB级的数据量。brokers的leader选举由zookeeper消化。Z

2016-11-29 17:15:15 800

翻译 Kafka学习笔记（二）

Apache Kafka 基本原理从上图，可以浅显的看到，一个topic配置了三个partition。Partition 1 有两个偏移量0和1；Partition 2 有四个偏移量0，1，2，3；Partition 3 有一个偏移量0。Broker中的replica的id与其server的id一致。总之，如果topic的replication factor被设置为3，Kafka将会对应每个Part

2016-11-25 17:05:29 641

翻译 Kafka学习笔记（一）

Apache Kafka 介绍一、Kafka是什么Apache Kafka是一种分布式的消息发布-订阅系统，而且是一种可以处理大量数据且能点对点传输消息的鲁棒的队列。Kafka适合线下和线上的消息消费。Kafka的消息会被持久化在磁盘并在集群中被复制多份备份防止数据丢失。Kafka必须部署在Zookeeper同步服务之上。Kafka可以和Apache Storm和Spark很好的结合，应用于实时数据

2016-11-24 15:20:37 612

原创 HBase集群部署（完全分布式）及部署过程遇到问题浅析解决

环境OS: Ubuntu 16.04 LTSJava: open-jdk1.8.0_111（需要1.7+）Hadoop: hadoop-2.7.3Zookeeper: zookeeper-3.4.9Hbase: hbase-1.2.4集群机器 IP HostName Master RegionServer 10.100.3.88 Master yes no

2016-11-18 16:16:47 3565

原创 Ubuntu远程连接MySQL(connection refused)解决方法

一、判断ubuntu是否开启防火墙sudo ufw status开放防火墙3306端口sudo ufw allow 3306二、查看3306端口是否打开注意：红色框框表示3306绑定的ip地址–>未修改前为：127.0.0.1:3306–>即mysql默认绑定localhost，远程访问不了 *如果是绑定了127.0.0.1则继续看第三步，否则请跳过第三步三、修改mysql配置文件，将bind

2016-11-03 10:47:09 6185 3

原创基于Spark ALS的离线推荐系统实践

首先，此推荐系统搭建在基于Hadoop(2.7.3)、Spark(2.0.0)、Zookeeper（可选）的集群上，关于Hadoop和Spark集群搭建可参考我前面几篇水水的博文~其次，此demo用到的数据来自DataCastle的一个正在进行的比赛，数据集在此请大家移步下载~比赛的主题是关于地点的推荐（训练集数据格式：userID, addressID, count –> 用户id，地点id，

2016-10-28 16:05:46 3193

转载主定理证明

转自GoogleSite算法导论习题解答，先fork一下算法导论其实已经给出了具体的证明步骤，但是还是有些省略，此文章是对主定理进行了完全的证明；主定理的证明大致分为两个阶段：(1)假设n为b的整数次幂，如1,b,b^2,b^3....(2)不限定n的范围，n可以为任意整数；首先我们先证明第一阶段，即n=b^i；

2016-10-16 16:08:57 1969

原创 LeetCode 1. Two Sum (C++)

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution.Example:Given nums = [2, 7, 11, 1

2016-10-16 10:41:37 414

原创 Leetcode 191. Number of 1 Bits

题目： Write a function that takes an unsigned integer and returns the number of ’1’ bits it has (also known as the Hamming weight).For example, the 32-bit integer ’11’ has binary representation 00000000

2016-10-13 22:28:37 372

原创 Leetcode 83. Remove Duplicates from Sorted List

题目： Given a sorted linked list, delete all duplicates such that each element appear only once.For example, Given 1->1->2, return 1->2. Given 1->1->2->3->3, return 1->2->3.Java代码：/** * Definition fo

2016-10-13 22:04:33 367

原创 spark-shell脚本浅析（Spark2.0.0）

一、首先，po出spark-shell脚本代码，位置坐标为：$SPARK_HOME/bin/spark-shell#!/usr/bin/env bash## Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE fil

2016-10-13 13:55:09 2640

原创 Leetcode 326. Power of Three

题意： Given an integer, write a function to determine if it is a power of three.Follow up: Could you do it without using any loop / recursion?即判断该整数是否是3的n次方数难点：不使用任何循环或递归解决此题！首先，先给出使用循环和递归的解法，非常简单：

2016-10-12 22:13:58 437

原创 LeetCode 401 Binary Watch （Java）

题意： A binary watch has 4 LEDs on the top which represent the hours (0-11), and the 6 LEDs on the bottom represent the minutes (0-59).Each LED represents a zero or one, with the least significant bit o

2016-09-26 09:50:15 1195

原创 Spark2.0.0集群搭建部署

0 准备工作1）Hadoop集群部署，详细参照前两篇博文Hadoop集群安装配置教程 + Hadoop-2.7.3集群搭建中遇到的问题总结2）Scala安装：ubuntu系统直接–>”sudo apt-get install scala”，系统会帮你直接安装，如果出现”no package found”，那就需要修改ubuntu的软件服务器站点（即System Settings–>Software&

2016-09-23 10:37:12 598

原创 Hadoop-2.7.3集群搭建中遇到的问题总结

0 前言：1）Hadoop集群搭建参照前一篇博文Hadoop集群安装配置教程 2）集群有三个节点：Master、Slave1、Slave2，其中Master只作namenode，其余两个从节点做datanode1 搭建过程中常用Hadoop指令：1）启动Hadoop指令：start-all.shmr-jobhistory-daemon.sh start historyserver启动成功过程lo

2016-09-21 14:39:47 9554 1

转载 Hadoop集群安装配置教程

转自：Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS个人配置过程中出现的棘手问题：1、主机SSH无密码登陆子节点失败：原因：可能是主机与子节点编码格式不同所致，后来统一为"en_US.UTF-8"或者重装系统为统一的语言格式即可2、子节点无需先行下载和配置hadoop，跟着教程走即可3、Windows和Linux

2016-09-20 15:50:34 1140

原创 LeetCode 217. Contains Duplicate (Java + C)

题意: 给出一个整数数组，判断该数组内是否有两个元素值是相同的，是则返回true，否则返回false Given an array of integers, find if the array contains any duplicates. Your function should return true if any value appears at least twice in the ar

2016-09-14 22:14:55 558

原创 LeetCode 387. First Unique Character in a String (Java+C/C++)

题意：输出字符串中唯一出现的第一个字符的索引下标 Given a string, find the first non-repeating character in it and return it’s index. If it doesn’t exist, return -1. Examples:s = "leetcode"return 0.s = "loveleetcode",retur

2016-09-14 21:19:11 355

原创 LeetCode之Valid Anagram (Java+C/C++)

题意：验证变位词 Given two strings s and t, write a function to determine if t is an anagram of s.For example, s = “anagram”, t = “nagaram”, return true. s = “rat”, t = “car”, return false.解题思路1：利用库函数对两字符串字

2016-09-13 21:41:35 448

原创 LeetCode之Excel Sheet Column Number

题意： Related to question Excel Sheet Column TitleGiven a column title as appear in an Excel sheet, return its corresponding column number.For example:For example: A -> 1 B -> 2 C -> 3 ..

2016-09-12 22:46:00 289

原创 LeetCode之Excel Sheet Column Title

题意： Given a positive integer, return its corresponding column title as appear in an Excel sheet.For example: 1 -> A 2 -> B 3 -> C ... 26 -> Z 27 -> AA 28 -> AB 给出一个正整数,返回相应的

2016-09-12 21:58:35 237

原创 LeetCode之Same Tree

题意： Given two binary trees, write a function to check if they are equal or not.Two binary trees are considered equal if they are structurally identical and the nodes have the same value.给定两个二叉树,编写一个函数

2016-09-12 17:15:19 220

原创 LeetCode之Ransom Note (Java+C)

题意： Given  an  arbitrary  ransom  note  string  and  another  string  containing  letters from  all  the  magazines,  write  a  function  that  will  return  true  if  the  ransom   note  can  be  con

2016-09-09 22:03:00 627

原创 LeetCode之Intersection of Two Arrays

题意：找出两数组的交集 Given two arrays, write a function to compute their intersection.Example: Given nums1 = [1, 2, 2, 1], nums2 = [2, 2], return [2].Note: Each element in the result must be unique. The res

2016-09-09 21:10:30 292

原创 LeetCode之Delete Node in a Linked List (Java+C)

题意：Write a function to delete a node (except the tail) in a singly linked list, given only access to that node.Supposed the linked list is 1 -> 2 -> 3 -> 4 and you are given the third node with value 3

2016-09-07 22:39:05 438

原创 LeetCode之Move Zeroes（Java+C）

题意：给定一个数组，将所有0元素放到数组尾部，并保持非零元素的相对顺序 Java代码：public class Solution { public void moveZeroes(int[] nums) { int len = nums.length; int index = 0; for(int i = 0; i < len; i++) {

2016-09-07 21:49:20 424

原创 LeetCode之Find the Difference（Java版）

题意：给出两个字符串s和t，均只含有小写字母，找出两字符串的不同，并输出字符例子：Input:s = "abcd"t = "abcde"Output:eExplanation:'e' is the letter that was added.解题思路：一想到比较不同，自然会想到异或运算，然而还需注意到一点：在java中，byte、char、short进行运算时，他们之间不会相互转化，首先

2016-09-06 23:10:58 1367

原创 LeetCode之Invert Binary Tree（Java版）

LeetCode之Invert Binary Tree（java版）

2016-09-06 22:21:36 712

原创 LeetCode之Maximum Depth of Binary Tree（Java版）

LeetCode算法题之Maximum Depth of Binary Tree

2016-09-04 14:50:32 326

原创 LeetCode之Single Number（java版）

LeetCode算法题之Single Number解题思路

2016-09-04 14:09:47 315

原创 Linux Shell脚本初体验—Hello World

1、shell script编写的注意事项：（1）如果读取到一个Enter符号（CR），就尝试开始执行该行或该串命令；（2）如果一行的内容太多，可以用“[Enter]”扩展到下一行；（3）“#”作为批注；（4）命令的执行从上而下、从左至右；（5）[tab]按键等同于空白键，空白会被忽略2、shell脚本文件执行方式：（1）直接命令执行（注意：文件必须有可执行rx权限）（2）以bash进程执行，通过“

2016-09-03 21:24:41 2105

原创 Android JNI初体验

Android Studio下JNI开发的初次尝试

2016-09-01 11:18:33 456

原创 android观察者模式：EventBus实现GPS定位

Android开发过程中，我们通常会为不同组件间互相通知讯息而烦恼>~<比如说，activity与其多个附着的fragment之间，按传统方法就是用“回调”，在fragment中写接口，在activity中实现接口的方法。但，这样子做略麻烦。这里涉及到的就是“观察者模式”（JDK1.5已经实现该模式，Observable、Observer），再例如广播以及listView中notifyDatasetChanged()

2015-12-11 12:26:28 1204

原创干货：android实现hessian通信

本文将详述如何在android（客户端）上与服务端通过Hessian实现网络通信、数据传输。网上关于这方面的资料并不少，但是良莠不齐，让笔者走了不少弯路。本文将先解析android端源代码（ps：web端代码各位度娘or谷歌），而后分享在android上实现hessian常见的错误和解决方法。请各位大神多多提意见，谢谢~ Step 1：新建android工程，添加权限，导入源码工

2015-10-23 22:03:41 2637 1

原创双拖动条自定义seekbar(带浮动textView)

多说无益，先上效果图：自定义seekbar，继承ImageView，双拖动条（带浮动textview），不会与其他滑动事件冲突，可用于类似侧滑菜单的布局中。文章末尾附上源码下载链接（内含双拖动条seekbar以及单拖动条seekbar，免积分下载），欢迎各位大牛纠bug！实现思路：1)继承于ImageView2)构造函数设置最值3)重写onMeasure()方法获取尺寸

2015-08-13 00:25:48 2039

xgboost4j和xgboost4j-spark(linux及win64版本)

Java版xgboost，分linux和win64两种编译版本，linux下另有xgboost4j-spark和xgboost4j-flink的依赖包

2018-01-24

CDH5在线安装包

2016-11-16

基于Spark ALS的离线推荐系统demo代码

基于Spark ALS的离线推荐系统demo代码，欢迎大神们纠bug指教

2016-10-28

基于Spark ALS离线推荐系统demo代码

基于Spark ALS的离线推荐系统实践参考demo代码，欢迎各位大神纠bug指教~

2016-10-28

Android JNI编程demo

2016-09-01

MySQL5.x参考手册

2016-05-03

android观察者模式：EventBus实现GPS定位

资源参考博客：http://blog.csdn.net/sctu_vroy/article/details/50253457

2015-12-10

android EventBus实现GPS定位

该资源参考博客：http://blog.csdn.net/SCTU_vroy/article/details/50253457

2015-12-10

android实现Hessian通信源码

在android与web端实现hessian通信，源码为android客户端源码，jar包来自http://hsrong.iteye.com/blog/1719996，google官网提供的hessdroid不可用，因为里面包含一些android不支持的类；hessian官网的jar包适用于web端，不适用于android端开发。

2015-10-23