- 博客(44)
- 收藏
- 关注
RSS订阅原创 并发编程之深入浅出ThreadLocal
在并发编程中ThreadLocal是一个特殊并且比较重要的点，在很多框架中都有用到它并且它的设计也是相当巧妙使用起来也是相当简便，所以本篇文章将从源码及使用角度介绍ThreadLocal## 简介首先我们需要明确一点，ThreadLocal的设计初衷是为了解决不同线程间使用共享变量的隔离问题而不是解决多线程共同修改同一个共享变量的问题，ThreadLocal是将要操作的共享变量在每个线程中保存一份，操作该共享变量时各个线程之间互不影响，要解决多线程间修改同一个共享变量还是要通过加锁或CAS来实现。 下图
2021-08-05 18:04:54
128
原创 Linux下MySQL配置文件失效
打开hdfs-site.xml里配置的datanode和namenode的目录，分别打开current文件夹里的VERSION文件，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重启dfs...
2021-02-23 23:17:35
414
原创 常用JAVA设计模式之--单例
单例模式是一种比较常用且相对简单的设计模式，首先我们来明确什么是单例模式，顾名思义“单例”就是单个实例，也就是说“在我们的系统中某个类只能存在一个对象实例，并且这个对象实例是私有的并且不能通过外部new()的方式创建这个对象，内部需要提供一个公共方法去取到这个对象实例”。 接下来我们看作用，单例到底有什么用它的存在意义是什么呢？我们知道单例只有一个实例，在某些业务...
2020-01-15 15:37:09
1443
转载 Linux pip安装模块时提示Requirement already satisfied
解决方法：安装时指定安装路径pip install --target=/usr/local/lib/python2.7/site-packages pyspider
2019-06-26 10:39:31
18374
2
原创 Java中lambda表达式
Java8引入了很多新特性，其中就包括了Lambda 表达式以及stream，今天就通过简单几句话说说lambda到底是个什么东西。首先lambda作用是什么？ Lambda 表达式可以使代码变的更加简洁，换句话说就是让你可以写出优雅的代码public static void main(String[] args) { final int num=10...
2019-03-01 13:24:36
350
原创 深入理解MapReduce
相关概念 MapReduce是一个基于HDFS的分布式计算框架，是一个可以将分布式计算抽象为Map和Reduce的编程模型，它的核心思想是分治，将大量数据分到不同机器上去分别计算最终汇总从而进行高效的数据处理，但是MapReduce不支持迭代和循环会有一定的局限性，如果有需要迭代就会需要进行多伦的MapReduce。一：分片： 1.1：何为分片...
2018-11-24 15:57:59
1941
原创 count（*）和count（1）和count（列名）的区别
count是一种最简单的聚合函数，一般也是我们第一个开始学习的聚合函数，那么他们之间究竟由什么区别呢？有的人说count（1）和count（*）他们之间有区别，而有的人说他们之间没有区别那么他们之间到底有没有区别呢。从执行结果来说： count（1）和count（*）之间没有区别，因为count（*）count（1）都不会去过滤空值， 但count（列...
2018-11-23 11:00:57
36981
5
原创 【深入理解Hadoop之二】HDFS上传下载数据流程
一：上传流程：1：客户端要上传数据需要调用FileSystem的create方法创建文件，2：首先DistributeFileSystem会通过RPC远程调namenode创建一个没有任何块依赖的空文件，在这个过程中会检查该文件是否存在，该文件父目录是否存在如果可以上传namenode会向客户端返回一个FSDateOutputStream对象，否则向客户端抛出一个异常。3：FSD...
2018-11-21 22:35:22
876
原创 【深入理解Hadoop之一】 Hadoop1.0，2.0，3.0区别
1.X，2.X区别： 从HDFS角度来看： 1：Hadoop2.0新增了HDFS HA机制，HA增加了standbynamenode进行热备份，解决了1.0的单点故障问题。 2：Hadoop2.0新增了HDFS federation，解决了HDFS水平可扩展能力。 ...
2018-11-20 21:00:06
7982
原创 flume通过netcat收集Android用户产生数据
目标：通过flume收集安卓用户产生数据，存储到服务器文件由于目前我这边的局限性所以我用如下的思路来实现它： 首先通过UDP 的socket将用户产生的信息发送到中间的缓存服务器（因为TCP只提供端到端传输，多个客户同时发送数据时就会出现端口占用情况，所以这里我使用UDP）。 然后缓存服务器到达一定数据量将数据通过TCP的...
2018-11-06 15:04:25
782
原创 kafka基本操作
#指定zookeeper主机，副本数1，分区数为1，topic名称bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topicname#查看消息是否创建成功bin/kafka-topics.sh --list --zookeeper lo...
2018-09-26 21:28:09
138
原创 Storm编程demo
任务：将得到的字符串更改为大写，添加后缀后写入文件1：spout类import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topology.OutputFieldsDeclarer;import or...
2018-09-25 18:14:10
200
原创 storm集群安装配置：
1：首先安装zookeeper集群2：安装storm：tar -zxvf apache-storm-1.2.2.tar.gz -C /usr/localsudo mv apache-storm-1.2.2 storm3:更改conf目录下storm.yarml配置文件sudo vi storm.yarml########### These MUST be filled ...
2018-09-25 15:52:45
146
原创 zookeeper安装配置
1：解压安装sudo tar -zxvf /home/hadoop/ftpDocuments/zookeeper-3.4.10.tar.gz -C /usr/local/sudo mv zookeeper-3.4.10 zookeeperchown -R hadoop zookeeper/2：修改zookeeper/conf目录下配置文件zoo_sample.cfgsudo m...
2018-09-23 16:15:37
166
原创 【Hadoop】自定义Hadoop序列化been Demo
package hadoop.mapreduce.serializable;import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;/** 自定义Hadoop序列化* */public class MyS...
2018-09-22 10:31:59
156
原创 【python】【爬虫】爬取Fate Grand Order wiki所有英灵礼装图鉴
import requestsfrom lxml import etreefor i in range(1,895): ''' url0="https://fgowiki.com/guide/equipdetail/894?p=pc" #网页地址 res=requests.get(url0) content=res.content html=...
2018-09-17 19:44:25
1072
原创 【DFS】【递归】【Java】Leetcode 733. 图像渲染
有一幅以二维整数数组表示的图画，每一个整数表示该图画的像素值大小，数值在 0 到 65535 之间。给你一个坐标(sr, sc)表示图像渲染开始的像素值（行 ，列）和一个新的颜色值newColor，让你重新上色这幅图像。为了完成上色工作，从初始坐标开始，记录初始坐标的上下左右四个方向上像素值与初始坐标相同的相连像素点，接着再记录这四个方向上符合条件的像素点与他们对应四个方向上像素值与...
2018-08-20 14:26:43
634
原创 【BFS】【迭代】【Java】迷宫问题
定义一个二维数组：intmaze[5][5]={0,1,0,0,0,0,1,0,1,0,0,0,0,0,0,0,1,1,1,0,0,0,0,1,0,};它表示一个迷宫，其中的1表示墙壁，0表示可以走的路，只能横着走或竖着走，不能斜着走，要求编程序找出从左上角到右下角的最短路线。输入二维数组：5 50,1,0,0,0,0,1,0,1,0,0,0,0,0,0,0,1...
2018-08-16 16:55:06
554
原创 【BFS】【迭代】【Java】Leetcode 515. 在每个树行中找最大值
您需要在二叉树的每一行中找到最大的值。示例：输入: 1 / \ 3 2 / \ \ 5 3 9 输出: [1, 3, 9]import java.util.ArrayList;import java.util.LinkedList;import java.util.Lis...
2018-08-15 21:46:33
343
原创 【BFS】【迭代】【Java】Leetcode 员工的重要性
给定一个保存员工信息的数据结构，它包含了员工唯一的id，重要度 和 直系下属的id。比如，员工1是员工2的领导，员工2是员工3的领导。他们相应的重要度为15, 10, 5。那么员工1的数据结构是[1, 15, [2]]，员工2的数据结构是[2, 10, [3]]，员工3的数据结构是[3, 5, []]。注意虽然员工3也是员工1的一个下属，但是由于并不是直系下属，因此没有体现在员工1的数据结构...
2018-08-15 14:09:38
255
原创 【BFS】【递推】【Java】字节跳动2018.3笔试T2
定义两个字符串变量：s和m，再定义两种操作， 第一种操作：m = s;s = s + s;第二种操作：s = s + m; 假设s,m初始化如下：s = "a";m = s;求最小的操作步骤数，可以将s拼接到长度等于nclass Nodes{ int s; int m; public Nodes(){ } p...
2018-08-14 20:57:50
832
1
原创 【BFS】【递推】字节跳动2018.8.12笔试第三题
题目：两个人a,b取牌，每张牌有两个数字x,y,x为个人得分，y为团队得分问a,b得分相同情况下最大团队得分为多少输入：41 42 32 1001 4输出：103import java.util.*;class Nodes { int x=0; int y=0; int suma=0; int sumb=0; ...
2018-08-14 20:54:08
1125
2
原创 【BFS】【递归】【Java】Leetcode 对称二叉树
给定一个二叉树，检查它是否是镜像对称的。 例如，二叉树 [1,2,2,3,4,4,3] 是对称的。 1 / \ 2 2 / \ / \ 3 4 4 3 但是下面这个 [1,2,2,null,3,null,3] 则不是镜像对称的: 1 / \...
2018-08-14 20:51:15
172
原创 【BFS】【迭代】【Java】Leetcode 二叉树最小深度
给定一个二叉树，找出其最小深度。最小深度是从根节点到最近叶子节点的最短路径上的节点数量。说明: 叶子节点是指没有子节点的节点public class MinDeepTree { public static void main(String[] args) { TreeNode treeNode=new TreeNode(1); TreeNod...
2018-08-14 20:49:48
340
原创 【BFS】【迭代】【Java】Leetcode 二叉树的层次遍历。
给定一个二叉树，返回其按层次遍历的节点值。 （即逐层地，从左到右访问所有节点）。例如:给定二叉树: [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回其层次遍历结果：[ [3], [9,20], [15,7]]class TreeNode { int val; ...
2018-08-14 20:47:50
662
原创 【BFS】【迭代】【Java】Leetcode 单词接龙
给定两个单词（beginWord 和 endWord）和一个字典，找到从 beginWord 到 endWord 的最短转换序列的长度。转换需遵循如下规则：每次转换只能改变一个字母。转换过程中的中间单词必须是字典中的单词。说明:如果不存在这样的转换序列，返回 0。所有单词具有相同的长度。所有单词只由小写字母组成。字典中不存在重复的单词。你可以假设 beginWord 和 en...
2018-08-14 20:44:13
315
原创 【Hadoop】Hbase总结
一、shell命令进行操作 1：基本操作start-hbase.sh #运行hbasehbase shell #进入shell命令list #列出表名stop-hbase.sh #关闭2：创建表create 'tbname','f1','f2'create 'tb',{NAME=>'f1',VERSIONS=>5} #...
2018-08-04 21:51:17
2232
原创 【Hadoop】Hive用户自定义函数UDF
1： hive用户自定义函数udf，实现对字符串的格式化操作 引入maven依赖：<dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <versi...
2018-08-04 15:14:51
1066
原创 Hive 使用总结HiveQL
一、基本操作hive #进入使用HiveQL操作show databases； #展示所有数据库show databases like '*x*； #展示包含x字段的数据库，不同于sql模糊查询 % _ 不适用 create database dbname; #创建数据库use dbname...
2018-08-03 14:12:30
3689
翻译 微软在GitHub上发布了开源量子教学项目Katas
量子计算是未来，它有潜力改变一切。这些新机器将比现今可用的任何“经典”计算机强大得多。量子计算机将能够做我们今天只能梦想的计算，潜在地解决以前从未解决过的问题。这些强大的计算机甚至可以使现有的加密方法过时。当然，硬件只是等式的一部分。为了使量子计算机真正改变世界，我们需要为他们编写的软件。微软似乎急于让程序员在量子浪潮中，就像今天一样...
2018-07-30 21:04:37
3196
原创 【机器学习】Mahout 基于用户的协同过滤推荐
J2EE实现:maven SpringMVC项目可部署到服务器，由于比较复杂就不再这里写了感兴趣的可访问https://github.com/XVIIB/UCF-XVIIJavaSE实现1：输入数据（26M大小的csv文件，包含1000000+条淘宝用户浏览购买信息）：用户id 商品id 评分2：maven依赖：http://mvnrepository.co...
2018-07-23 21:17:14
3192
转载 【资源】Hadoop指南
HDFS:http://dblab.xmu.edu.cn/blog/290-2/MapReduce:http://dblab.xmu.edu.cn/blog/631-2/Hbase:http://dblab.xmu.edu.cn/blog/install-hbase/Hive:http://dblab.xmu.edu.cn/blog/1080-2/Spark:http://dbla...
2018-07-22 12:45:27
200
原创 【Hadoop】HDFS编程
1、初始化配置信息：@Test public void init() throws IOException, URISyntaxException, InterruptedException { Configuration configuration =new Configuration(); configuration.set("fs.hdfs.im...
2018-07-18 16:16:48
349
转载 【资源】stopwords.txt下载百度云（中英文）
https://pan.baidu.com/s/1K-fbpcbHJzM67Jq1O4YLZQ
2018-06-01 13:59:09
23678
4
原创 【云服务器】远程连接阿里云服务器Mysql数据库
首先：很重要的一点如果配置没问题但无论如何也连不上请检查你自己的网络是否有问题，我当时搞了三个小时最后发现用我们学校的校园网无论如何也连不上，但换成自己的热点就能连上。配置MySQL：1：添加阿里云安全组规则的MySQL 3306端口 点击左侧导航栏安全组 点击配置规则点击添加安全组规则设置协议类型为MySQL3306 ，授权对象为所有ip 2：打...
2018-05-23 13:43:58
16829
2
原创 【Hadoop】Hadoop相关错误及解决方案
1：hive运行错误 ：HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient不能实例化org.apache.hadoop.hive.ql.metadata这个包下的SessionHiveM...
2018-05-19 22:19:49
881
原创 【Android】java.io.FileNotFoundException没有写入权限
1. java.io.FileNotFoundException: /mnt/sdcard/bjx.txt (Permission denied)没有写入权限1：如果没有添加权限，在AndroidManifest.xml添加写入权限<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/&...
2018-05-16 20:49:12
6786
原创 【云服务器】Win10命令行ssh连接阿里云服务器
最终效果：这里有两种方法1：打开window设置打开应用，点击管理可选功能。点击添加功能添加ssh服务端和客户端重启Windows，打开cmd 输入ssh测试出现如下情况表示成功 2：开启开发人员选项 ——>打开控制面板-——>程序和功能——>启用和关闭 windows 功能——>选择其中的适用于Liunx 的 ...
2018-05-08 15:14:17
18677
原创 【Hadoop】MapReduce编程Demo新旧
1.wordcount。import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa...
2018-05-05 13:26:54
450
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人