- 博客(707)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 认知的四个层次，读懂改变一生
在古希腊的德尔斐神庙里，有道神谕说：苏格拉底是雅典最聪明的人。苏格拉底却说：“我只知道一件事，就是我什么都不知道。”为什么神会觉得苏格拉底是最有智慧的人呢？因为比起那些在专业领域有点研究就觉得自己无所不知的人来说，他能认识到自己的无知，这才是真知。真正的智者，懂得时刻保持空杯心态，不断提高自己的认知水平。而人与人之间的差距，根本原因就在于认知的不同。01认知水平越低的人，越自以为是网上有一张图，把人的认知分为四个层次：...
2021-06-20 13:38:09
947
原创 Kafka leader -1
问题错误日志：21/03/28 10:17:06 WARN clients.NetworkClient: [Consumer clientId=consumer-1, groupId=kafka_loader_20210325] Connection to node 3 could not be established. Broker may not be available.21/03/28 10:17:06 INFO internals.Fetcher: [Consumer clientId=c
2021-03-28 13:52:24
621
转载 Java学习必备书籍推荐
Java基础《Head First Java》[1](推荐，豆瓣评分 8.7，1.0K+人评价)：可以说是我的 Java 启蒙书籍了，特别适合新手读当然也适合我们用来温故 Java 知识点。《Java 核心技术卷 1+卷 2》[2]（推荐）: 很棒的两本书，建议有点 Java 基础之后再读，介绍的还是比较深入的，非常推荐。这两本书我一般也会用来巩固知识点，是两本适合放在自己身边的好书。《JAVA 网络编程 第 4 版》[3]：可以系统的学习一下网络的一些概念以及网络编程在 Java 中的使用。《J
2020-07-21 13:44:01
265
转载 CentOS7 使用无线WiFi连接并设置为开机启动
CentOS7 使用无线WiFi连接并设置为开机启动转载：https://blog.mrabit.com/details/25废旧笔记本装上了CentOS7准备拿来练手,由于笔记本有线网孔坏了需要配合WiFi联网使用第一步,查看笔记本WiFi网卡名称:ip addr其中"wlp8s0"则是我的无线网卡口名称下面是用到的命令:#将无线网口wls1开启ip...
2019-05-07 23:39:03
1155
转载 Centos 7 配置 WPA-PSK无线上网
本文内容修改自 http://www.itnose.net/detail/6249611.htmlcentos7无线wifi连接2015-04-18 15:14一：所用命令dmesg | grep firmware（看看有没有来自无线网卡的固件请求）iw： iw dev(查找无线网卡口) iw wls1 link(查看wls1网口无线网络连接情况)...
2019-05-06 13:07:09
557
转载 Oozie部署spark、hadoop、hive、shell和java程序举例
一、oozie执行shell脚本(执行mr任务,实现合并增量数据)参考：http://gethue.com/use-the-shell-action-in-oozie/1、点击创建、拖动到上面 2、添加命令:bash，当然也可以是linux的其他可执行的命令 3、添加参数：注意---》参数名称是shell脚本的全称(run-mr-compact.sh) ...
2018-08-24 09:47:24
759
转载 CDH HBASE使用Solr创建二级索引，更新删除索引
CDH HBASE使用solr创建二级索引，更新删除索引转载： https://blog.csdn.net/u010936936/article/details/78064148?locationNum=10&fps=1关于为什么要创建hbase二级索引，这里不再赘述，直接开始安装配置 1.环境准备 ①安装HBASE，solr， Key-Value S...
2018-08-17 15:16:53
957
转载 HDFS原理解析（整体架构，读写操作流程及源代码查看等）
HDFS原理解析（整体架构，读写操作流程及源代码查看等）前言HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来，就像是訪问本地的磁盘一般。即使系统中有某些节点脱机，总体来说系统仍然能够持续运作而不会有数据损失。 一...
2018-08-16 17:17:46
465
原创 Spark读取Hbase报错总结
1 : 发生空指针异常，但是最终任务还是运行成功。java.lang.RuntimeException: java.lang.NullPointerException at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:208) at org.apache.had...
2018-06-21 10:41:30
951
原创 集群中RegionServer hadoopserver03 的GC日志分析
集群中RegionServer hadoopserver03 的GC日志分析Java HotSpot(TM) 64-Bit Server VM (25.71-b15) for linux-amd64 JRE (1.8.0_71-b15), built on Dec 22 2015 18:21:33 by "java_re" with gcc 4.3.0 20080428 (Red Hat 4.3...
2018-05-30 13:54:59
754
原创 Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题
Spark使用newAPIHadoopRDD 直接读取Hbase遇到的问题数据表数据量大概：1.8TJavaPairRDD<ImmutableBytesWritable, Result> hbaseRDD = jsctx.newAPIHadoopRDD(conf, TableInputFormat.class,ImmutableBytesWritable...
2018-04-21 09:36:35
6168
2
转载 Linux 下挂载新硬盘方法
Linux的硬盘识别:一般使用”fdisk -l”命令可以列出系统中当前连接的硬盘设备和分区信息.新硬盘没有分区信息,则只显示硬盘大小信息.1.关闭服务器加上新硬盘2.启动服务器，以root用户登录3.查看硬盘信息#fdisk -l[cpp] view plain copyDisk /dev/sda: 42.9 GB, 42949672960 bytes 255 heads, 63 sector...
2018-04-19 18:01:30
374
转载 Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析原文地址：https://javadoop.com/post/hashmap今天发一篇"水文"，可能很多读者都会表示不理解，不过我想把它作为并发序列文章中不可缺少的一块来介绍。本来以为花不了多少时间的，不过最终还是投入了挺多时间来完成这篇文章的。网上关于 HashMap 和 ConcurrentHashMap 的文...
2018-03-21 21:15:50
248
原创 使用SparkSQL 读取Phoenix4.5.2出现下面的问题
使用SparkSQL 读取Phoenix4.5.2出现下面的问题18/03/09 15:07:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 0 (MapPartitionsRDD[10] at show at SparkOpPhoenix.scala:20)18/03/09 15:07:43 INFO Task...
2018-03-09 16:38:29
910
转载 Phoenix（SQL On HBase）安装和使用报告
Phoenix（SQL On HBase）安装和使用报告http://www.cnblogs.com/kekukekro/p/6339587.html#wiz_toc_29一、为什么使用Phoenix二、安装Phoenix2.1 兼容问题？2.2 编译CDH版本的Phoenix2.3 安装Phoenix到CDH环境中三、Phoenix的使用3.1 phoenix的4种调用方式3.1.1 批处理方式...
2018-03-09 16:27:25
860
转载 JDK1.8 十大新特性详解
JAVA8 十大新特性详解2017-01-06 C语言三人行+“Java is still not dead—and people are starting to figure that out.”本教程将用带注释的简单代码来描述新特性，你将看不到大片吓人的文字。一、接口的默认方法Java 8允许我们给接口添加一个非抽象的方法实现，只需要使用 default关键字即可，这个特征又叫做扩展方法，示例...
2018-03-02 17:50:04
259
转载 WebSocket与消息推送
WebSocket与消息推送 https://www.cnblogs.com/best/archive/2016/09/12/5695570.html目录一、Socket简介二、WebSocket简介与消息推送三、WebSocket客户端四、WebSocket服务器端五、测试运行六、小结与消息推送框架6.1、开源Java消息推送框架 Pushlet6.2、开源DotNet消息推送框架SignalR...
2018-03-02 17:29:53
8683
1
转载 JVM垃圾回收二：分代垃圾回收
JVM垃圾回收二：分代垃圾回收导语不论是引用计数还是可达性分析（gcroot）,都是垃圾回收的一种策略，不同的是这两个都不能直接被用于jvm，都有他们的缺点。其实这个更多的是告诉我们java中的对象引用的一些原理，为现在执行的分代垃圾回收做铺垫，了解其原理即可，多谢@不知道和@Echo的留言为什么要分代分代的垃圾回收策略，是基于这样一个事实：不同的对象的生命周期是不一样的。因此，不同生命周期的对象...
2018-03-01 09:53:13
275
转载 如何成为一名自然语言处理工程师
作者 | 兰红云责编 | 何永灿自然语言处理和大部分的机器学习或者人工智能领域的技术一样，是一个涉及到多个技能、技术和领域的综合体。所以自然语言处理工程师会有各种各样的背景，大部分都是在工作中自学或者是跟着项目一起学习的，这其中也不乏很多有科班背景的专业人才，因为技术的发展实在是日新月异，所以时刻要保持着一种强烈的学习欲望，让自己跟上时代和技术发展的步伐。本文作
2018-02-03 11:24:44
428
转载 Hadoop错误总结
P1: vWARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 问题：源代码编译问题，可能是32为，你的机器是64位，需要重新编译 p2: 2015-01-
2018-02-02 16:29:46
1869
转载 卷积神经网络(CNN)学习笔记2：模型训练
上篇博文主要对CNN的基本网络结构及连接方式做了简单的介绍，还介绍了一个界内经典的LeNet-5模型。下面重点介绍CNN模型的训练过程/参数学习，在阅读本文之前，最好需要有以下方面的预备知识：神经网络基础（网络结构，前向/后向传播方式，激活函数等）；基础的最优化求解方法（梯度法，牛顿法等）；机器学习基础神经网络模型常用于处理有监督学习的问题，例如分类问题，CNN也不例外。模型需
2018-01-08 15:09:13
882
转载 卷积神经网络(CNN)学习笔记1：基础入门
概述卷积神经网络(Convolutional Neural Network, CNN)是深度学习技术中极具代表的网络结构之一，在图像处理领域取得了很大的成功，在国际标准的ImageNet数据集上，许多成功的模型都是基于CNN的。CNN相较于传统的图像处理算法的优点之一在于，避免了对图像复杂的前期预处理过程（提取人工特征等），可以直接输入原始图像。图像处理中，往往会将图像看成是一个或
2018-01-08 14:30:04
336
转载 TensorFlow学习笔记2：构建CNN模型
上篇博文主要是TensorFlow的一个简单入门，并介绍了如何实现Softmax Regression模型，来对MNIST数据集中的数字手写体进行识别。然而，由于Softmax Regression模型相对简单，所以最终的识别准确率并不高。下面将针对MNIST数据集构建更加复杂精巧的模型，以进一步提高识别准确率。深度学习模型TensorFlow很适合用来进行大规模的
2018-01-08 14:12:44
619
转载 TensorFlow学习笔记1：入门
TensorFlow 简介TensorFlow是Google在2015年11月份开源的人工智能系统（Github项目地址），是之前所开发的深度学习基础架构DistBelief的改进版本，该系统可以被用于语音识别、图片识别等多个领域。官网上对TensorFlow的介绍是，一个使用数据流图(data flow graphs)技术来进行数值计算的开源软件库。数据流图中的节点，代表数值
2018-01-08 12:58:08
347
转载 闭包的创建
闭包的创建编辑在Javascript中闭包的创建过程，如以下程序所示。代码function a(){var i=0;function b(){alert(++i);}return b;}var c=a();c();特点这段代码有两个特点：1、函数b
2018-01-01 12:06:00
616
原创 Hadoop,Spark ：文件输出压缩
Spark最终结果压缩sparkContext.textFile(inputPath).flatMap(x => { TestLog.readFromString(x)}).saveAsTextFile(outputPath, classOf[GzipCodec])123MapReduce最终结果的压缩FileOutputFormat.setCompressOutput(
2017-12-15 17:14:41
696
转载 Kafka消费组(consumer group)
一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consumer这点事说清楚，从而对广大使用者有所帮助。在开始之前，我想花一点时间先来明确一些概念和术语，这会
2017-12-05 14:48:04
327
转载 Kafka研究
Kafka研究架构 kafka是显式分布式架构，producer、broker（Kafka）和consumer都可以有多个。Kafka的运行依赖于ZooKeeper，Producer推送消息给kafka，Consumer从kafka拉消息。kafka关键技术点（1） zero-copy在Kafka上，有两个原因可能导致低效：1）太多的网络请求2）过多的字节拷
2017-12-05 14:46:06
1705
原创 Kafka学习资料
Apache Kafka监控之Kafka Web Consolehttps://www.iteblog.com/archives/1084.htmlApache Kafka监控之KafkaOffsetMonitorhttps://www.iteblog.com/archives/1083.html雅虎开源的Kafka集群管理器(Kafka
2017-11-29 16:18:36
633
原创 使用第三方ZKClient 读取Zk数据报错
使用第三方ZKClient 读取Zk数据报错：Exception in thread "main" org.I0Itec.zkclient.exception.ZkMarshallingError: java.io.EOFExceptionat org.I0Itec.zkclient.serialize.SerializableSerializer.deserialize(Seri
2017-11-17 18:05:56
2651
1
转载 分布式系列文章——从ACID到CAP/BASE
分布式系列文章——从ACID到CAP/BASEhttp://www.cnblogs.com/linbingdong/p/6178488.html事务事务的定义：事务（Transaction）是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元（Unit），狭义上的事务特指数据库事务。事务的作用：当多个应用程序并发
2017-11-16 10:32:49
296
转载 分布式系列文章——Paxos算法原理与推导
分布式系列文章——Paxos算法原理与推导http://www.cnblogs.com/linbingdong/p/6253479.htmlPaxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点：1.难以理解 2.工程实现更难。网上有很多讲解Paxos算法的文章，但是质量参差不齐。看了很多关于Paxos的资料后发现，学习Paxos最好的
2017-11-15 11:41:49
266
转载 Paxos 算法
主要参考：百度百科Paxos 算法 编辑Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人在微软研究院）
2017-11-15 10:01:09
331
转载 Paxos算法与Zookeeper分析
Paxos算法与Zookeeper分析http://blog.csdn.net/xhh198781/article/details/109496971 Paxos算法1.1 基本定义算法中的参与者主要分为三个角色，同时每个参与者又可兼领多个角色:⑴proposer 提出提案，提案信息包括提案编号和提议的value;⑵accepto
2017-11-14 17:34:41
190
转载 使用Zookeeper实现分布式锁
使用Zookeeper实现分布式锁http://blog.csdn.net/massivestars/article/details/53771532实现原理Zookeeper的一个典型应用场景就是分布式锁，锁的实现是利用Zookeeper创建的临时时序节点(创建的时候CreateMode为EPHEMERAL_SEQUENTIAL)和节点变动的监听器实现的。时序节点保证了节点的创建在分
2017-11-13 15:44:53
285
转载 使用ZooKeeper实现队列
使用ZooKeeper实现队列http://blog.csdn.net/massivestars/article/details/53870399实现原理先进先出队列是最常用的队列，使用Zookeeper实现先进先出队列就是在特定的目录下创建PERSISTENT_EQUENTIAL节点，创建成功时Watcher通知等待的队列，队列删除序列号最小的节点用以消费。此场景下Zookeeper
2017-11-13 15:43:12
352
转载 使用Zookeeper实现Leader(Master)选举
使用Zookeeper实现Leader(Master)选举http://blog.csdn.net/MassiveStars/article/details/53894551应用场景分布式系统最典型的架构就是一主多从。在很多时候，虽然处理大规模的数据、图像和文件等，这种工作极其耗资源而且数据、文件等都是共享的，若全部机器都计算处理一次会浪费保贵的计算资源；我们可以把这些工作交给一台
2017-11-13 15:39:48
493
转载 Zookeeper之监听事件总结
zookeeper之监听事件总结http://blog.csdn.net/liu857279611/article/details/704954131. zookeeper的Watch机制 一个zk的节点可以被监控，包括这个目录中存储的数据的修改，子节点目录的变化，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的
2017-11-13 15:22:47
2132
转载 什么时候使用CountDownLatch
什么时候使用CountDownLatch本文由 ImportNew - 张涛 翻译自 howtodoinjava。欢迎加入翻译小组。转载请见文末要求。正如每个Java文档所描述的那样，CountDownLatch是一个同步工具类，它允许一个或多个线程一直等待，直到其他线程的操作执行完后再执行。在Java并发中，countdownlatch的概念是一个常见的面试题，所以一定要确保
2017-11-13 15:19:30
294
转载 ZooKeeper实战应用之【统一配置管理】
ZooKeeper实战应用之【统一配置管理】原文： http://blog.csdn.net/u010739551/article/details/52278314大型应用通常会按业务拆分成一个个业务子系统，这些大大小小的子应用，往往会使用一些公用的资源，比如：需要文件上传、下载时，各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用
2017-11-13 15:12:25
241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人