小白虫的博客

原创 1:记录服务器突然短短hdfs的问题-不良 : 群集中有 25 个 丢失块 块。群集中共有 56,817 个块。百分比 丢失块: 0.04%。 临界阈值：任意。

问题截图：不良 : 群集中有 25 个 丢失块 块。群集中共有 56,817 个块。百分比 丢失块: 0.04%。 临界阈值：任意。如果解决参考http://www.voidcn.com/article/p-hswstvqs-tr.html1：检查缺失块确定此问题的最简单方法是在文件系统上运行fsck。如果已经设置了hadoop环境变量，则应该可以使用/路径，如果不是hdfs：//ip.or.hostname：50070 /。hdfs fsck /或者hdfs fsck hdfs://ip.o

转载 《慢思考》丨如何快速提高你的工作效率

《慢思考》丨如何快速提高你的工作效率路走得太快，心会跟不上的。—— by 二胡你有没有这种感觉：每天忙忙碌碌，却不知道忙了什么；明明日报里的事项2小时就能搞定，最后却加班加点到凌晨。每当夜晚降临，总有一种羞愧感涌上心头：想做的，重要的都没做，时间都TM去哪儿了？移动互联网时代的到来，让每个人的时间变得碎片化。我们不断刷新着朋友圈，微博，知乎，头条新闻，仿佛一时不看，就被out了。于是，我们经常感觉思维混乱，精神分散，想做出点成就却无从下手。在这个时代，集中注意力的成本太高了。然而要想快速提高工

转载 如何提高工作效率--慢思考

首先介绍了大脑的结构和功能作用，然后说明了目前人们在移动时代随时在线，多任务并行，长期压力，睡眠不足这4点正在摧毁大脑及专注力，建议个人及团队离线思考，批量处理同类别事物，科学面对压力和保持正常睡眠，并提供了一些实用工具和技巧，教导人们在一心多用的时代如何保持专注1,把最重要的思考放在黄金时间。每天7.20开始学习理解艰难的内容2,周日抽出时间考虑下周的工作计划，每天的晚上抽出时间考虑明天的工作计划。3,思考和深入的谈话时关闭邮件微信，只保留紧急电话4,深入的阅读和晦涩难懂的内容最好使用纸质文档5

转载 Hive SQL之数据类型和存储格式

目录一、数据类型 1、基本数据类型 2、复杂类型 二、存储格式 （1）textfile （2）SequenceFile （3）RCFile （4）ORCFile （5）Parquet 三、数据格式 正文 回到顶部 一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 类型 描述 示例 boolean true/false TRUE tinyint 1字节...

转载 主数据的3个特点、4个超越和3个二八原则

作者：石秀峰，致力于企业数据资产管理、数据治理的布道和实践者。主数据（Master Data）是具有共享性的基础数据，可以在企业内跨越各个业务部门被重复使用的，因此通常长期存在且应用于多个系统。由于主数据是企业基准数据，数据来源单一、准确、权威，具有较高的业务价值，因此是企业执行业务操作和决策分析的数据标准。主数据具备3个主要特征：①高价值：主数据是所有业务处理都离不开的实体数据，与大数据相比价值密度非常高。②高共享：主数据是跨部门、跨系统高度共享的数据。③相对稳定：与交易数据相比主数

原创 MySQL的INFORMATION_SCHEMA数据库我能获取到什么？

大家在安装或使用MYSQL时，会发现除了自己安装的数据库以外，还有一个 information_schema数据库。information_schema数据库是做什么用的呢? 在MySQL中，把 information_schema 看作是一个数据库，确切说是信息数据库。其中保存着关于MySQL服务器所维护的所有其他数据库的信息。如数据库名，数据库的表，表栏的数据类型与访问权 限等。在INFORMATION_SCHEMA中，有数个只读表。它们实际上是视图，而不是基本表，因此，你将无法...

转载 Hive数据导入原理和几种方式

Hive数据导入--数据存储在Hadoop分布式文件系统中，往Hive表里面导入数据只是简单的将数据移动到表所在的目录中！最近在执行将hdfs中的数据导入到hive 查看日志参数 可以看出原理往Hive表里面导入数据只是简单的将数据移动到表所在的目录中！开始执行: load data local inpath '/data2/dubhe/codes/T_59960026769183...

转载 IntelliJ Idea取消Could not autowire. No beans of 'xxxx' type found的错误提示

出处：http://www.cnblogs.com/waterystone/　1.问题描述　　在Idea的spring工程里，经常会遇到Could not autowire. No beans of 'xxxx' type found的错误提示。但程序的编译和运行都是没有问题的，这个错误提示并不会产生影响。但红色的错误提示在有些有强迫症的程序员眼里，多多少少有些不太舒服。 2....

原创 idea在开启时设置自己手动选择项目并打开

原创 mysql安装完成之后修改密码详解

前提：安装好mysql的客户端和服务端并启动了mysql的进程存在3306端口也就是mysqld的进程。改密码有多中，我这里只是运行脚本/usr/bin/mysql_secure_installation 改密码1：找到并复制安装mysql自己默认的密码cat /root/.mysql_secret 2：运行脚本/usr/bin/mysql_secure_installatio...

原创 centos7下安装rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm和rpm -ivh MySQL-server-5.6.26-1.li

卧槽：花了几个小时，没想到是centos7的启动mysql的命令变了。原先使用：service mysql start    不是service mysqld start  (安装包的原因)报错 Starting MySQL. ERROR! The server quit without updating PID file (/var/lib/mysql/slave2.pid).//sla...

转载 警告：MySQL-server-5.5.46-1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

引用：https://yq.aliyun.com/articles/6742警告：MySQL-server-5.5.46-1.linux2.6.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY 摘要： CentOS安装rpm安装MySQL时爆出警告： 警告：MySQL-server-5.5.46-1.linux2.6.x...

原创 本地运行yarn实现wordcount报错Exit code: 1 Exception message: /bin/bash: 第 0 行:fg: 无任务控制 Stack trace: ExitCo

eclipse控制台输出错误信息Container id: container_1531823680410_0003_02_000001Exit code: 1Exception message: /bin/bash: 第 0 行:fg: 无任务控制Stack trace: ExitCodeException exitCode=1: /bin/bash: 第 0 行:fg: 无任务控制...

转载 Linux服务器内存使用情况解释

转自：http://hi.baidu.com/chinalwb/item/a88e47c8da2e4f14b77a24d6 查看内存使用情况，可以使用命令 free -m 其结果大致如下：                   total       used         free     shared    buffers     cachedMem:         ...

原创 java实现上传文件到hadoop集群中报错to master:9000 failed on socket exception: java.net.SocketException: Permissio

1：我连接的集群是自己学校的服务器，为什么上传文件总报错权限的事情报错“自己的ip  加上  to master:9000 failed on socket exception: java.net.SocketException: Permissio” ：疑惑：为什么会使用我的连接以太网的IP192.168.70.194参考文章：https://yq.aliyun.com/...

转载 centOS7.0 下配置Hadoop集群,Slave1报错：failed on socket timeout exception: java.net.NoRouteToHostException

转：https://blog.csdn.net/u012248381/article/details/39666787centos6和centos7h关闭防火墙的命令不一样

原创 linux三种网络原理及原理

Host-Only小编的虚拟机是在：VMware 工具中Host-only    仅主机模式1，虚拟机网络设置配置虚拟机的网络设置为hostonly 2，虚拟软件网络设置选择vmware - 编辑 – 虚拟机网络编辑器 3,配置虚拟软件中vmnet1的IP为VMnet1选择一个网段，不修改0号ip地址。  4,查看win7 VMnet1网络此时，win7机器上的vmware vmnet1网络已经改...

转载 win7系统下u盘安装linux centos7，详细步骤，亲测

一，准备       1. Centos 7镜像文件；​​          下载的话网上很多，这里提供一个下载路径；​                http://isoredirect.centos.org/centos/7/isos/x86_64/       2. 软碟通;（用来制作u盘系统盘）       3.u盘（8G以上，我的u盘是16G的）​二，利用软碟通制作linux系统的u盘启...

转载 如何成为一名「卓越」的数据科学家?

今天与大家分享一位友人的文章，希望能解决一些数据新人心中的困惑，以便将数据科学的概念形成一个框架，为进一步深入研究打下基础。   编辑于 2017-03-11@杨滔 ，曾任阿里巴巴集团高级数据挖掘专家，F团首席科学家，拥有数据科学领域坚实的理论基础，以及丰富的大数据实战经验。独创的商品推荐算法获取两项专利，主导研发的智能选品系统在淘宝网获得广泛应用。奥克兰大学机器学习博士，悉尼科技大学博士后。机器...

转载 全国有哪些高等院校开设大数据相关专业？

自己收藏的！觉得有所收获就好！三人行-必有我师焉  加油                                    编辑于 2017-01-10如今是大数据的时代，很多学校都开设了大数据相关的专业和课程。据我了解到，自2015年教育部开设了「数据科学与大数据技术专业」，首批只有北京大学、中南大学和对外经济贸易大学三所学校申报成功。高校填报志愿，过来人的建议，通常情况下：城市比学校更重要...

原创 linux 不能ping 通外网

1:首先，使用route查看一下路由route2:route add default gw 192.168.8.2   条件一个默认的网关正常会出来的。注意 ：192.168.8.2这是我使用的vmware产生的虚拟网关 我使用的是NAT模式 ，自己更改。...

原创 centos中默认网络配置是如何对应eth0,而不是让MAC地址对应eth1

centos中默认网络配置是如何对应eth0,而不是让MAC地址对应eth11：问题来源克隆虚拟机或者是移动虚拟机2：问题解决：可以查看一下cat  /etc/udev/rules.d/70-persistent-net.ruals   你的可能会有eth11:首先vi   /etc/sysconfig/network-scripts/ifcfg-eth0  删除MAC地址2：把 /etc/ude...

原创 使用SecureCRT上传下载文件的实现

错误：把liunx中的到本地[root@localhost /]# sz -y download_test -bash: sz: command not found说命令没有发现                解决:yum在线安装                yum install lrzsz -y下载上上传的目录设置下载：sz -y (加上要下载 的文件名) -y 指的是覆盖上传或者是下载上传...

原创 远程连接linux服务器详解原理：我这里使用的是SecureCRT

个人的笔记本：            ssh客户端（SecureCRT/xshell/putty）linux服务器：            ssh服务（监听本机IP的对应的22端口）            端口：用来区别 一台计算机的不同的软件的服务的。范围0~65535不能冲突linux服务器网卡协议：ssh2/ssh1 2是1的升级版，2相比于1来说更加的稳定。ssh(加密的协议)telnet...

转载 大数据生态圈所涉及的技术

转载                 点击打开链接今天博主是做一个大概的概述，缺少的章节会在后面慢慢补充，感兴趣的同学可以在下面评论留言。数据可视化展示中心：KIbana官网:点击打开链接用户指南：点击打开链接Grafana官网：点击打开链接Grafana帮助文档：点击打开链接大数据特征：1）大量化（Volume）：存储量大，增量大 TB->PB2）多样化（Variety）：来源多:搜索引擎...

转载 Flume+Kafka+SparkStreaming整合

转载：开源中国https://my.oschina.net/sunmin/blog/6929941.架构第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中第二部，Spark Streaming读取Kafka中的数据，进行实时分析本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接2.安装flume,kafkaflume install: h...

原创 可视化数据echarts只是散点图的气泡大小控制

笔记：方便自己，方便他人  echarts散点图气泡大小如何控制 <%@ page language="java" import="Dbutil.connDb,java.util.*" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%><%ArrayList<String[]>

转载 转：新建maven项目时没有出现src/main/java和src/test/java目录的解决方法

新建Maven项目建成后本应该有的src/main/java和src/test/java目录并没有出现：                          发现问题后，当时想当然的以为这没有创建，然后就手动建了俩目录，完了后发现项目出错，给两个目录构建路径也不行，于是去查了资料才知道原来新建时不是没有这俩目录，而是隐藏了，开始思路就错了。当然这样隐藏着非常不方便，所...

转载 JavaEE最新技术整理

转：https://blog.csdn.net/qq_21683643/article/details/797479221、Java相关技术: 设计模式：Java23种设计模式 工具使用： Intelli IDEA代码编写工具、Eclipse工具、构建工具gradle、 项目管理工具maven、Junit单元测试工具、版本控制SVN 框架：SSM、SSH、Elast...

转载 程序员最核心的竞争力是什么？

来源：张砷镓  进行社招面试时，有一个问题几乎是必问的：你为什么要离开上一家公司？其实这个问题主要是想试探一下求职者的核心诉求，并借此预估一下他在本公司工作的稳定性。常见的答案也无非就是这么几种：对薪酬不满意、干得不爽，或者是想换个环境。然而，我遇到过好几个初次跳槽的求职者给出的答案是：「在原来的公司学不到技术」。一听到这个，我就不由得叹口气：今天这一小时又算是交代了，这人基本上没戏。因为根据我的...

原创 标签云制作流程-使用wordar

之后再点击import words注意：顺序颠倒无法正常导入的额，数据较少时可以手动的输入6：手动添加数据的实现

转载 9个优秀的标签云免费生成工具

英文原文：smashingapps，编译：羲闻    转 IT小白虫 标签云或文字云是关键词的视觉化描述，用于汇总用户生成的标签或一个网站的文字内容。标签一般是独立的词汇，常常按字母顺序排列，其重要程度又能通过改变字体大小或颜色来表现，所以标签云可以灵活地依照字序或热门程度来检索一个标签。 大多数标签本身就是超级链接，直接指向与标签相联的一系列条目。——维基百科我经常看到一些网站有云标签，我也很喜...

原创 什么是标签云？

介绍标签云是一套相关的标签以及与此相应的权重。典型的标签云有30至150个标签。权重影响使用的字体大小或其他视觉效果。同时，直方图或饼图表是最常用的代表约12种不同的权数。因此，标签云彩能代表更多的权，尽管不那么准确。此外，标签云通常是可以交互的：标签是典型的超链接，让用户可以仔细了解他们的内容。分类根据标签云的作用(而非样式)，在应用中可以将其分成三大类。其中，第一类用于描述网站中的每个独立条目...

原创 标签云制作工具wordart的注册&登录&页面介绍

1：工具下载网址：网址https://wordart.com/signup:2：注册之后要在你注册的邮箱激活账户3：登陆成功，如下图4：界面的简单介绍5：界面的操作使用

转载 数据的力量

点击打开链接

原创 Solr的软提交和硬提交的内部实现

1：软提交（到内存中）1.1:java实现软提交。1.2：solr web 界面可以显示1.3:到你的${SOLR_HOME}/example/solr/collection1/tlog可以看到日志文件的生成没有发生变化，不管你调不调用commit方法，不管是软提交还是硬提交都是记录一个log文件。防止宕机等等问题，在重启的时候会加载log日志文件。1.4：到${SOLR_HOME}/exampl...

原创 Solr优化

1：Commit和SoftCommitCommit，硬提交，Solr和Lucene原本存在的commit方式，负责把索引内容刷入磁盘。需要重新打开searcher，    Solr/Lucene才会对这部分内容可见可查，但是这样比较费性能。SoftCommit，软提交，这是Solr新增的commit方式，Lucene没有。软提交负责将索引内容在内存中生成segment，    并使得索引内容对So...

转载 eclipse 的help找不到Eclipse Marketplace

原因：想在eclipse软件市场中安装个插件却找不到Eclipse MarketplaceMarketplace是Eclipse的重要组件，用来安装诸如PyDev等插件，通常可以在”Help”菜单中找到。但有时候你会发现新安装的Eclipse并没有集成Marketplace，这可能跟你安装的版本有关。有人说从YUM源上安装的Eclipse不带，也有人说Neon.3的某些版本不带。但不管如何，Mar...

转载 No plugin found for prefix 'jetty' in the current project and in the plugin groups

 现在Jetty的版本已经到9了，也早已经在Eclipse的门下了。所以有很多groupId，比如：org.eclipse.jetty、org.mortbay.jetty.这些都可以用的哦。    我在使用MyEclipse结合maven操作jetty作为开发的服务器，这开开发比较方便。    当我运行命令：    jetty:run    出现：[ERROR] No plugin found f...

原创 maven项目部署到jetty容器中。

使用maven工具可以大大提高工作效率，对于创建的web应用，需要部署到容器（tomcat，jetty等）中才能够启动服务进行访问。jetty也是一种轻量级的容器，通过将应用部署在这里面，就可以访问web应用，介绍下如何将maven项目部署到jetty容器中。使用原因（为什么要使用jetty）因为Solr(检索的工具)自带的是jetty容器，也可以改为tomcat，但是本人比较懒。在使用Solr和...