夜下探戈-CSDN博客

原创迁移达梦数据库后，com.github.pagehelper.PageException: 无法自动获取数据库类型，请通过 helperDialect 参数指定

application.properties文件设置：##切换到达梦数据库下需要设置此参数，否则分页无效PageHelper.helperDialect=oracleapplication.yml文件设置：pagehelper:helperDialect: oracle## 以下内容可以不加reasonable: truesupportMethodsArguments: trueparams: count=countSql...

2022-04-20 16:25:09 4746 1

原创 spark2.4.2编译（mac系统下）

编译前所注意事项：首先，尽可能阅读官网编译文档 Building Apache Spark源码下载推荐git clone 或者 wget 。编译前确保网络良好。下载所需要的软件（注意版本）· Spark-2.4.2.tgz· Hadoop-2.7.6· Scala-2.11.12· jdk1.8.0_191· apache-maven-3.6.x· git注意：其中spark...

2019-05-02 00:14:38 481

原创 spark on yarn 运行报错 prelaunch.err.

错误代码如下：[2019-03-28 17:50:04.728]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :/hadoop/yarn/local/usercache/defu.du/appcache/application_1...

2019-03-28 17:55:21 6145 1

转载 Spark架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数

2018-04-25 15:46:10 523

原创 RDD使用

RDD操作RDD的创建方式RDD的两种操作算子RDD操作RDD的创建方式从Hadoop文件系统（或与Hadoop兼容的其他持久化存储系统，如Hive、Cassandra、HBase）输入（例如HDFS）创建。从父RDD转换得到新RDD。通过parallelize或makeRDD将单机数据创建为分布式RDD。 4.基于DB(Mysql)、NoSQL...

2018-04-25 15:44:16 510

原创 RDD原理

RDD概念RDD的内部属性一组分片（Partition），即数据集的基本组成单位计算每个分片的函数RDD之间的依赖关系一个Partitioner，即RDD的分片函数分区列表，存储存取每个Partition的优先位置（preferred location）可选属性可选属性RDD的特点RDD的优点RDD的存储与分区RDD的容错机制Spark计算工作流RDD编程模型...

2018-04-25 15:43:53 1779

原创 Spark架构及原理

开发角度原则一：避免创建重复的RDD原则二：尽可能用同一个RDD原则三：对多次使用的RDD进行持久化如何选择一种最合适的持久化策略 MEMORY_ONLYMEMORY_ONLY_SERMEMORY_AND_DISK_SER不考虑：DISK_ONLY和_2后缀原则四：尽量避免使用shuffle类算子能不用就不用能不能用非shuffle类的算子去替代非shuffle类的j...

2018-04-25 15:43:23 361

原创 Scala实现乘法表

object HelloWorld { def main(args: Array[String]): Unit = { for (i <- 1 to 9) { for (j <- 1 to i){ print(j+"*"+i+"="+i*j+"\t") } println() } }}

2018-04-16 11:41:42 581

原创 HBase创建表已经存在，删除表又不存在的问题

清除Zookeeper内存数据库中的相关数据[root@node1]# zkCli.sh[zk: localhost:2181(CONNECTED) 0] ls / [zookeeper, hadoop-ha, hbase][zk: localhost:2181(CONNECTED) 1] ls /hbase [replication, meta-region-server, rs...

2018-03-31 11:23:01 1642

原创 Hadoop HA 集群搭建

hadoop HA原理概述为什么会有 hadoop HA 机制呢？HA：High Available，高可用在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用...

2018-03-24 19:03:19 443

原创 wordcount 求互为好友对

package com.Practice.SameFriend2;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;imp...

2018-03-18 18:23:10 202

原创 wordcount 数据去重

package com.Practice.RemoveDupData;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;im...

2018-03-18 17:18:38 598

原创 wordcount 求学生平均成绩

package com.Practice.AverageScores;import com.Practice.SameFriend.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;i...

2018-03-18 16:54:47 1126

原创 wordcount 学生成绩普通版

package com.Practice.StudentScores;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;imp...

2018-03-18 16:38:33 301

原创 hadoop wordcount求共同好友代码实现

package com.Practice.SameFriend;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;impor...

2018-03-16 22:18:00 462

原创 IDEA windows本地运行wordcount程序

第一步创建maven项目第二步创建WordCountDemo类package com.wordcountModel;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.ap...

2018-03-16 19:58:02 2139 18

转载 Error: recoverUnfinalizedSegments failed for required journal

一、问题描述HA按照规划配置好，启动后，NameNode不能正常启动。刚启动的时候 jps 看到了NameNode，但是隔了一两分钟，再看NameNode就不见了。但是测试之后，发现下面2种情况：1）先启动JournalNode，再启动Hdfs，NameNode可以启动并可以正常运行2）使用start-dfs.sh启动，众多服务都启动了，隔两分钟NameNode会退出，再次hado

2017-11-06 23:22:18 3670 1

原创 deepin下搭建基于github和hexo的个人博客

系统：Linux Deepin 15.4 x64搭建步骤：1、安装git$ sudo apt-get install git查看git版本$ git version2、安装Node.js及npm a. 可以直接命令安装,但是命令安装的不是最新版本。$ sudo apt-get install nodejs$ sudo apt-get install npmb. 本博客采用第二种方法，首先官网

2017-09-28 15:31:09 2677 2

转载 JavaEE软件开发体系架构

两层架构传统的客户服务器系统仅只简单地基于两层体系来构建，即客户端（前台）和企业信息系统（后台），没有任何中间件，业务逻辑层与表示层或数据层混在一起。这种两层架构无论从开发、部署、扩展、维护来说，综其只有一个特点——成本高。三层架构三层架构自上而下将系统分为表示层、逻辑层、持久层。表示层由处理用户交互的客户端组件及其容器所组成；业务逻辑层由解决业务问题的组件组成；数据层由一个或多个数据库

2017-08-18 10:17:20 531

原创 Java实现乘法口诀

for (int i = 1; i < 10; i++) { for (int j = 1; j <= i; j++) { System.out.print(j+"x"+i+"="+j*i+"\t"); } System.out.println();}

2017-07-20 14:26:44 486

转载 mysql data文件夹下的ibdata1 文件作用

ibdata1是储存的格式，INNODB类型数据状态下，ibdata用来储存文件的数据，而库名的文件夹里面的那些表文件只是结构而已。由于mysql4.1默认试innodb，所以这个文件默认就存在了http://man.chinaunix.net/database/mysql/inonodb_zh/2.htm 这个链接试innodb的中文参考， innodb的东西可以在my.ini中设置

2017-03-14 14:24:21 5592

原创免安装版MySQL的优化与配置

MySQL的安装版安装比较麻烦，卸载也比较麻烦。免安装版的好处在于一次配置，下次就可以重复使用了。免安装版最好到官网下载，这里下载的是5.5版本，下载地址：免安装版MySQL 5.5官方免安装版太大了，解压后有800多M，免安装解压下如下：这里根据实际使用情况进行优化配置，对于使用过程中不涉及的部分进行删除。原版本初始有5个配置文件，我们只需要一个配置文件就可以了，根据实际情况选择一个。

2017-03-14 14:21:26 378

原创免安装版MySQL乱码（问号）问题解决方案

出现乱码一般都是因为编码不一致造成的。免安装版MySQL配置编码主要在于my.ini这个配置文件。 5.0以上版本修改方法：修改my.ini 中的设置，在[client]节点下添加 default-character-set=utf8 在[mysqld]节点下添加 character-set-server=utf8 collation-server=utf8_general

2017-03-14 13:40:17 692

转载 JBOSS 部署与性能调优

1．Jboss简介 JBoss是全世界开发者共同努力的成果，一个基于J2EE的开放源代码的应用服务器。因为JBoss代码遵循LGPL许可，可以在任何商业应用中免费使用它，而不用支付费用。2006年，Jboss公司被Redhat公司收购。JBoss是一个管理EJB的容器和服务器，支持EJB 1.1、EJB 2.0和EJB3.0的规范。但JBoss核心服务不包括支持servlet/JSP的WEB容器

2017-03-09 15:15:22 455

原创 java调用bat文件判断系统是32还是64位，并设置环境变量

判断系统是32位还是64位的两种方法： 1 、通过调用系统环境变量%PROCESSOR_ARCHITECTURE% 的值判断主要代码：if "%PROCESSOR_ARCHITECTURE%"=="x86" goto x86if "%PROCESSOR_ARCHITECTURE%"=="AMD64" goto x64exit:x64echo 当前系统是64位操作系统exit:x86

2017-03-07 19:17:17 1647

原创 bat批文件检测系统是x64还是x86

if "%PROCESSOR_ARCHITECTURE%"=="x86" goto x86if "%PROCESSOR_ARCHITECTURE%"=="AMD64" goto x64exit::如果是x64，打开百度:x64explorer.exe http://www.baidu.com/exit::如果是x86，打开新浪:x86explorer.exe http://www.s

2017-03-03 14:43:21 1422

原创 Java 关于System.getProperty

系统参数对应key：代码示例：public class SystemProperty { public static void main(String args[]) { System.out.println("java_vendor:" + System.getProperty("java.vendor")); System.out.println(

2017-02-17 10:20:29 528

转载起点：如何成为一名黑客？

说明：这篇文章是对 ESR 的经典文章 How to become a hacker ? 的最新修订翻译，参照了一些国内的翻译版本，某种意义上来讲，这不仅仅是一篇黑客入门的读物，也是很不错的编程入门指导。什么是黑客？黑客字典中对“黑客”一词给出了很多定义，大部分定义都涉及高超的编程技术，解决问题和克服限制的乐趣。如果你想知道如何成为一名黑客，只有两方面是非常重要的：态度和技

2017-01-09 19:28:35 1567

原创 JTable获得修改后单元格的值

问题还原，如图：更新前：现在要把666改成1，点击更新后，你会发现更新后单元格还处于编辑状态，或者TableModel.getValueAt(0,1)获取的还是原来的值“666”。我们现在是想把“1”这个值更新进去，该怎么办呢？这里只需要加一条语句就可以：cellEditor.stopCellEditing();JTextField textFld = new JTextField();D

2017-01-06 17:41:17 7673 1

原创完美激活 myeclipse2014 for macOS 10.x

一、下载安装包：https://pan.baidu.com/s/1mhKm0v2 my eclipse 2014 for mac 需要 idk 6.0 for mac 环境， idk下载地址： https://support.apple.com/kb/DL1572?viewlocale=zh_CN&locale=zh_CN二、三、此处安装pro版，激活过

2016-12-30 19:09:50 778 1

原创执行到digester.addBeanPropertySetter报NoClassDefFoundError问题

Java.lang.NoClassDefFoundError:org/apache/commons/beanutils /DynaProperty原因：创建bean的时候没有该类，缺少类，一般该问题是缺少jar包，导入commons-beanutils-1.7.0.jar即可。

2016-12-16 17:46:33 535

原创 linux 下打开162端口命令

运行网管类软件需要监听162trap端口，需要开启，Windows默认开启，Linux需要命令开启：打开端口： iptables -A INPUT -p udp –dport 162 -j ACCEPT 关掉端口： iptables -A OUPUT -p udp –dport $162 -j DROP查看端口运行情况： service iptables status

2016-12-07 11:21:15 3815

转载细说业务逻辑

前言记得几个月前，在一次北京博客园俱乐部的活动上，最后一个环节是话题自由讨论。就是提几个话题，然后大家各自加入感兴趣的话题小组，进行自由讨论。当时金色海洋同学提出了一个话题——“什么是业务逻辑”。当时我和大家讨论ASP.NET MVC的相关话题去了，就没能加入“业务逻辑”组的讨论，比较遗憾。其实，一段时间内，我脑子里对“业务逻辑”的概念也是非常模糊的。但在不

2016-11-08 11:11:00 410

原创阿里云Maven仓库地址

http://maven.aliyun.com/nexus/#view-repositories;public~browsestorage在maven的settings.xml 文件里配置mirrors的子节点，添加如下mirror<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexu

2016-11-04 01:21:53 391

原创 bat文件直接进入某个盘符目录

@echo off echo 请输入文件路径： set /p pan= cmd /k cd /d %pan% & service.bat install

2016-10-27 11:27:00 10248

转载 Java应用定制工厂--jar转exe制作工具

Java应用定制工厂（以下简称为JCB，Java Customization Builder）是一个针对Java轻量级桌面应用进行精简优化的小工具，使用它可以精简你的jar包，并自动生成一个精简的JRE，也可以使用它生成一个Exe启动引导程序，并且能够对你的Java应用自动做Pack200和Unpack200处理。使用本工具定制的Java桌面应用通常不会超过10M（包含JRE），SWT客户端程序相对

2016-10-10 16:05:32 1409

原创一个不错的正则表达式学习网站

http://www.regexlab.com/一个专门学习和研究正则表达式的网站。您可以在这里学习正则表达式，也可以在这里找到实用的工具和应用。

2016-10-10 15:47:00 590

转载 2016 年最受欢迎的编程语言是什么？

这两天 GitHub 对其官网进行了改版，紧接着又发布了一年一度的开源报告，我们程序员比较关心之后的趋势是什么，而 GitHub 毫无疑问代表了全世界编程领域的趋势，我们不妨先来解读下这份报告，然后再解答下你们关注的标题的答案。事先声明，本篇文章的一些数据完全来自这份报告，地址在这里：https://octoverse.github.com/最流行的开源项目首先发布

2016-10-09 15:05:47 543

转载高可用术语解释：Split-Brain

脑裂：本来一个大脑的两半球互相配合，变成了分裂成两个独立的大脑，都认为对方已死。在集群环境中，有这么几种可能造成"Split-Brain"现象：1、在集群环境中的节点间的心跳线同时断掉后，集群系统所处于的一种特殊状态。例如节点1和2组成一个集群，突然1和2间的心跳同时都断了，如果此前节点1正在运行应用，心跳都断掉后2开始去接管应用，强行加载数据，此时就是split-brain。2、集群中节点因为处

2016-08-25 22:11:16 1460

原创 linux中时间服务器同步问题：ntpdate[5426]: the NTP socket is in use, exiting

问题的原因是ntpd服务正在运行，需要将其停止运行。如下图：

2016-08-25 02:13:06 689

jsmooth-0.9.9-7-setup.exe

2016-10-10

jar2exe 1.8.2破解版

2016-10-10

google大数据三大论文中英版合集

google大数据三大论文中文版，英文版合集，总共六个pdf文档。

2016-08-12

IpAddressField java IP地址格式的输入框源码

一个ip地址格式输入框类，可以直接调用new 对象，IpAddressField ipAddrFld = new IpAddressField();

2016-08-09

Java开发Windows托盘程序的类库systray4j.dll

包括systray4j.dll,systray4j.jar,example,doc

2016-06-30

ArcObjects SDK for java jar 包

2016-03-15

MG-SOFT mib browser

MG-SOFT mib browser破解版

2015-11-24

Sublime Text 3(代码编辑器) v3.0.3095 汉化版(32位/64位)

1、基于 Sublime Text 3 官方版进行修改汉化 2、软件已默认注册且已去除自动检测升级提示 3、调整字体大小为 11px 以适合大众使用习惯 4、深度整合GBK编码已能够完美支持GBK文件 5、默认安装了Emmet (Zen Coding) 插件 6、增加了配色非常舒服的Theme-Nil主题 7、修改多处细节和配置文件使其更人性化

2015-10-28

MG MibBrowser 8.0c破解版

2015-10-19

css3.0参考手册

css3.0参考手册，在此分享，希望对大家有用。

2014-08-06

HTML、css、javascript学习手册集合

本资源包括：CSS3.0（飘零雾雨版）手册、CSS3.0（腾讯ISD版）手册、HTML5（W3CSchool版）、HTML5+CSS3中文参考手册等4款手册。整理很全面，在此分享给大家，希望对大家有用。

2014-08-06

常用的正则表达式大全

本资源包括：校验数字、校验字符、特殊需求校验等，整理非常全面，非常实用，在此分享给大家。

2014-08-06

一款非常好用的日期控件

支持静态限制，动态限制，脚本自定义限制，以及无效天和无效日期功能，利用这样功能可以任意定制不能选择的日期，这些日期即使毫无规律，毫无连续性，也可以通过这些功能的组合使用轻松搞定·更人性化,更全面的功能，强大的日期范围限制功能，自定义事件和丰富的API库，多语言支持和自定义皮肤支持，跨无限级框架显示和自动选择显示位置。

2014-08-06

C#登录注册源码

这是我自己做的登录注册页面，花了我较长的时间，做的不是很好，但功能基本能够实现，采用了正则表达式、javascript、JQuery等技术进行用户名、密码等等的验证。在此分享给大家，希望大家给出指导意见。

2014-08-06

My97DatePicker日期控件

大部分日期控件都具备功能如:带时间显示,支持周显示,自定义格式,自动纠错,智能纠错,起始日期,操作按钮自定义,快速选择日期,支持多种调用模式等,My97DatePicker在这些方面做得更全面,更人性化,并且速度一流.

2014-08-06

w3school5.0最新版手册

W3School 是因特网上最大的 WEB 开发者资源，是完全免费的，是非盈利性的，一直在升级和更新，是 W3C 中国社区成员，致力于推广 W3C 标准技术。 W3CSchool 是因特网上最大的 WEB 开发者资源 W3CSchool 是完全免费的 W3CSchool 是非盈利性的 W3CSchool 一直在升级和更新 W3CSchool 是 W3C 中国社区成员，致力于推广 W3C 标准技术

2014-08-06