scalad-CSDN博客

原创 ShardingSphere——水平分表与数据迁移

分库分表相关概念以及利用shardingsphere相关的一些产品我们在线上如何对数据进行迁移

2022-03-16 11:37:00 8936 5

Clickhouse一、背景介绍二、操作流程三、一些概念四、一些问题一、背景介绍这么做的好处有：二、操作流程三、一些概念四、一些问题1、StorageKafka (queue): Can’t get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying2、clickhouse DB::CSVRowInputFormat::readRow

2021-08-25 22:02:22 4950 3

原创 Apache DolphinScheduler 大数据工作流调度系统

这里写自定义目录标题Apache DolphinScheduler 大数据工作流调度系统一、为什么选择DolphinScheduler？1、丰富的业务类型2、可视化的DAG图3、活跃的社区和用户群4、开发语言和框架二、DolphinScheduler有哪些优势？三、DolphinScheduler的一些案例Apache DolphinScheduler 大数据工作流调度系统在选择DolphinScheduler之前，我们公司其实有用了一些开源的调度系统，像hera（赫拉）、xxl-job，前者是在我们的

2021-05-27 15:49:10 3840 9

原创 ClickHouse技术分享

“ClickHouse works 100-1000x faster than traditional approaches”，这是官方网站首页的一句话，clickhouse比传统方式快100到1000倍，本次分享会围绕一个快字，了解clickhouse究竟有多快以及它是怎么做到这么快的。Apache Doris前身是百度Palo，是百度开发的面向在线报表和分析的数据仓库系统，在百度内部一些数据分析的场景有着广泛的应用，自2017年在GitHub上开源以来（比ClickHo.

2021-04-22 19:20:14 896

原创 MathType自动化转换Word公式

MathType自动化转换Word公式,这篇文章主要介绍怎么使用MathType把MathML转换MathType类型的公式对象并嵌入到Word中。Mathtype公式编辑器是基于宏或是VB编出来的，实际上，在Office2007之前的版本中，微软一直使用的是MathType提供的缩小版本的MathType公式编辑器，想要使用完整公式编辑器的还需要用户到MathType去买(没错，在长达15年的时间里，所有Office都自带MathType的缩小版)，直到2007之后，微软才开发出属于自己的一套公式编辑器，

2016-03-13 14:22:41 1882 2

原创关于团队技术知识分享

知识分享不是目的，学以致用才是最主要的。如同企业培训，如果设置错误的目标，无论分享培训的内容质量多么好，都不能达到目的。当然，对培训内容的满意度和行动可能会互相影响，满意度越高，行动意愿就越强，它们是有一定正相关性的。因此，衡量一场分享或培训的成效如何，，否则分享培训的内容就没有意义，学以致用，行以致远。另外，激发团队间自主学习动力同样重要。兴趣是“自主自愿”的前提，它隐藏在内部自发动机当中，学习欲望搞，自然会汲取更多知识。

2023-09-24 16:25:41 176

原创 5%职场精英的工作习惯

从目标倒推，但不在准备上花费太多时间，先制定一个最低限定的计划（行动指南），朝着正确的方向前进，发现不对立刻调整，并认真回顾和总结。10、明白准备工作的重要性。明白准备工作决定最终的结果，所以列清单抓住重要的事，不断关注重要的事，然后不断修正清单。8、保持输出的习惯，不但要主动的去表达自己的观点，而是主动去输出自己掌握的知识，然后征求反馈；7、工作完成20%的时候，就开始征求意见，开始寻求反馈，能够避免后面很多的弯路；4、满足看似效率提高了，完成了一个一个的工作，而忽略了那些重要的花时间的工作；

2023-08-02 00:08:36 173

原创熵增定律与软件的熵

熵增定律是一个物理学定律，但又不局限于自然科学，其他科学同样有着相同的规律，它意味这万物都从有序走向无序或混乱。熵增定律同样影响了我们软件开发，一个产品在不断的迭代功能、代码不断在累加、隐藏的缺陷不断增多、维护越来越困难…最终使得整个产品变得越来越复杂，系统越来越混乱，逐渐失控。虽然软件工程中定义了“软件维护”这一环，但实际交给开发做性能优化，处理历史债务的时间非常少，基本上是不出现问题不修复的情况，因此大部分情况下，一个项目的生命周期也是一个熵增的过程。

2022-09-11 23:03:49 908 1

原创 Linux文本操作经验之谈（做一个有逼格的程序员）

一、工欲善其事必先利其器Git for Windows 是一组工具，能让你在命令行和图形界面中使用 Git。Git for Windows 中包含的工具之一是 Git Bash。Git Bash 为 Git 命令行提供了仿真层。除了 Git 命令，Git Bash 还支持许多 Bash 程序，如 awk、ssh、scp、cat、find、grep等。换句话说，你可以使用 Git Bash 运行许多常见的 Linux/Bash 命令。你可以从其网站免费下载和安装 Git for Windows 工具来在.

2021-08-25 19:40:18 336

原创 ElasticSearch分片不均匀，集群负载不均衡

ElasticSearch负载不均衡某天晚上，服务器告警，发现服务器接口出现很多400，初步定为是ES服务器CPU达到了98%以上，ES日志出现了很多错误日志，具体如下：参考https://blog.csdn.net/wwd0501/article/details/78399943也就是Elasticsearch在并发查询量大的情况下，访问流量超过了集群中单个Elasticsearch实例的处理能...

2018-06-02 16:55:21 32830 9

原创 Linux定位服务器CPU负载100%居高不下的问题

最近，Linux服务器上总是经常会出现几个CPU利用率达到100%并且一直高居不下，如下图所示，再Linux上，输入 top 命令，然后再按一下 1，就会显示你服务器逻辑CPU的数量以及现在服务器CPU各个参数，这些参数的详细信息我这里就不再多讲了，从下面的图中可以看出，有四个CPU的使用率达到了100%，很明显的，程序有问题明显的，从 top 命令很轻易的可以看出，占据CPU不放的是

2017-09-01 17:42:28 31899 3

原创关于Scala重写Java可变长参数方法

public interface KeyGenerator { /** * Generate a key for the given method and its parameters. * @param target the target instance * @param method the method being called * @param params the

2017-04-05 10:15:17 1992

原创 SpringBoot Scala敏捷Web开发

可以说近几年Spark的流行带动了Scala的发展，它集成了面向对象编程和函数式编程的各种特性，Scala具有更纯Lambda表粹的函数式业务逻辑解决方案，其语法比Java8后Lambda更加简洁方便，SpringBoot为Spring提供了一种更加方便快捷的方式，不再要求写大量的配置文件，作为一名Scala爱好者，使用SpringBoot结合Scala将大大节省我们开发的时间以及代码量。本文

2017-01-07 14:21:23 12114

原创 Caused by: com.rabbitmq.client.ShutdownSignalException: connection error; protocol method:

Exception in thread "main" java.io.IOException at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:106) at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:102) at com.rabbitmq.clie

2016-12-24 11:22:45 20543 3

转载快速理解Docker - 容器级虚拟化解决方案

作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/是什么简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案拿现实世界中货物的运输作类比, 为了解

2016-08-19 20:23:39 566

原创 org.springframework.web.filter.CharacterEncodingFilter cannot be cast to javax.servlet.Filter

使用maven启动tomcat插件时报错，错误如下：但是在IDE上启动时并没有错误，明显的是一个类型转换异常java.lang.ClassCastException: org.springframework.web.filter.CharacterEncodingFilter cannot be cast to javax.servlet.Filter at org.apac

2016-08-06 15:50:11 5680 2

原创 Cause: org.apache.ibatis.builder.BuilderException: Error creating document instance. Cause: org.xm

mybatis解析xml配置文件出现异常：org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession.### Cause: org.apache.ibatis.builder.BuilderException: Error creating document instance. Ca

2016-08-05 15:26:01 14727 2

原创基于HTML5 WebSocket,JavaEE 7在线聊天系统

当今的Web应用在我们的个人生活与商业应用中的各个方面已经表现出愈发重要的作用。这些应用包括社交媒体网络、在线购物、商业应用，乃至家用电器的配置程序。虽然它的增长势头依然迅猛，但Web应用的用户体验与原生应用或桌面应用相比仍然相形见绌，其主要原因是Web应用的设计依赖于单向的HTTP协议。而WebSocket将改变这一现状，它为浏览器与服务端的交互带来了一种新的基础元素，为创建一种能够

2016-07-27 10:18:40 4291 3

原创 TypeError: iter() returned non-iterator of type

在使用Python迭代器时出现错误：class Fibs: def __init__(self): self.a = 0 self.b = 1 def next(self): self.a,self.b = self.b,self.a + self.b retur

2016-05-16 21:13:05 15702 4

转载 8款流行前沿的HTML5文本编辑器

如果你是一名Web开发人员，当你需要开发一个独特的网站时，你就会知道文本编辑器的重要性。小编为大家整理了8款非常前沿的HTML5文本编辑器，简化开发流程，喜欢就转走吧！Mercury EditorMercury Editor是最流行和最常用的HTML5文本编辑器之一。它也是一个功能全面的编辑器，支持所有Web语言，如HTML5元素的语法、JavaScript API等，还支持预览编

2016-03-26 15:34:42 15316 3

翻译 java7自动资源管理

在java7以前的版本中，我们知道比如文件流的创建和关闭都是要自己手动管理的，在java7中，该对象已经可以交给虚拟机自己管理了，java7提供的新接口java.lang.AutoCloseable以及java.io.Closeable来对资源的自动管理的支持。比如，在java7之前，我们对文件的复制是这么写的：InputStream in = null;OutputStream out

2016-03-24 19:30:10 1142 1

转载 mysql 性能调优五种方式

(一)连接连接通常来自Web服务器，下面列出了一些与连接有关的参数，以及该如何设置它们。1、max_connections这是Web服务器允许的最大连接数，记住每个连接都要使用会话内存(关于会话内存，文章后面有涉及)。2、max_packet_allowed最大数据包大小，通常等于你需要在一个大块中返回的最大数据集的大小，如果你在使用远程mysqldump，

2016-03-12 21:17:34 416

转载 Linux 使用iftop命令查看服务器流量

简介iftop是类似于Linux下面top的实时流量监控工具。iftop可以用来监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等，详细的将会在后面的使用参数中说明。安装# yum install -y iftop运行# iftop界面说明界面头部：　　流量刻度尺，对应下边每行的白色横条。界面中部

2016-03-08 18:27:13 1462

转载使用 Scala 语言开发 Spark 应用程序

本文旨在通过具有实际意义的案例向读者介绍如何使用 Scala 语言开发 Spark 应用程序并在 Spark 集群上运行。本文涉及的所有源数据都将从 HDFS（Hadoop Distributed File System）读取，部分案例的输出结果也会写入到 HDFS, 所以通过阅读本文，读者也会学习到 Spark 和 HDFS 交互的一些知识引言在当前这个信息时代里，大数据所蕴含的

2016-03-06 19:48:28 3294

转载【Scala-模式匹配和样例类】

14.2 scala默认首字母大写的字符串为常量，首字母小写的字符串为变量，如果希望在模式匹配中用首字母小写的常量需要用反引号 ` 进行标注scala> val ch = 3.14scala> val mypi = 3.14scala> val res = ch match { | case `mypi` => true | case _ => false

2016-01-18 18:41:28 760

转载 Scala 的 yield 例子 (for 循环和 yield 的例子)

我看了《Programming in Scala》一书，仍然对 Scala yield 关键字的理解不甚清楚。起初我以为 Scala yield 的与 Ruby 的 yield 是一样，Ruby 中 yield 是被传入代码块的占位符。Scala 中的 yield 关键字好像总是在 for 循环中用的. 下面一些例子可以帮助你更好的理解 yield 关键字。下面是摘自《Programming

2016-01-18 13:32:20 3200

转载 Spark RDD Transformation 详解

这几天学习了Spark RDD transformation 和 action ，做个笔记记录下心得，顺便分享给大家。下面的表格列出了目前所支持的转换和动作（详情请参见 RDD API doc）：转换（transformation）转换含义map(func)返回一个新分布式数据集，由每一个输入元素经过func函数转换后组成f

2016-01-05 13:54:35 1382

转载 spark-submit工具参数说明

执行时需要传入的参数说明Usage: spark-submit [options] [app options]参数名称含义--master MASTER_URL可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-clien

2016-01-04 19:31:40 813

转载 Unexpected error: Invalid byte sequence in conversion input的问题

我用的是gedit，上一次遇到了中文乱码的问题，后来调整的编码，使得中文可以正常显示，但是之后遇到其他人发给我的文件时，又显示打不开了，问题是： Unexpected error: Invalid byte sequence in conversion input但是使用vim就可以正常打开该文件......「原因」参考：http://askubu

2016-01-03 14:41:45 2926 1

转载 FastJson---高性能JSON开发包

Fastjson介绍Fastjson是一个Java语言编写的JSON处理器,由阿里巴巴公司开发。1、遵循http://json.org标准，为其官方网站收录的参考实现之一。2、功能qiang打，支持JDK的各种类型，包括基本的JavaBean、Collection、Map、Date、Enum、泛型。3、无依赖，不需要例外额外的jar，能够直接跑在JDK上。4、开源，使用Ap

2016-01-01 20:50:26 898

转载用hadoop计算PI值

一、计算PI值的方式与原理百度一下，计算PI的方法还真不少。但在hadoop examples代码中的注释写的是：是采用 Quasi-Monte Carlo 算法来估算PI的值。维基百科中对Quasi-Monte Carlo的描述比较理论，好多难懂的公式。好在google了一把，找到了斯坦福大学网站上的一篇文章：《通过扔飞镖也能得

2016-01-01 18:43:31 6306

转载 Maven设置代理服务器

如果你的公司正在建立一个防火墙，并使用HTTP代理服务器来阻止用户直接连接到互联网。如果您使用代理，Maven将无法下载任何依赖。为了使它工作，你必须声明在 Maven 的配置文件中设置代理服务器：settings.xml.1. Maven配置文件找到文件 {M2_HOME}/conf/settings.xml, 并把你的代理服务器信息配置写入。注：{M2_HOME} =

2015-12-31 19:35:21 2757

原创 Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on

在hadoop2.5以及在后面的版本中，hadoop在官网上下载的变成了64位的，无奈，得自己编译，在编译的过程中出现如下的错误：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotati

2015-12-30 16:54:10 5035

转载解决E: Encountered a section with no Package: header

在本子上升级到了12.10。但是在update的时候遇到如下错误：正在读取软件包列表... 有错误！E: Encountered a section with no Package: headerE: Problem with MergeList /var/lib/apt/lists/cn.archive.ubuntu.com_ubuntu_dists_quantal_multiver

2015-12-30 14:14:17 694

转载 Nutch和Lucene的区别

想做一个搜索引擎，最近浏览了许多社区，发现Lucene和Nutch用的很多，而这两个我总感觉难以区分概念，于是在查了些资料。下面是Lucene和Nutch创始人Doug Cutting 的访谈摘录：Lucene其实是一个提供全文文本搜索的函数库，它不是一个应用软件。它提供很多API函数让你可以运用到各种实际应用程序中。现在，它已经成为Apache的一个项目并被广泛应用着。这里列出一些

2015-12-30 12:41:44 1776

转载 Spark快速入门指南(Quick Start Spark)

这个文档只是简单的介绍如何快速地使用Spark。在下面的介绍中我将介绍如何通过Spark的交互式shell来使用API。Basics　　Spark shell提供一种简单的方式来学习它的API，同时也提供强大的方式来交互式地分析数据。Spark shell支持Scala和Python。可以通过以下方式进入到Spark shell中。1

2015-12-27 15:13:43 851

原创 Scla富包装器

Scala的每个基本类型都对应着一个“富包装器”提供的许多额外的方法，可以在API文档中查看。如下的程序package com.silence.scalaobject RichTypes { def main(args: Array[String]): Unit = { println(0 max 5) println(0 min 5) println(

2015-12-10 23:19:50 642

转载 Scala标识符

字面量标识符字面量标识符是用反引号`....`包括的任意字符串。如：`x` `` `yield`思路是你可以把运行时环境认可的任意字符串放在反引号之间当作标识符。结果总被当作scala标识符。即使包含在反引号间的名称是scala保留字，这个规则也有效。在java的Thread类中访问静态的yield方法是它典型用例。你不能写Thread.yield()，因为yield是scal

2015-12-10 20:06:45 1481

转载 scala的foreach和for

一句印象深刻的话，Alan Kay（Smalltalk发明者）说得一句话：“I’m not against types, but I don't know of any typesystems that aren't a complete pain, so I still like dynamic typing”。并不是静态类型不好，只是静态类型的实现太让他痛苦了，所以他只好喜欢动态类型（语言

2015-12-09 14:47:18 16522

原创 spark RDD transformation和action操作

spark RDD transformation和action1.启用spark-shell,使用根目录下的test.txt作为文件的示例scala> scres30: org.apache.spark.SparkContext = org.apache.spark.SparkContext@68fda8scala> val file = sc.textFile("test.t

2015-12-09 14:14:48 1046

ClickHouse技术分享.7z

ClickHouse技术分享，来源于该文章，ppt内容加密 https://blog.csdn.net/qq_20545159/article/details/116025894

2021-06-05

IK_Analyzer_2012FF_hf1_source

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

2017-09-07

gradle-4.1.0

此版本支持最新的JDK 9运行工具，你也可以使用./gradlew wrapper --gradle-version=4.1升级

2017-08-12

mongo-java-driver-2.7.1.jar

mongo-java-driver-2.7.1.jar,java开发mongodb所依赖的驱动

2015-09-26

mongo-2.9.3.jar

mongodb对java支持的驱动包,该版本为mongo-2.9.3.jar

2015-09-26

spring-boot1.3.0.M5官方手册

2015-09-11

Spring Data JPA1.7中文文档

spring data jpa17中文开发文档

2015-09-11

spring data common1.8.zip

spring-data-common1.8.zip里面包含了spring-data-commons-1.8.2.RELEASE.jar，spring-data-commons-1.8.2.RELEASE-javadoc.jar以及spring-data-commons-1.8.2.RELEASE-sources.jar，jar包，文档，以及源代码

2015-09-04

spring data jpa jar包

spring data jpa最新版本1.8.0，包含了spring-data-jpa-1.8.0.RELEASE.jar,spring-data-jpa-1.8.0.RELEASE-javadoc.jar以及 spring-data-jpa-1.8.0.RELEASE-sources.jar文档和源代码

2015-08-08