- 博客(23)
- 收藏
- 关注
RSS订阅原创 kafka为什么不采用读写分离的架构实现
最近被问到一个问题，kafka既然也是一个分主从的集群架构，为什么不采用读写分离的实现，刚刚听到这个问题的时候我有点懵，读写分离，为什么要读写分离？于是硬着头皮回答了一些，1.读写分离的架构会让实现更加的复杂，可能引入未知问题和破坏结构的清晰2.读写分离可能导致数据不一致的情况后来看了一些别人的观点后觉得，这个回答虽然有点道理却并不算完整，虽然对一些其他的观点我也不完全认同。在此我不会从原理和源码的角度发表长篇大论，只是单纯的从我自己的角度写一点思考。关于这个问题，一些提到比较多的回
2022-03-21 11:38:17
2924
原创 用ElasticMQ在本地模拟使用AWS的SQS
如果开发使用SQS的功能，应该会遇到如何进行本地测试的问题。ElasticMQ实现了Amazon SQS-compatible interface，可以在本地在模拟AWS的SQS进行测试。本例子主要通过docker启动，并用aws-cli 进行简易测试。Dockerfile中的内容，主要指定版本等信息，这个例子中使用的是一个较早的版本0.11.0，目前的最新版是1.1.0FROM java:8ADD https://s3-eu-west-1.amazonaws.com/softwa.
2021-04-15 21:53:47
493
原创 各种奇怪的小知识汇总
scala play framework中用playGenerateSecret生成加密Keycd project-rootsbtplayGenerateSecret
2021-03-12 15:13:08
195
原创 在Mac上如何安装brew并通过其管理安装其他软件
brew官网https://brew.sh/index_ja.html根据官网记述，安装命令/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"$ brew -.
2021-03-11 23:01:55
183
原创 记录mysql从5.6升级到5.7的相关问题
记录将mysql从5.6升级到5.7指定版本升级安装，首先指定CentOs的yum仓库源yum localinstall http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm确认是否为指定的版本yum info mysql-community-server# yum info mysql-community-server利用可能なパッケージ名前 : mysql-com...
2021-02-21 21:17:49
175
原创 如何改变Cassandra的网络拓扑
首先修改配置文件，cassandra.yaml让节点归属于新的网络拓扑 decomission命令将发生变化的节点从集群里面分离，作用是将节点上的数据全部转移到别的节点 Shutdown被分离的节点实例 删除节点上的现有数据，直接删除Cassandra的文件目录 重新启动节点上的Cassandra实例，新的实例将会在节点产生新的数据 剩余的节点同步数据nodetool repair -seq -full 清理掉其他节点上的残余数据nodetool clean...
2020-11-25 13:17:55
199
原创 Cassandra的两种数据恢复方式
Cassandra的两种数据恢复方式事前准备事前准备好Snapshot文件事前准备好的Snapshot文件解压并放到合适的位置（如：{...}\{keyspace}\{tablename}）做法参考官方文档：Restoring from a snapshot下面就简单的介绍一下两种的做法，这两种方法都是针对单各表进行恢复的办法，虽然有点麻烦但是目前还不知道批量恢复的方法。（一）通过本地文件恢复首先介绍第一种做法，通过本地文件恢复，简单的说就是，将准备好的Snapshot文件解压放到各个N
2020-10-02 22:18:13
1032
原创 error: failed to create directory %{_buildrootdir}: /workspace/target/rpm/BUILDROOT: File exists
Docker 升級到2.2.0.5后，原來的項目編譯出現下面的問題，[error] error: failed to create directory %{_buildrootdir}: /workspace/target/rpm/BUILDROOT: File exists[error] Building target platforms: noarch-tis-Linux[error] ...
2020-05-06 16:55:21
938
原创 Elasticsearch使用技巧
以下，将以前使用ElasticSearch的一些常用技巧发布1.修改index的相关配置：total fieldPUT index_name/_settings{"index.mapping.total_fields.limit":2000, "index.max_result_window":1000000,"max_slices_per_scroll": ...
2020-03-11 13:11:13
315
原创 Cassandra数据的备份和恢复权限管理
备份从SnapShots恢复sstableloader -u cassandra -pw cassandra -d 26.28.130.52 /var/lib/cassandra/data/akka/tag_views-3d973210157411eaad28532380245696/snapshots/cassandra_20191218_035151sstableloa...
2020-03-10 19:12:42
611
原创 mvn compile 和mvn package，mvn install之间的差异
--为啥子junit run 的时候老是报class not found的错呢最近发现一个问题，在pom.xml文件中把junit的包scope设置为test之后，Junit的testcase居然执行不起来了，居然会有这么奇怪的事情？出现问题的操作步骤1.原本项目的junit包是没有指定scope的，那默认情况就是compile，执行junit testcase没有问题。2.将ju...
2019-04-16 18:26:00
5324
原创 git操作的命令和技巧
git的一些基本操作，很多时候自己遇到一些比较棘手的状况也会到处搜索，权当是为自己记录一下，以方便日后查阅。基本操作git clonegit pullgit fetchgit statusgit loggit remote -vgit branch -a branchName以当前分支创建新分支git checkout -b branchName以远...
2019-04-15 14:13:00
243
原创 解决Spark Streaming任务日志打爆磁盘问题
1.在standlone模式下，为了减少日志在磁盘占用的输出的量，可以设置一下几个参数。spark.executor.logs.rolling.maxRetainedFilesspark.executor.logs.rolling.enableCompressionspark.executor.logs.rolling.maxSizespark.executor.logs.rolling.stra...
2018-03-29 14:45:27
3591
4
原创 关于ssdb编译的小问题-cannot stat `ssdb-server': No such file or directory
先上错误：mkdir -p /usr/local/ssdbmkdir -p /usr/local/ssdb/_cpy_mkdir -p /usr/local/ssdb/depsmkdir -p /usr/local/ssdb/varmkdir -p /usr/local/ssdb/var_slavecp -f ssdb-server ssdb.conf ssdb_slave
2017-12-07 14:40:43
1352
原创 cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration的解决
导入了一个工程，编译什么的都还好，但是报了一个XML的错误。cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'dubbo:application'. 具体错误如下：Multiple annotations found
2017-05-26 18:39:08
36808
4
原创 Hbase importtsv.separator指定非显示字符的办法
最近需求用importtsv和completebulkload来从文件导入Hbase数据，但是遇到了一个问题就是importtsv的分隔符只支持单个字符，如果想指定类似于“\t”这样的转义字符是不可能的，当然，TSV默认的分隔符就是TAB，所以这中情况就直接不指定分隔符就可以了。但如果我想指定其他的特殊字符做分隔符要怎么办呢？网上有个人提供了一个办法，就是在调用importtsv的
2017-01-04 16:24:18
1538
原创 CentOs 6.4 VM 扩展磁盘
在创建虚拟机的时候，因为没有设置足够的磁盘空间，导致后续使用的时候，一不小心磁盘就满了，为了解决这个问题扩容势在必行，在网上搜了一通，按照方法做了一遍，遇到各种问题，做到一半发现不行了，搁置了几天，又重新来做，终于成功了。PS：如果问题解决不了，可以过两天再来解决，换个思路说不定很容易就搞定了。闲话不多说，我们就开始吧，PS2：过程中参考了很多网上的做法，我将原文的链接
2016-12-02 17:29:38
3656
1
原创 Hive 执行时磁盘空间不足的问题
前些天配置好的Hive，同样的SQL运行的好好的，今天却突然就不行了，报了如下的错误，真是抓破脑袋也没有想明白为什么。2016-10-21 06:42:52,190 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still i
2016-10-21 15:38:03
3976
3
原创 mysql-connector-java-5.1.30.jar 和 mysql-connector-java-5.1.3.jar真的好大区别
把Mysql的字符集从utf-8改到了utf-8mb4，本来不是什么事，百度一下很容易就做了。首先mysql5.5以后才支持，utf-8mb4字符集，我的版本5.6没有问题。其次就是，执行时以来的JDBC的版本mysql-connector-java-5.0.5.jar是不可以的，需要mysql-connector-java-5.1.30.jar。。。一切都按照要求配置过去了，可以是
2016-09-26 14:43:22
8994
原创 How to install sublime text 3 in ubantu linux
Install Sublime Text 3 by PPA# sudo add-apt-repository ppa:webupd8team/sublime-text-3# sudo apt-get update# sudo apt-get install sublime-text-installerStart Sublime TextTo Launch Sublime Text from c
2016-08-21 23:41:00
557
原创 Window下 Python 3.4 安装ipython
看到大家说Ipython是一个很好的内嵌交互式的解释器，所以也决定安装一下试试看，但是网上的教材都是在Python2.7做的，也有很多是Linux下的，在网上搜索了一通，最后发现居然极其简单。1.首先需要安装好Python3.4，直接百度搜索下载安装包安装就可以了。2.将Python的安装目录和Scripts目录添加到系统Path里面在CMD下输入python确认Pytho
2016-08-16 17:48:16
4966
原创 VBA学习中的一些小经验
最近因为项目的原因必须要用VBA做一个Tool，虽然很简单，但是因为以前从来没有用过VBA，还是觉得比较吃力，好在国内做VBA的人很多，一般的问题都可以百度出来，想着既然自己百度了这么多，还是整理一下，以便以后想不起来了到处找不到。1.关于VBA字符串格式化下面的博主写的很详细，我就直接贴过来就是了，非常感谢。http://blog.csdn.net/jiumingmao119
2015-07-28 17:32:34
1341
转载 《转帖：关于vs2008编译时cmd.exe生成错误的解决》
<br /> 有过几个技术blog，但大多数文章都是copy的，没有自己的思考和实践。我想，既然现在参加工作了，就应该把工作上遇到的一些技术方面的问题记录下来，以后再遇到就可以迎刃而解了。<br /> 迷茫ing，对于职业生涯的规划仍然不够清晰。现在也懒得想了，得过且过，及时行乐，不然只会庸人自扰，徒增烦扰。<br /> 既然方向不清晰，那就一步一个脚印踏踏实实地走吧。在工作中，充满激情，不断学习。<br /> 《谁动了我
2010-12-05 23:27:00
1069
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人