hjsw1-CSDN博客

原创 [mongodb] - Mongodb中mongod启动参数说明

Mongodb启动命令mongod参数说明mongod的主要参数有：************************************* 基本配置*********************************************--quiet# 安静输出--port arg# 指定服务端口号，默认端口27017--bind_ip arg# 绑定服务IP，若绑定127.0.0.1，则只...

2018-03-02 14:19:24 584

原创 [mongodb] - 详细图解window环境mongodb下载、安装、配置与使用

一、安装mongodb 到官网下载最新版面mongodb安装包，（32位版本的已经取消了，只有64位的）官网地址： https://www.mongodb.com/download-center#community下载完成后安装，点击“next”跳到下一步：选择自定义安装，会自动跳到下一步：修改软件安装的位置，注意不要使用中文，点击“next” 跳到下一步：mongoDB提供了一个图形界面管...

2018-03-02 14:12:22 339

原创 [hadoop]常用压缩格式在Hadoop中的应用(spark)

目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。 1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop na

2017-12-07 19:20:11 1156

转载 [Kafka] - Kafka Java Producer代码实现

根据业务需要可以使用Kafka提供的Java Producer API进行产生数据，并将产生的数据发送到Kafka对应Topic的对应分区中，入口类为：ProducerKafka的Producer API主要提供下列三个方法：　　public void send(KeyedMessage message) 发送单条数据到Kafka集群　　public void send(L

2017-11-29 21:24:22 1560

转载 [Kafka] - Kafka Java Consumer实现(二)

Kafka提供了两种Consumer API，分别是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API)High Level Consumer API：高度抽象的Kafka消费者API；将底层具体获取数据、更新offset、设置偏移量等操作屏蔽掉，直接将操作数据流的处理工作提供给编写程序的人员。优点

2017-11-29 21:23:05 3450

转载 [Kafka] - Kafka Java Consumer实现(一)

Kafka提供了两种Consumer API，分别是：High Level Consumer API 和 Lower Level Consumer API(Simple Consumer API)High Level Consumer API：高度抽象的Kafka消费者API；将底层具体获取数据、更新offset、设置偏移量等操作屏蔽掉，直接将操作数据流的处理工作提供给编写程序的人员。优点

2017-11-29 21:21:24 500

转载 [Kafka] - Kafka内核理解：消息的收集/消费机制

一、Kafka数据收集机制Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Partition，默认采用Hash的机制发送数据到对应Topic的不同Partition中

2017-11-29 21:19:11 489

转载 [Kafka] - Kafka内核理解：分布式机制

一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区)每个数据分区在Kafka集群中存在一个broker节点上的分区叫做leader，存储在其它broker上的备份分区叫做followers；只有leader节点负责该分区的

2017-11-29 21:18:22 239

转载 [Kafka] - Kafka内核理解：消息存储机制

一个Topic分为多个Partition来进行数据管理，一个Partition中的数据是有序、不可变的，使用偏移量(offset)唯一标识一条数据，是一个long类型的数据Partition接收到producer发送过来数据后，会产生一个递增的offset偏移量数据，同时将数据保存到本地的磁盘文件中(文件内容追加的方式写入数据)；Partition中的数据存活时间超过参数值(log.ret

2017-11-29 21:17:10 333

转载 [Kafka] - Kafka内核理解：Message

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的值为0，那么不存在attrib

2017-11-29 21:15:58 539

转载 [Kafka] - Kafka基本操作命令

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中，主要是kafka-topics.sh命令；Kafka命令参考页面: kafka-0.8.x-帮助文档 -1. 查看帮助信息bin/kafka-topics.sh --help -2. 创建Topicbin/kafka-topics.sh --create --t

2017-11-29 21:15:01 321

转载 [Kafka] - Kafka 安装介绍

[Kafka] - Kafka 安装介绍Kafka是由LinkedIn公司开发的，之后贡献给Apache基金会，成为Apache的一个顶级项目，开发语言为Scala。提供了各种不同语言的API，具体参考Kafka的cwiki页面；Kafka的安装方式主要分为三种：单机安装、伪分布式安装、分布式安装；安装基本配置一样，区别在于：单机安装是在一台服务器上只安装一个bro

2017-11-29 21:14:03 241

转载 [Kafka] - Kafka基本概念介绍

Kafka官方介绍：Kafka是一个分布式的流处理平台(0.10.x版本)，在kafka0.8.x版本的时候，kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性；主要应用场景是：日志收

2017-11-29 21:12:29 385

原创 [mongodb] - mongodb高可用集群搭建(分片+读写分离+负载均衡)

首先是配置方案：环境准备：#启动时需要使用非root用户，所有创建一个chiansun用户：useradd chiansun#为hadoop用户添加密码：echo 123456 | passwd --stdin chiansun#将chiansun添加到sudoersecho "chiansun ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers....

2017-10-31 14:23:37 7643

转载 redis3.0配置文件详解

Redis.conf#redis.conf# Redis configuration file example.# ./redis-server /path/to/redis.conf################################## INCLUDES ####################################这在你有标准配置模板但是每个redis服务器又

2017-10-30 17:53:55 286

原创 nginx命令详解

2017-10-24 20:23:41 281

原创 [Linux] - linux 安装jdk1.8出现Error occurred during initialization of VM

因工作需要，这两天一直在cenos6.6,Linux下配置安装JDK并配置完环境变量后，报出很奇怪的问题： Error occurred during initialization of VMjava/lang/NoClassDefFounction...出现此问题先检查环境变量配置是否正确如果没问题就看一下lib和jre/lib中的rt.pack、tools.pack如果发现这两个文件的话，就是...

2017-09-04 22:57:51 4909

转载 [Linux] - LVS三种模式配置及优点缺点比较

LVS三种模式配置及优点缺点比较 LVS三种模式配置LVS三种（LVS-DR,LVS-NAT,LVS-TUN）模式的简要配置LVS是什么:http://www.linuxvirtualserver.org/VS-NAT.htmlhttp://www.linuxvirtualserver.org/VS-IPTunneling.htmlhttp://www.linuxvirtualserver.or...

2017-08-08 16:36:29 792

转载 [Linux] - 使用LVS实现负载均衡原理及安装配置详解

使用LVS实现负载均衡原理及安装配置详解负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx(网络7层)、lvs（网络4层）、haproxy（网络7层和4层），商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。一、负载均衡LVS基本介绍 LB集群的架构和原理很简单，就是当用...

2017-08-08 14:05:43 409

原创 JavaEE大型分布式电商项目上海淘淘商城 29期

上海29期_张志君老师_淘淘商城_大型分布式电商项目JavaEE大型分布式电商项目淘淘商城 29期需要的加qq：350226234，备注：程序员学习视频=================================================================== 淘淘商城是一个综合性的B2C平台，类似与京东、天猫商城，其打造的

2017-08-03 11:58:21 6828 3

原创 [Linux] - 搭建vsftpd服务器访问无法正常显示目录（创建删除文件）

问题：在正常搭建完vsftpd服务器后，浏览器无法正常显示服务器下的目录内容，如下：浏览器访问：解决方法很简单就是修改/etc/selinux/config下的配置文件（正解: 是SELinux(Security-Enhanced Linux----是美国国家安全局对于强制访问控制的实现, 是linux 上最杰出的新安全子系统.)安装机制搞的鬼. 只要disable SELi...

2017-07-10 23:34:00 1259

原创 [mysql] - windows平台安装mysql5.7解压缩版本

windows平台安装mysql5.7解压缩版本先决条件：windows平台安装mysql5.7版本必须条件：#必须安装 the Microsoft Visual C++ 2013 Redistributable PackageWindows 2008 R2 or Windows 7安装mysql5.7版本必须条件：#必须安装 the Microsoft Visual C++ 2013 Redi...

2017-07-03 16:20:52 817

chinasun的博客