- 博客(143)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 kafka-实战问题记录
org.apache.kafka.common.errors.TimeoutException: Batch Expired解决办法：server.properties中的listeners的值，由PLAINTEXT://9092 改为PLAINTEXT://ip:9092
2019-10-03 22:24:09
270
原创 kafka-基本概念
消息：消息相当于数据库中的记录，kafka中的的消息是二进制消息流，所以kafka中的消息没有特别的格式或者含义批次：消息可以分批次的被发送，这样可以提高效率，单条消息穿梭于网络间，会导致大量的网络开销，批次越大单位时间内处理的消息就越多，单个消息的传输时间就越长，批次消息会被压缩 ，可以提升效率，但是需要更多的 cpu计算主题、分区：相当于数据库中的表，每个主题会有若干个分区，在kafk...
2019-10-03 19:41:46
305
转载 linux禁止用户通过ssh登陆
限制指定用户通过指定IP SSH 登录 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1.只允许指定用户进行登录（白名单）： 在 /etc/ssh/sshd_config 配置文件中设置 AllowUsers ...
2019-07-24 11:00:05
2562
原创 linux下weblogic安装
环境准备：1.weblogic安装包：fmw_12.2.1.3.0_wls_quick_Disk1_1of1.zip2.java环境：jdk1.8安装步骤：1.创建用户：useradd weblogic2.修改密码：passwd weblogic3.weblogic配置： 编辑 ~/.bash_profile。 添加内容umask 002 ulimit -...
2019-07-19 10:06:09
494
原创 oracle修改登陆密码
具体操作如下：1.运行->sqlplus /nolog2.输入conn / as sysdba 管理员账户登录3.如果用户被锁定先解锁：alter user system account unlock;4.修改密码：alter user system identified by mima;接下来可以用sqlplus登陆了。默认的用户名为：system...
2019-07-15 16:34:45
289
原创 理解零拷贝
什么是零拷贝维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处：减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“...
2019-02-19 00:11:21
175
原创 大数据学习之spark5
实战外部数据源，包括操作 parquet数据 hive数据，mysql数据 三种数据 ：package extenalSourcceApiimport org.apache.spark.sql.SparkSession/** * 读取外部主数据源 parquet数据 hive数据，mysql数据 */object parquetSource { def main(arg...
2019-01-13 18:04:06
219
原创 大数据学习之spark4
实战RDD数据集转化为dataFrame：代码：package com.scalaimport org.apache.spark.sql.SparkSession/** * RDD数据集转化为dataFrame */object DataframeToRDD { def main(args: Array[String]): Unit = {// 使用...
2019-01-12 15:42:35
395
原创 大数据学习之spark2
spark中的相关概念：RDD:是一个分布式的数据集 数据呈现非结构化，没有列名，类型等信息dataSet：A Dataset is a distributed collection of data. Dataset is a new interface added in Spark 1.6 that provides the benefits of RDDs (strong typi...
2019-01-12 14:07:53
197
原创 大数据学习之spark3
使用sparkSq来访问hive：sparkSql是建立在hive之上的，使用sparksql来访问hive需要在conf文件夹下配置hive-site.xml文件，该文件配置了hive中metastore相关的原数据信息<configuration> <property> <name>javax.jdo....
2019-01-10 20:01:18
251
原创 大数据学习之spark
spark学习实战：需要创建一个scala项目，需要在idea中安装scala的插件，重启之后便可创建scala项目maven配置：<properties> <scala.version>2.11.8</scala.version> <sparkSql.version>2.1.0</sparkSql.version>...
2019-01-10 17:41:41
237
翻译 大数据学习之hive3
hive中的数据定义语言（ddl）：hive中的数据定义语言有如下：HiveQL DDL statements are documented here, including:CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEX //创建数据库，schama，表，视图，函数，索引 DROP DATABASE/SCHEMA, TABL...
2019-01-06 19:30:07
329
1
翻译 大数据学习之hive2
hive中支持的数据类型：1.数值类型：TINYINT (1-byte signed integer, from -128 to 127) SMALLINT (2-byte signed integer, from -32,768 to 32,767) INT/INTEGER (4-byte signed integer, from -2,147,483,648 to 2,147...
2019-01-06 15:25:18
164
原创 大数据学习之Hive
hive产生的背景：使用mapreduce来编程很不便，需要按照mr的接口模型来编写hdfs上的文件必须使用mr来开发，无法使用类sql语言来完成 hive是什么？hive的执行引擎：hive on mrhive on spark 等 hive体系架构：、hive部署架构：（hive只需要部署一个节点，关键点在于mysql需要主备部署）...
2019-01-06 15:02:29
312
1
原创 scala学习1
1.变量：使用val 来定义常量 val x = 3 x不可以在被赋值为其他的值使用var 来定义变量 var x = 3 使用lazy val 开定义惰性常量，常量在真正被用到的时候才会被计算 2.数值类型：数值类型与java中类似，有Byte Short Int Long Float Doubleeg: var x : Int = 3eg v...
2019-01-03 18:26:53
155
原创 大数据学习10
spring整合hadoopmaven：<!--hadoop依赖--><!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --><dependency> <groupId>org.apache.hadoop</groupId> ...
2019-01-02 22:45:28
119
原创 大数据学习9
hadoop项目实战：数据处理流程：数据处理架构：实战wordCount案例：package com.lc.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;impor...
2019-01-01 01:40:54
131
原创 大数据学习8
mapreduce优点：海量数据离线处理&易开法&容易运行mapreduce缺点：无法实现流式计算分布式计算小案例：统计海量数据文件中的词频流程分析：1.首先将输入的文件拆分成多个文件快（spliting）2.每台机器统计每个文件快中的单词次数，根据空格等正则来拆分单词（mapping）3.每个节点将会吧相同的单词发送到特定的某台机器上，这样每个机器就会...
2018-12-31 10:19:15
183
原创 大数据学习7
yarn环境搭建：1.配置文件：etc/hadoop/mapred-site.xml: <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>告诉hadoop框架m...
2018-12-31 09:08:33
163
转载 大数据学习5
hdfs读写流程：首先看看出场的角色，第一个是client客户端，用来发起读写请求，读取HDFS上的文件或往HDFS中写文件；第二个是Namenode，唯一的一个，会协调所有客户端发起的请求；第三个是DataNode，负责数据存储，跟Namenode不一样，DataNode有很多个，有时候能达到数以千计。写数据流程往HDFS中写数据的流程如下：第1幅图：我们跟客户端说，你帮...
2018-12-23 22:36:30
96
原创 大数据学习4
hdfs javaApi实战：maven：<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version></dep
2018-12-23 22:33:25
117
原创 大数据学习3
hadoop集群的安装：linux下需要安装ssh客户端：yum install ssh需要安装java客户端，1.7及以上就好hadoop的nn与dn之间需要在linux上通信，我们需要设置免密链接ssh客户端使用命令 ssh-keygen -t rsa 一路回车使用ls -la 可以看见.ssh文件进入.ssh目录,执行 cat ./id_rsa.pub >>...
2018-12-22 22:38:30
94
原创 大数据学习2
如何自己设计分布式文件系统？ hdfs架构及概念 ：相关概念：hdfs副本机制：nameNode上存储的文件数据的文件名，副本系数，以及副本在那个datanode上面存储的信息。 hdfs副本存放策略：黄色表示请求的客户端所在的服务器绿色表示副本存放的位置通常第一个副本会与客户端存放在同一个服务器上 ...
2018-12-22 20:25:37
116
原创 大数据学习1
大数据的定义特征：多样的数据类型，快速的数据流转，海量的数据规模，以及数据的价值。大数据设计的技术：数据采集，数据处理，数据存储，可视化。 hadoop学习：hdfs（分布式文件存储），yarn（作业调度框架），mapreduce（分布式计算）。yarn：可扩展，容错性，多框架资源统一调度hdfs：可扩展，容错性，海量数据存储mapreduce:可扩展，容错性,...
2018-12-22 00:02:48
93
转载 mysql索引类型
如大家所知道的，Mysql目前主要有以下几种索引类型：FULLTEXT，HASH，BTREE，RTREE。那么，这几种索引有什么功能和性能上的不同呢？FULLTEXT即为全文索引，目前只有MyISAM引擎支持。其可以在CREATE TABLE ，ALTER TABLE ，CREATE INDEX 使用，不过目前只有 CHAR、VARCHAR ，TEXT 列上可以创建全文索引。值得一提的...
2018-12-17 19:01:39
106
原创 es学习之分页
es中的分页是使用from，size来控制的，如下语句：GET account/index/_search{ "from": 0,"size": 1}从索引0开始，查找一条数据。es分页原理：若es存在三个shard，每个shard存在2000条数据，当我想要取得所有数据中的第990到999条数据时，我需要分别从三个shard中的遍历前999条数据，将数据返回给承接请求的...
2018-11-25 19:56:37
3103
原创 es学习之高级查询
mapping：es中会给每个文档的每个字段一个数据类型，es会默认的帮我们完成这一步但是若我们需要自己定义一个mapping，也就是一个映射关系，我们需要自己定义：settings表示对该index的设置：该index有三个shard，每个shard有一个副本作为备份query查询：term和terms不知道分词器的存在，你所查找的内容，es都会将他视作一个完整的字段...
2018-11-25 19:10:47
618
原创 es 学习之基本的增删改查
es安装之后，我们可以进入bin目录下执行 ./elasticsearch 启动es 。默认的端口是9200端口但是es不能使用root权限的而用户来启动，会报错，因此需要添加一个用户：useradd lc //创建用户 （lc是我自己的名字，随便起）passwd lc //设置用户密码chown -R lc.lc /es目录 //给es添加用户和用户组su lc //切...
2018-11-24 19:20:34
754
原创 nio学习之编码与解码
package nio;import java.nio.ByteBuffer;import java.nio.CharBuffer;import java.nio.charset.Charset;//nio字符集编码public class testCharacter { public static void main(String[] a){ //设置编码器...
2018-10-07 15:12:55
345
原创 nio学习之分散读取和聚合
package nio;import java.io.FileNotFoundException;import java.io.RandomAccessFile;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;//nio分散读取和聚集写入public class testScaAndGett { ...
2018-10-07 14:31:30
289
原创 nio学习之channel，基于流的方式获取channel
package nio;import java.io.FileInputStream;import java.io.FileOutputStream;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;//测试channel//使用基于流的channel方式public class testChanne...
2018-10-07 13:37:05
718
原创 nio学习值buffer的属性
package nio;import java.nio.ByteBuffer;//测试buffer中的属性//在没有管道的情况下，buffer就想到与管道，自己创建的byte数组就相当于缓冲区public class test { public static void main(String[] a){ //使用bytebuffer来读取数据 B...
2018-10-07 13:31:46
280
原创 dubbo学习之dubbo特性
dubbo核心特征：<1>面向接口的远程方法调用服务之间仅需通过方法的调用便完成了rpc过程，内部机制透明。<2>只能容错与负载均衡所有的应用都需要在注册中心注册，注册中心会根据流量情况，来智能的为请求挑选合适的服务器<3>服务自动注册与发现提供了注册中心来实现 <2>,<3>核心图 dubbo...
2018-10-03 14:06:30
990
原创 dubbo学习之分布式应用思想
大型系统发展流程图：<1>all in one阶段所有的应用都部署在一台服务器上，适用与流量较小的应用缺点：页面，业务逻辑，数据库等全部部署在一台服务器上，承载压力的能力不足，系统的扩展能力不足。<2>mvc阶段将应用拆分成独立的应用，分别部署在不同的服务器上，每个服务器上的页面，逻辑，数据库，等配套齐全。优点：承载能力有一定的提升，扩展能力有一...
2018-10-03 13:43:08
135
原创 jvm常用调优策略
jvm参数类型：（了解 不常用）-xint：解释执行-Xcomp：编译执行-Xmixed：混合模式，jvm自己决定使用哪种方式（重点）分为boolean类型：-XX:[+-]<name> 表示是否启用jvm的某个参数非boolean类型：-XX:<name> = <value> 表示name属性的值为value-Xms：初始对内存大小（...
2018-10-03 12:58:15
976
1
原创 zk学习之zk集群搭建
<1>进入conf文件夹，编辑zoo.cfg文件添加<1>dataDir（zk的工作目录，必须配置）dataLogDir（zk的日志文件，可以不配，默认在dataDir）c'l<2>添加主从zk：server.1表示zk节点id为1的节点server.2表示zk节点id为2的节点server.3表示zk节点id为3的节...
2018-09-25 11:32:22
315
转载 es学习之es入门
一、安装Elastic 需要 Java 8 环境。如果你的机器还没安装 Java，可以参考这篇文章，注意要保证环境变量JAVA_HOME正确设置。安装完 Java，就可以跟着官方文档安装 Elastic。直接下载压缩包比较简单。$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5...
2018-09-25 11:27:49
172
原创 zk学习之四字命令
四字命令可以在linux的环境下查看zk的一些相关的信息，使用之前需要安装nc命令：yum install nc四字命令语法：echo:[command] | nc [ip] [port]常用command：（1）stat：查看当前zk的状态信息，，以及mode（表示单机或集群）模式（2）ruok：查看当前zk服务器是否启动状态，若启动，回复imok（3）dump：...
2018-09-14 14:56:37
1390
空空如也
formdata java后台接受
2017-09-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人