5 Jaming_Jaming

尚未进行身份认证

暂无相关描述

等级
TA的排名 14w+

kafka消费者报错:Class org.apache.kafka.common.serialization.StringDeserializer could not be found.

org.apache.kafka.common.config.ConfigException:Invalidvalueorg.apache.kafka.common.serialization.StringDeserializerforconfigurationkey.deserializer:Classorg.apache.kafka.common.serialization.S...

2019-04-03 09:27:44

spark2.0 读取本地json数据到Elasticsearch时,过滤非法json

packageesimportnet.minidev.json.parser.JSONParserimportorg.apache.spark.SparkConfimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql.{Dataset,SparkSession}importscala.collection.Map...

2019-03-18 14:59:26

spark restful api 启动任务,运行完之后到historyserver

首先1、spark-env.sh中添加exportSPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080-Dspark.history.retainedApplications=3-Dspark.history.fs.logDirectory=hdfs://xiaoqi0:9000/sparkeventlog"2、spark-defaults.c...

2018-04-11 13:26:02

python 插入mysql数据库字符串中含有单引号或双引号报错

可以使用pymysql.escape_string(str_content)转换一下

2018-03-14 16:19:15

elasticsearch5 官方文档整理。。。。中

DocumentAPIIndexAPI1,IndexResponseresponse=client.prepareIndex("twitter","tweet","1").setSource(jsonBuilder().startObject().field("user",...

2018-03-01 11:10:34

Hbase 查询语句记录

1.1.1 查询前几条数据scan'logs',{LIMIT=>1}1.1.2 3查询表的总条数count'logs'1.1.3 4删除表数据truncate't1'1.1.4 5查看过滤器 show_filters1.1.1 6行键过滤器scan'logs',{FILTER=>"RowFilter(=,'substring:2017-12-27')"}1.1.2 例子:  h...

2018-03-01 11:04:19

spring batch 并行执行任务

@RequestMapping("/startall") @ResponseBody Stringstartall()throwsParseException{ if(TimeFlag.getJobRun()){ System.out.println("CronStartAllDataRsyncJob.ButJobRunning."); return"Job...

2018-02-24 13:55:27

快学scala 记录

用scala的ArrayBuffer调用java方法要导入隐式转换importscala.collection.JavaConversions.bufferAsJavaListimportscala.collection.mutable.ArrayBuffervalcommand=ArrayBuffer("ls","-al","/home/cay")valpb=newProces...

2018-01-31 16:19:33

sparkmllib交替最小二乘法

http://spark.apache.org/docs/2.2.0/ml-collaborative-filtering.html不需要用户和商品属性的信息,这类算法通常称为协同过滤算法例子:根据两个用户的年龄相同来判断他们可能有相似的偏好,这不叫协同过滤。相反,根据两个用户播放过许多相同歌曲来判断他们可能都喜欢某首歌,这才叫协同过滤。SparkMLlib的ALS算法要求用户和产品ID必须是...

2018-01-17 17:01:22

elasticsearch 内存溢出

ES在做聚合的时候,容易发生内存溢出https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html

2017-12-22 15:19:39

elasticsearch 去重

ES字段折叠(collapse)可以去重,但是不hits里面的总数是不去重的,而聚合的cardinality方法去重,会有误差,默认30000之内的数据没有误差,参数precisionThresholdecisionThreshold最大可以调到40000.DSL语句GET/mtd_customers/mtd_customers_type/_search{ "query":{  "boo...

2017-12-16 12:28:03

sparksql 从oracle读取数据然后整合到elasticsearch

pom.xm<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="ht

2017-11-16 14:54:45

elasticsearch5安装

安装es:http://www.jianshu.com/p/a4d236ed17c3安装head:http://blog.csdn.net/u013066244/article/details/63279337最后将head/_site/app.js中的localhost改成自己的ip就行了分片主分片副本分片索引(index)类型(type)id一旦文档被存储在Elasticsearch中,它就...

2017-07-20 14:21:52

flume到kafka,structuredStreaming从kafka消费

flume配置a1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurer1a1.sources.r1.type=netcata1.sources.r1.bind=localhosta1.sources.r1.port=44444#Describek1#a1.sinks.k1.type=loggera1.s...

2017-07-14 17:34:33

spark2.2 structured Streaming

其实官方文档都说明了:http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.htmlpackagecom.renjiaming.spark2T2importjava.util.concurrent.TimeUnitimportorg.apache.log4j.{Level,Logger}i...

2017-07-14 11:03:38

mybatis+log4j 打印sql

一直打印不出sql 各种百度 最后居然包不全需要的jarslf4j-log4j12-1.6.1.jarcommons-logging.1.1.3log4j.1.2.17slf4j-api

2016-01-24 17:39:44

一键分享按钮

方法一:                       方法二:            分享到:       QQ空间       新浪微博                             方法三:   <Aclass="bshar

2015-08-20 11:32:58

Tomcat中的ssl加密配置 粘过来的

Tomcat中的ssl加密配置  2008-05-2215:21:03|  分类: http|举报|字号 订阅最近看到了网上不少的网站都有自己的ssl数据证书,今天自己也配置了一下,并整合到了自己的EasyON数字酒店项目里,先简单给大家介绍一下ssl的相关知识。SSL简介SSL,或者SecureSocketLayer,是一种允许

2015-01-31 13:02:36

联通扫描漏洞——已解密的登录请求---也是粘过来的

已解密的登录请求 (2010-03-1016:00:37)转载▼标签: 解密的登录请求 appscan 杂谈分类: Web修订建议一般1.确保所有登录请求都以加密方式发送到服务器。2.请确保敏感信息,例如:-用户名-密码-社会保

2015-01-27 13:09:44
勋章 我的勋章
    暂无奖章