11 eiffel_0311

尚未进行身份认证

我要认证

weixin:13257734257

等级
TA的排名 9k+

redash on spark-thriftserver

 redash 的 数据源中不包括spark-thriftserver, 而spark-thriftserver 的出现是为了替代 hiveserver2 直接执行sql。尝试修改 redash 中 hive 相关的逻辑 以此来支持spark-thriftserver。1. 测试环境: centos 7 spark2.4.3 hadoop2.102. 安装redash新建文件:docker-compose.yamlversion: '2'servi...

2020-06-18 17:27:40

aws s3 授权方式

refer:https://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html#Authenticating_with_S3

2020-05-09 21:02:24

clickhouse 执行计划查看

clickhouse-client -u xxxx--password xxxxxx--send_logs_level=trace <<< 'your query sql' > /dev/null

2020-05-05 17:23:24

clickhose 基本知识点

2020-05-04 20:24:54

clickhouse's zookeeper

2020-04-09 10:34:37

git 常用命令

2020-03-06 21:10:35

被执行失信人员名单查询

http://www.online-service.vip/shixin/api

2019-08-27 10:17:25

java 模拟telnet 发动http 请求

1. telnet 方式:1.1 telnet map.baidu.com1.2 输入:Alt + ]1.3输入:GET /?qt=ipLocation HTTP/1.11.4 输入:HOST:map.baidu.com1.5 输入:Cookie:BAIDUID=AAAA两次回车2. java Socket s = new Socket("m...

2019-08-22 15:38:36

基于腾讯api 语言识别

功能: 录音文件的识别准备:https://cloud.tencent.com/document/product/1093/35800 注册帐号, 申请SECTET_Id, SECRET_KEY1. 发送请求import org.apache.commons.codec.binary.Base64;import org.apache.http.client.methods.Ht...

2019-08-02 16:25:10

微信域名拦截检测

微信域名拦截采用云拦截的机制, 那么如果检测一个域名是否被拦截那?1. 第一步:浏览器打开地址:https://wx.qq.com/登录网页微信2. 打开浏览器调试模式, 一般为F12, 找到:找到Cookie 和User-agnet3. 代码 用第二部的参数替换代码中的cookie, useragent 测试: public boolean isBloc...

2019-07-26 09:56:22

跨域多站点独立用户分析

问题:如何把不同站点的用户进行关联起来A、B、C、D 多个站点可能是一级域名相同, 可能是完全两个不同的域名, 如何把多个站点儿的用户关联起来那?实例:假设要计算A、B、C、D的独立用户数1. 准备cookeicenter 服务import org.springframework.web.bind.annotation.*;import javax.servlet.htt...

2019-07-24 11:06:48

计算机学习 常用站点

计算机技术学习

2019-07-10 11:19:07

frp 基于阿里云跳板 暴露内网机器作为服务器调试、提供服务

背景:把内网研发机器(没有公网)暴露在公网上提供服务:真实提供服务,小程序、公众号码测试环境: linux, 阿里云机器(A), 本地内网机器(B)1. 下载 frpwget https://github.com/fatedier/frp/releases/download/v0.21.0/frp_0.21.0_linux_386.tar.gz解压2. 编辑服务器(A)配置:f...

2019-05-27 10:10:56

个人建站基本流程

背景:基于阿里云搭建个人小站1.注册阿里云账号:阿里云注册填写昵称、密码、手机号即可。这里有一个限制,也是个人不喜欢的,就是手机号不能使用阿里云小号2.首先需要一个自己的域名,购买一个自己的域名,便宜的大约10元左右。这里一般购买未注册域名,当然有钱人可以收购一个已经注册的域名。域名购买3.域名备案,在国内,没有备案的域名是不能使用的。备案周期大约为2...

2019-05-22 12:59:32

ip2region java ip地址解析

1. ip2Region:IP地址解析, 参考:https://gitee.com/lionsoul/ip2region主要针对国内用户,效率高。2. java 测试:<dependency> <groupId>org.lionsoul</groupId> <artifactId>ip2region</artifactId&g...

2019-05-10 15:22:29

短网址简介

1. 什么是短网址?短网址也就是比较短的网址,其功能是把短网址压缩,例如:把https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E4%BA%94%E4%B8%80%E6%94%BE%E5%81%87&oq=react%2520color&rsv_pq=9...

2019-04-23 16:13:28

UserAgent 解析, 在线api

1. 解析常用的UserAgnet。所有数据仅供参考,功能持续更新,不能解析的ua可发站长更新代码逻辑 2. 主要输出包括:Ua的载体信息,APP信息,网络信息,浏览器信息 3. Ua的载体信息: 3.1 操作系统:http://api.online-service.vip/ua/statistics/getoslist 3.2 手机品牌:http://api.online-service...

2019-04-08 16:48:09

scrapy hello world

1. 安装:pip install Scrapy2. 新建工程scrapy startproject myspider3. 测试spiders 目录下新author_spider.py:import scrapyclass AuthorSpider(scrapy.Spider): name = 'author' def start_requests(sel...

2019-04-01 10:04:04

tesseract 训练数据基本步骤

unbunt 18.04 安装tesseractjar 包:jTessBoxEditor 下载1. 生成tifjTessBoxEditor -> tools -> merge tif2. 生成box 文件tesseract chi_sfz.normal.exp0.tif chi_sfz.normal.exp0 -l chi_sim batch.nochop makebox...

2019-03-27 10:14:33

mysql 导入大数据文件

1. 切割文件, 把文件按照每200W行拆分一个文件split -l2000000 -d all.csv part_ --verbose2. 逐个文件导入load data infile '/var/lib/mysql-files/mg/part_00' ignore into TABLE yourTablefields TERMINATED by ',' ENCLOSED BY '...

2019-03-20 17:29:24

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。