- 博客(152)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 apache drill简单试用
1 下载curl -Ohttps://mirrors.tuna.tsinghua.edu.cn/apache/drill/drill-1.17.0/apache-drill-1.17.0.tar.gztar zxvfapache-drill-1.17.0.tar.gz-C /opt/mv /opt/apache-drill-1.17.0 /opt/drill2 配置 con...
2020-03-16 21:33:41
615
原创 编译期注解简单使用
项目一：pom.xml <groupId>hello</groupId> <artifactId>helloa</artifactId> <version>1.0</version> <properties> <project.build.sourceEnc...
2020-03-13 23:09:41
389
原创 dataX简单使用
1 下载http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz2 直接解压使用tar zxvf datax.tar.gz -C /opt/3 配置各种jsonoracle到mysql的o2m.json{ "setting": {}, "job": { "setting": {...
2020-03-11 12:44:12
421
原创 spark 自定义累加器与自定义事件
1 可以实现简单的累加器，功能是只保存最后一个字符串。import org.apache.spark.util.AccumulatorV2;public class MyAccumulator extends AccumulatorV2<String, String> { private String str = ""; public MyAccumulat...
2019-12-30 10:13:58
209
原创 spark简单测试
1 通过shell直接submit2 通过Spark-shell执行 for i in {1..30};do spark-submit --class org.apache.spark.examples.JavaWordCount --master yarn --executor-memory 10g --driver-memory 20g --total-executor...
2019-12-24 15:57:41
615
原创 Brent求根号2
public class TestBrentSqrt2 { public static void main(String[] args) { double sqrt2 = brent(1,2,10e-2); System.out.println("sqrt2 = " + sqrt2); } private static double brent(doub...
2019-12-19 17:56:39
202
原创 python求根简单性能测试
from scipy import optimizefrom timeit import timeitdef g(x): return x**3-2def h1(x): root2, results2 = optimize.bisect(g, -1, 2, full_output=True)def h2(x): root2, results2 = optimiz...
2019-12-19 15:59:03
170
原创 python ansible 简单使用
pip3 install ansiblemkdir /etc/ansiblevi /etc/ansible/hosts#配置好hostname，免密认证做好ansible all -m copy -a "src=/etc/hosts dest=/tmp/ owner=root group=root mode=0644"ansible all -a "ls -alh /tmp/hosts...
2019-12-09 18:13:43
134
原创 使用clickhouse
下载，安装centos版sudo yum install yum-utilssudo rpm --import https://repo.yandex.ru/clickhouse/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_64...
2019-12-05 18:05:46
542
原创 kafka编译
git 下载代码切分支，进入目录。安装gradle： brew install gradle执行gradle执行 ./gradlew releaseTarGz -x signArchivescore/build/distributions目录下有生成的包。
2019-12-03 17:20:53
135
原创 pg简单使用
1 下载源码，编译2 /etc/profile配置环境变量，加入path；加PGDAGA=/home/pgdata3 初始化initdb -D $PGDATA4 启动pg_ctl start -D $PGDATA5psql postgres客户端连接6 查看create database db_hi;\c db_hi;create table hello(nam...
2019-12-03 15:35:36
1505
原创 hbase命令使用
hbase cellcounter table_hello /hello_cellshbase rowcounter table_hello统计表的cell数量，行的数量。hbase clean --cleanHdfs清理hdfs，需要关闭集群。hbase clean --cleanAllhbase clean --cleanZk...
2019-12-03 11:31:55
477
原创 git cherry-pick小试
大概指的是不想合并两个分支，只挑取一些commit提交到另一个分支上。操作流程：a分支有提交c1, 切到另一目录checkout b分支，也需要checkout a分支。切换b分支，执行git cherry-pick commit-number这个commit-number就是c1提交的号码。别忘了push过去。git checkout -b b.gitlsgit ls-...
2019-11-29 11:30:48
82
原创 vim 使用submatch
在vim中交换两个单词：:%s/\(\<man\>\|\<god\>\)/\={"man":"god","god":"man"}[submatch(1)]/g替换数字加一：:%s/\d/\=submatch(0)+1/g参考Pricatical Vim.
2019-11-29 09:31:49
1239
原创 git stash 简单使用
Git stash用来暂存当前正在进行的工作(已git add还未commit)， 将工作区内容压入本地的Git栈中，在需要应用的时候再弹出来。比如想pull 最新代码，又不想加新commit；或者为了修复一个紧急的bug，先stash，使返回到自己上一个commit，改完bug之后再stash pop，继续原来的工作。Git stash可以让本地仓库返回到上一个提交状态，而本地的还未提交的内容则...
2019-11-28 17:54:30
113
原创 flatMapValues区分
flatMapValues 将values先map，再flat得到元组。x = sc.parallelize([("a", ["1", "2", "3"]), ("b", ["123"])])def f(x): print(x);return x*3x.flatMap(f).collect()['a',['1', '2', '3'],'a',['1', '2', '3...
2019-11-28 15:35:30
850
原创 idea 插件开发最简单的例子
File--> New --> ProjectIntelliJ Platform Pluginimport com.intellij.openapi.actionSystem.AnAction;import com.intellij.openapi.actionSystem.AnActionEvent;import com.intellij.openapi.actio...
2019-11-26 16:20:49
400
原创 vscode 远程开发神器
经常会遇到需要在远程运行代码。比如win或mac下开发，在linux中运行。安装插件java extension, remote ssh 等。点开左边remote选项，配置config文件。HostName,User等。远端服务器git clone代码，在vscode中选好文件夹。点开debug，发现真好用。同步代码也可以用nfs服务器配置。打包后直接同步到远端。远端带调试...
2019-11-26 14:18:37
309
原创 python spark
修改python版本为python3export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATHexport PYSPARK_PYTHON=/usr/bin/python3#export PYSPARK_DRIVER_PYTHON=/usr/bin/python3...
2019-11-23 16:41:18
189
原创 正则表达式与正则语言
正则表达式和正则语言是一致的。但能不能用正则表达式识别，是需要分析的。比如0与1一样多的01串，是否可以识别？根据泵引理是不可以的，所以如果想通过正则表达式来处理，那将是歧途。01与10一样多的，是可以识别的。因为通过分析后，可以知道01与10无论如何他们的个数不会差别超过1.所以可以据此构造有限状态机。从而构造正则表达式。状态机分别有以下状态：个数相同的以0结尾，个数相同以1结尾...
2019-11-23 11:23:44
1092
原创 python z3处理命题逻辑
>>> solver.reset()>>> solver.add(Not(Implies(And(Implies(p,q),Implies(q,r)),Implies(p,r))))>>> solver.check()unsat>>> solver.reset()>>> solver.add(No...
2019-11-22 17:44:59
1200
原创 从排序算法看起
本文拟分析各排序算法的优劣性。主要分析冒泡排序，堆排序的操作与熵的变化。也许涉及机器学习在排序算法研究中的应用。也稍微聊聊人生与合理社区发展的一些想法。算了下冒泡排序的熵变化情况。效率低的原因是信息没有复用。如果改为分组归并，那么第一轮的信息都是独立的，熵减少平均是常数：ln2。对于冒泡，第一轮平均是(ln2+ln3/2+...+lnn/(n-1))/(n-1)=lnn/...
2019-11-06 11:32:25
119
原创 spark on yarn简单使用
/opt/spark/bin/spark-shell --master yarn --driver-memory 10g --driver-cores 4 --executor-memory 12g --executor-cores 4 --num-executors 200scala>import org.apache.hadoop.mapr...
2019-10-28 13:56:55
171
原创 HBase使用
1hbase(main):030:0> t=get_table 'test44'Took 0.0004 seconds=> Hbase::Table - test44hbase(main):031:0> t.flushTook 0.1839 seconds ...
2019-10-22 18:06:20
179
原创 HBase 性能测试
1hbase pe --nomapred --rows=100000 randomWrite100 hbase pe --nomapred --rows=100000 randomRead 1002 YCSB工具使用
2019-10-15 19:22:27
331
原创 PRECONDITIONING TECHNIQUES 预条件子技术
寻找一个好的预条件子来解决给定的稀疏线性系统通常被认为是艺术与科学的结合。预条件子基本上可以简单认为是通过变换求解一些条件数比较小的线性方程组来求原始问题。1 Jacobi, SOR, SSOR预条件子Ax=b 可视为其中A=M-N则：...
2019-10-13 16:20:04
1178
原创 Ito引理
因只连续但处处不可微的维纳过程等，需要扩充积分定义。黎曼积分的表述给予很大启发。但在涉及不可微时，需要对很多东西做修改。Ito引理非常有用。例如：...
2019-10-08 12:01:36
1029
原创 Java +PrintAssembly
java -XX:+UnlockDiagnosticVMOptions -XX:+PrintAssembly -Xcomp Hello下载 hsdis-amd64.dylib找到目录 find / -name "libjvm.dylib"拷贝过去：sudo cp ~/Downloads/hsdis-amd64.dylib /Library/Java/JavaVirtual...
2019-10-08 11:53:35
454
原创 HBaseG1GC调优学习
http://openinx.github.io/2012/01/01/my-share/重要参数-Xmx30g -Xms30g-XX:MaxDirectMemorySize=30g-XX:+UseG1GC-XX:+UnlockExperimentalVMOptions-XX:MaxGCPauseMillis=90-XX:G1NewSizePercent=1-XX:Initi...
2019-09-30 10:39:27
484
原创 HBASE原理与实践 读书学习
HBase Principle and Practice书挺好。学习之。基础，组件，核心原理，运维，高级话题。一 模型，结构，特性二 跳跃表，LSM树，布隆过滤器三 Zookeeper，HDFS四 HBase客户端 Meta表，Scan五 RegionServer 内部结构，HLog，MemStore，HFile，BlockCache六 HBase读写流程 写入，B...
2019-09-26 11:31:07
1408
原创 Iterative Methods for linear sparse systems读书笔记
Iterative Methods for linear sparse systems一本好书。试着读读吧。
2019-09-18 16:38:03
875
原创 Vim 实用技巧
. 模式一键移动，一键执行。1 重复操作.命令x.dd.>G j. j.2 末尾加;A;<Esc> j. j.3 +前后添加空格f+s + <Esc>;. ;.4 执行，回退uCtrl+r5 手动替换*cwxxx<Esc>n. nn....
2019-09-12 11:57:44
76
原创 video-react 简单使用
1 后端实现服务@GetMapping("/downloadFile/{fileName:.+}")public ResponseEntity<Resource> downloadFile()2 前端调用/downloadFile/xxx.mp4见官网：https://video-react.js.org/components/player/...
2019-09-12 11:49:05
5937
2
原创 jmeter初探
因项目需要，简单了解下性能测试工具。Apache JMeter.1 加载pom依赖ApacheJMeter_core，ApacheJMeter_components，ApacheJMeter_http，junit2 配置jmeter.properties3 public static HTTPSamplerProxy createHTTPSamplerProxy() {...
2019-07-18 13:32:31
409
原创 无约束正项式几何规划
对于优化问题：min y=sum{ci*xi^ai}s.t. x>0写成标准形式：sum{cj*prd{xi^aij}}将相应的系数和置零,加上和为1，解之即可。例：y=60x1^(-3)x2^(-2)+50x1^3x2+20x1^(-3)x2^3即：p1+p2+p3=1-3p1+3p2-3p3=0-2p1+p2+3p3=0有唯一解，说明原问题有最...
2019-07-05 16:50:12
477
原创 概率图的应用
利用概率图做变量消除The junction tree algorithm1 画出有向图，连接父节点2 有向图化无向图3 三角剖分4 团算法
2019-07-05 16:28:24
543
原创 费曼的话
科学发现事物的具体方法，从所发现的事物中产生出来的知识。发现一事物后可以做的新东西或创新事物的过程。50%的内容为发现了什么东西，50%还有什么可以做/正在做通俗的科学也含有技术。特点：应用。做事能力本身是有价值的。不断尝试新的解决方案就是解决一切问题的途径。科学活动就是一次巨大的探险。...
2019-07-05 16:20:40
150
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人