- 博客(68)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 亲测解决c++/cpp 20 sequence not ordered
问题定义情景说明，在使用c++ 20特性并进行2个数组merge的操作#include <iostream>#include <algorithm>#include <iterator>int main() { std::cout << "Hello, World!" << std::endl; int a1[...
2020-05-06 14:47:21
1586
原创 修改npm为国内源
这里写自定义目录标题修改npm为国内源修改npm为国内源npm config set registry https://registry.npm.taobao.orgnpm config set disturl https://npm.taobao.org/distnpm config set electron_mirror https://npm.taobao.org/mirrors/e...
2020-04-14 17:50:18
576
原创 霍夫圆全解析HoughCircles opencv python 应用
霍夫圆目标原理说明python接口说明Note重要提示Parameters指标说明目标use Hough Transform to find circles in an image通过霍夫变换找到图片里的圆们原理说明A circle is represented mathematically as (x−xcenter)2+(y−ycenter)2=r2 where (xcenter,...
2019-08-19 15:47:43
1145
原创 tensorflow-gpu 安装好查看、获取可使用的GPU设备
打印出可被TensorFlow（TF）使用的设备在ipython（python）中执行命令from tensorflow.python.client import device_lib as _device_libdevices = [x.name for x in local_device_protos if x.device_type == 'GPU']for d in devic...
2019-07-25 14:18:30
3037
2
原创 完美解决了 /sbin/ldconfig.real: /usr/lib/i386-linux-gnu/libGL.so.1 is not a symbolic link
问题/sbin/ldconfig.real: /usr/lib/i386-linux-gnu/libGL.so.1 is not a symbolic link问题分析软连接有问题解决步骤到所在路径查看cd /usr/lib/i386-linux-gnu/ls链接实际库到链接上（前实后快捷。我这里的是1.0.0，你也可以改成你对应的文件）sudo ln -sf /usr...
2019-07-25 10:27:28
5130
原创 MAC Sublime text 3 编辑 多行 内容 光标
MACcommand+a 全选需要编辑的内容，Command+Shift+L编辑多行接上述操作方向键移动光标可以多行光标编辑
2019-05-07 10:39:09
5241
原创 mac 安装neo4j之后输入默认密码neo4j后仍然 The client is unauthorized due to authentication
这里写自定义目录标题待解决问题解决方法待解决问题mac 安装neo4j之后输入默认密码neo4j后仍然 The client is unauthorized due to authentication解决方法打开neo4j desktop点击Manage进入管理界面选择settings修改dbms.security.auth_enabled=falseapply应用生效重新...
2019-03-28 15:00:51
3780
1
原创 HDP 3.1.0 HIVE使用tez 长时间无反应 成功解决
目录解决问题解决方法支持解决问题HDP 3.0.0 安装的HIVE使用tez，执行任务需要用到tez session时会找不到解决方法在打开后增加以下设置set hive.server2.tez.initialize.default.sessions=true;如需一直生效，在hive的配置文件hive-site.xml中添加&amp;amp;amp;lt;property&amp;amp;amp;gt; &amp;
2018-10-15 15:54:05
6228
原创 presto config.properties配置 discovery.uri
官方推荐配置如下coordinator=truenode-scheduler.include-coordinator=truehttp-server.http.port=8080query.max-memory=5GBquery.max-memory-per-node=1GBquery.max-total-memory-per-node=2GBdiscovery-server.e...
2018-09-18 09:19:54
2314
原创 Spark 应用使用spark laucher提交应用 替代spark-submit脚本提交应用
使用Package org.apache.spark.launcher来提交spark应用接口摘要接口 描述 SparkAppHandle 运行Spark应用的句柄 SparkAppHandle.Listener 获得句柄状态更新的监听器 类摘要类 描述 AbstractLauncher<T extends ...
2018-09-13 16:09:19
2174
原创 Hive 3.0.0 支持的 Spark 版本是2.3.0 另有全部版本的对应表
Hive on Spark 对应的Hive支持对应的Spark版本 需要到Hive源码的pom文件中去查看（几千行）Hive 3.0.0 支持的 Spark 版本是2.3.0 <spark.version>2.3.0</spark.version> 全版本对应表如下，请注意严格执行master 2.3.0 3.0.x 2.3...
2018-07-25 11:15:09
6460
1
原创 spark master 占用8080，手动指定特定端口
vim spark的conf路径/sbin/start-master.sh原来有如下一行：if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then SPARK_MASTER_WEBUI_PORT=8080fi将8080改为你所希望启动的端口号如8089或者其他start-master.sh 启动master进程（或者sbin/sta
2018-01-03 11:02:03
4047
原创 spark history server集群配置与使用（解决执行spark任务之后没有显示的问题）
在你的spark路径的conf文件中，cp拷贝spark-defaults.conf.template为spark-defaults.conf并在文件后面加上spark.eventLog.enabled truespark.eventLog.dir hdfs://master:9000/historyspark.eventLog.co
2017-12-21 10:33:07
4114
1
原创 python3 使用thrift操作hbase报错已经解决
使用python来做平台操作hbase安装 thrift 与 hbase-thrift的库运行代码报了如下报错的问题Traceback (most recent call last): File "D:/PycharmProjects/tianxiao/tiantian/fs_hbase.py", line 4, in from hbase import Hbase
2017-11-16 15:08:06
5613
10
原创 win10 系统 屏幕界面全部变成了黑白色解决 硬件 设备 驱动 没有坏
设置-轻松使用-color filters（颜色滤镜）-关闭这个的快捷键是win+ctrl+c，估计是使用复制快捷键ctrl+c时，碰到了win键导致的再按win+ctrl+c取消滤镜
2017-11-08 15:25:57
32055
6
原创 django 2.0 创建新应用 app 要做什么 怎么做 速记
比较新的版本老版本用户可以参考其他人的博客大部分命令都是在项目我的项目名字叫bigprotect的根目录下，即和manage.py同一级别的目录1. 创建一个新的app examplepython manage.py startapp example2. 在bigprotect下的settings的INSTADLLED_APPS中添加，即是把这个应用插到djan
2017-11-02 13:59:16
1694
转载 物联网＋区块链的解决方案 应用项目
1．IBMIBM是最早宣布他们对区块链的开发计划的公司之一，它在多个不同层面已经建立了多个合作伙伴关系，并展现了他们对区块链技术的钟爱。它已经发表了一份报告，指出区块链可以成为物联网的最佳的解决方案。在2015年1月，IBM宣布了一个项目——ADEPT项目，一个使用了P2P的区块链技术的研究项目。IBM还与三星专为下一代的物联网系统建立了一个概念证明型系统，该系统基于IBM的ADEPT（自
2017-09-27 14:01:08
4822
原创 Solidity的Function Modifiers（P.S. 0.4.17版本）
开门见山1. modifiers后面定义的是带有条件的一种状态先做一个提示代码示例中有throw之类都是老版本的智能合约文章，需要使用require代替2. 用的时候写在符合要求就需要执行的代码集前面，如果不满住后面（这个后面基本上是这个function的域）的程序将不会被执行解释与说明，官话带感Modifiers可以被用来轻松的改变函数的行为。
2017-09-22 15:12:37
1061
原创 解决和说明> eth.getCompilers() Error: The method eth_getCompilers does not exist/is not available
想把自己的智能合约部署在链上（一般是以太坊的私有链）很多例子是eth.getCompilers()返回solidity 或者配置solc然后会报Error: The method eth_getCompilers does not exist/is not available的错误因为1.6以后已经移除了这个方法 使用低版本的geth也不可取启动一个以太坊节点 (例如geth私
2017-08-22 15:40:51
6852
19
原创 解决scalac Error: bad option -make:transitive
关闭idea打开项目所在位置并cd .idea修改scala_compiler.xml文件删除掉参数行包含-make:transitive保存后退出编辑并重启idea打开项目
2017-08-02 10:56:32
8339
1
原创 区块链以太坊Solidity框架Truflle的migration配置ARTIFACTS.REQUIRE()
artifacts.require()用法类似于Node中require的用法。require的参数并不需要匹配sol文件的名字，而是匹配其中的合约名。注意一下下面有两个At the beginning of the migration, we tell Truffle which contracts we'd like to interact with via the artif
2017-07-27 15:58:17
2129
原创 Solidity安装
1. npm / Node.jsnpm install -g solc安装完成后还有一个solcjs命令行工具2. 二进制包Ubuntu里安装最新的稳定版（推荐）sudo add-apt-repository ppa:ethereum/ethereumsudo apt-get updatesudo apt-get install solc想装开发版本
2017-07-13 14:25:51
1019
原创 ORA-01704: 文字字符串过长成功解决
insert into table values(a,110,'很长的文字'); ORA-01704: 文字字符串过长! declare v_clob clob :='很长的文字'; begin insert into tablename values(a,110,v_clob); end; 隐式转换,oracle默认把字符串 转换成 varchar
2017-05-23 21:15:50
38332
3
原创 hbase数据导出导入，数据备份，数据迁移（仅解决非通信集群）
如题，只说明非通信集群，hbase版本是1.1.10，属于1.1.x系列，跨大版本这个事情另外讨论，参考官网。面对的环境数据量较大（就是比较小没有几个PB的意思），新老集群无法通信。二步解决，export/import大量坑，在此不表，选用手动方式。一、导出、导入数据找到你现在的hbase的数据在hdfs的位置hadoop fs -copyToLocal /hbase/data/
2017-05-11 10:32:42
2207
原创 hive启动报错，找不到spark的jar包们
类型下面的报错cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory编辑你的hive启动脚本vim /usr/local/hive/bin/hive更改116行的内容，我的版本是1.2.2的hiveif [[ -n "$SPARK_HOME" ]]then
2017-04-28 14:28:42
3509
原创 datax hbase writer versionColumn/rowkeyColumn相关配置的解释
官方文档很多地方不说人话 做个简单解释versionColumn描述：指定写入hbase的时间戳。支持：当前时间、指定时间列，指定时间，三者选一。当前时间 不配置指定时间列index：指定对应reader端column的索引，从0开始，value：需保证能转换为long,若是Date类型，会尝试用yyyy-MM-dd HH:mm:ss和yyyy-MM-dd HH:m
2017-03-31 17:08:50
2793
1
原创 presto最新版本0.172下载地址 2017-4-10 Facebook更新
同样的即席查询（ad-hoc）使用场景，技术选型上面主要对比了impala和prestoimpala是C家的产品，Apache在孵化中的项目，成熟度而言大优于presto但是impala对于CDH的生态在这个阶段依赖太强，性能上做过测试，两者差距不大，个人的应用场景主要是对hive数据的即席查询，所以有的场景需要用到presto国内大厂京东对presto的应用比较多，也提供了相
2017-03-31 11:00:55
3512
原创 使用presto调用hive
启动hive metastore服务hive --service hivestore &关于最后的一个&，告诉小白一下是后台运行的意思presto配置使用hive插件presto所在的文件中etc（自建）的catalog（自建）中hive.properties（自建文件）中配置connector.name=hive-hadoop2#这个连接器的选择要根据自身集群情况结合插件包的
2017-03-28 14:48:18
10540
原创 HBase使用已有的一套zookeeper
如果多个应用用到了zookeeper服务，可以使HBase使用集群中已有的一套zookeeper，不使用自己独占的zookeeper服务将conf里hbase-env.sh的export HBASE_MANAGES_ZK=flase官方原文如下：To point HBase at an existing ZooKeeper cluster, one that is not
2017-03-27 08:59:34
2220
原创 hbase更换版本作业
把新版本的hbase配置好打包成tar.gz scp分发给所有的slavessh到slave节点：ssh slave-hadoop-删除原来的hbasesudo rm -r /usr/local/hbase将配置的hbase解压到指定位置sudo tar -xvzf ~/Documents/hbase.tar.gz -C /usr/local/ 更改所有者为hado
2017-03-24 14:25:23
941
转载 Office 2016 Pro Plus \ Project 专业版 \ Visio 专业版 \ 64 位vol版本方便KMS小马oem
在使用上，零售版和批量授权版并没有区别，只是授权方式方面的区别，相对而言，VOL 版的更容易激活一些，其他并没有什么区别了。有需要的可以在下面下载：（以下均是 64位VL 版）版本：Office 2016 Pro Plus 64 位文件名：SW_DVD5_Office_Professional_Plus_2016_64Bit_ChnSimp_MLF_X20-42426
2017-03-22 09:09:51
20945
1
原创 kylin restful使用验证失败解决
curl -c /path/to/cookiefile.txt -X POST -H "Authorization: Basic QURNSU46S1lMSU4K=" -H 'Content-Type: application/json' http://:/kylin/api/user/authentication特别注意QURNSU46S1lMSU4K=是ADMIN:KYLIN的Base
2017-01-16 17:25:12
1029
原创 Kylin中常用术语
数据仓库Data Warehouse: a data warehouse (DW orDWH), also known as an enterprise data warehouse (EDW), is a system used forreporting and data analysis 商业智能Business Intelligence: Businessintelligen
2016-12-30 17:06:39
641
原创 spark 2.0.2 2.1.0 sparksql 支持 hive table 但是！版本有限制！
因为要对hive metastore及元数据库有链接操作，所有有一定的接口限制。只做了对0.12.0到1.2.1版本的hive的支持。用了hive2版本的抓紧换吧。
2016-12-06 16:22:08
4917
原创 ssh localhost “Permission denied (publickey,denfied)解决方案
看LOG我的系统是ubuntu 14.04.4 LTS $ grep sshd /var/log/audit/auth.log也可能是别的系统的 $ grep sshd /var/log/audit/audit.log 根据log的情况，再分别去网上去搜索答案。主要有权限、配置等几大类问题。更改之后记得先 sudo service ssh restart再尝试问
2016-12-02 17:16:43
4436
1
原创 更改pip源pypi为国内源(清华大学)，没有.pip（即linux ubuntu python pip 换源方法教程）
最新推荐方案：pypi 镜像使用帮助pypi 镜像每 5 分钟同步一次。临时使用pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package注意，simple不能少, 是https而不是http设为默认升级 pip 到最新的版本 (>=10.0.0) 后进行配置：pip ...
2016-11-25 15:03:01
22653
原创 spark 2.0.2 出现各种未知问题 不支持scala的最新版
spark 只支持scala 2.11.x，没有＋这个符号，高了低了都无法使用。
2016-11-25 08:46:41
3444
原创 (待完成)使用sqoop将mysql中的数据导入HDFS中，含sqoop配置与安装
hadoop提供了shell命令与java api接口来上传文件到HDFS中 本地的文件和文件直接使用shell命令就可以了 将数据库中的数据导入HDFS，需要调用使用sqoop工具，本质也是调用了HDFS提供的java api，并做了很多包括并行在内的很多优化。
2016-11-17 16:44:27
575
原创 ubuntu的系统 装载hadoop spark等配件 空间全部被占满了
如题，TAB补全或者touch mkdir时出现了系统没有可用空间的提示检查 /var/log/cups/有TB级大量 error信息删除后重新启动 问题解决可能跟长期没有关闭 spark-shell 等任务有关 有待后面研究解决
2016-10-31 15:21:09
3096
python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错
2017-11-16
代码如下 请问我函数里的打印长度为什么为0和main中的长度为10不一样
2015-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人