4 mtj66

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 6k+

python高级代码块

# Get number of unique entries in each column with categorical dataobject_nunique = list(map(lambda col: X_train[col].nunique(), object_cols))d = dict(zip(object_cols, object_nunique))# Print number of unique entries by column, in ascending ordersort.

2020-08-20 21:11:12

docker 安装社区版gitlab-ce存在的问题

# docker 安装,gitlab镜像拉取步骤跳过docker 拉取镜像之后,后台启动运行gitlab,这里采用的是中文汉化镜像,建议使用社区镜像,原汁原味更好.docker run \--hostname 172.0.1.46 \--detach \--publish 8443:443 \--publish 8090:80 \-p 10085:22 \--name gitlab \--restart unless-stopped \-v /mnt/gitlab/

2020-06-01 16:19:45

github or gitee or gitlab

1. githubManaging access to your personal repositoriesYou can give people collaborator access to repositories owned by your personal account.If you're using GitHub Free, you can add unlimited collaborators on public and private repositories.现在使用免费.

2020-05-18 20:26:20

python采用进程池消费队列消息

# 从pdf文件转文本是一个cpu以及io负载都很高的过程# 为了提高文本的转化效率,采用多进程提高转化效率# coding=utf-8import multiprocessingimport timeimport pdfplumberimport osmin_pdf_dir, max_pdf_dir = "2017-01-03", "2017-01-31" # []base...

2020-05-07 13:55:05

hive分区锁问题导致insert overwrite table 卡死

hiveshow locks ;可以展示表以及分区级别的锁show locks table_name; 展示表级别的锁当分区写数据异常失败之后,采用unlock table table_name;并不能解决insert overwrite table partition卡死问题采用show locks,结果如下示例:7 db_name@table_name S...

2020-05-06 18:36:40

python 如何进行元组排序

python list 可以直接进行sort排序,默认是按照从小到大进行排序.现在有个需求:要按照元组的第一个元素进行升序,但是按照第二个元素进行降序如下是个取巧的办法,这里的100根据数值范围进行调整,思路是选择一个函数,对第一个元素是增函数,第二个元素是减函数# sorted(L)L = [(0, 2), (0, 12), (1 , 66), (1, 88)]L.sort(key=...

2020-02-03 09:00:06

Failed to read artifact descriptor for org.apache.XXX

[ERROR] Plugin org.apache.maven.plugins:maven-surefire-plugin:2.18.1 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:maven-surefire-pl...

2019-11-26 15:16:04

python stock learn

使用scikit-learn进行股票分析:https://blog.csdn.net/freewebsys/article/details/78973483LSTM对股票的收益进行预测(Keras实现) :https://blog.csdn.net/asialee_bird/article/details/89372950PythonStock(8):使用优矿web学...

2019-09-06 11:08:52

pandas如何发现某列有异常值

在做pandas数据处理的时候,总是报错NaN,infinit,null等错误,但是不知是哪一个字段有问题,需要逐一排查这里的isinf是判断是否是无界限的,比如除以0的情况,还有就是isnan判断是否非数值.# np.any(np.isnan(postive_data))# np.all(np.isfinite(postive_data))for col in postiv...

2019-07-17 10:03:31

pandas 实现sql 多行转多列

posD.head(15)id hour labelPo 0 595941207920 0.0 27 1 595941207920 2.0 19 2 595941207920 4.0 22 3 595941207920 5.0 19 4 595941207920 6.0 2...

2019-07-07 22:09:55

clickhouse docker 化部署

mkdir /data1/superset cd /data1/superset git clone https://github.com/amancevice/superset.git cd /data1/superset/superset/examples/sqlite mkdir superset # 这个是SQLLite的数据文件,映射到Docker内部...

2019-06-12 20:23:21

spark history server 单独部署,作为微服务提供日志服务

场景:在spark history server部署的时候,一般在生产机器上,但是开发,或者是测试的时候,如果要做网络隔离,你就无法看到生产上的日志了,如果开放VPN访问生产集群,也是可以的,但是现在不开放了,如何解决查看spark日志的问题.打开history server的源代码:org.apache.spark.deploy.history.HistoryServer看个究竟....

2019-06-06 15:41:59

authorize.AuthorizationException: User: livy is not allowed to impersonate

部署参考 livy安装:https://cloud.tencent.com/developer/article/1349537此外需要在hdfs core-site.xml 配置如下代理: <property><name>hadoop.proxyuser.livy.groups</name><value>*</value>&l...

2019-05-31 18:20:32

CM分发安装部署Zeppelin后无法启动

CDH 6.2.0 Zeppelin 安装部署编译 zeppelin parcels 参考:https://cloud.tencent.com/developer/article/1349543部署参考 livy安装:https://cloud.tencent.com/developer/article/1349537补充:重启CM Service monitor,否则安装的livy以...

2019-05-31 15:01:16

Error response from daemon: Get https://registry-1.docker.io/v2/: proxyconnect tcp: dial tcp :443:

安装完docker,pullimage或者是dockerlogin都需要访问外网,本文是采用代理的方式.但是依然没有成功,看看官网的proxy的配置吧.HTTP/HTTPSproxyTheDockerdaemonusestheHTTP_PROXY,HTTPS_PROXY,andNO_PROXYenvironmentalvariablesinitsst...

2019-05-30 16:37:36

为啥看不到kylin on spark的日志?

为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢?在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志.先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Serve...

2019-05-29 16:34:12

hbase region 下线,region server也全部下线,hmaster 依然正常.

Call exception, tries=11, retries=31, started=48384 ms ago, cancelled=false, msg=Call to hzd-t-vbdl-01/10.253.76.213:16020 failed on connection exception: org.apache.hbase.thirdparty.io.netty.channel....

2019-05-29 11:34:06

如何更改cloudera-scm-server默认日志路径?

如何更改cloudera-scm-server日志目录 由于CM安装的所有的组件,路径默认是/var/lib或者是/var/log,如果系统盘太小的话,会一直有警告,看起来太烦了.有两种方式解决:1.直接选择抑制改告警2.在CM web ui所有能配置的/var/log 基本上我都修改了,甚至连 /tmp堆转储也都改了.手动清理历史日志/var/log/.上面...

2019-05-29 11:00:14

hbase bucket size 太小导致启动失败

Region server exitingjava.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apache.hadoop.hbase.regionserver.HRegionS...

2019-05-24 14:25:11

由于端口被修改导致的DataNode 重启失败

在配置kerberos认证失败后,打算恢复原始的状态, DataNode 重启失败, 经过排查发现错误日志如下,判断有可能是端口拒绝访问导致的,查看hdfs的 端口配置发现有两处变动的地方,使用恢复按钮进行恢复,之后重启即可.(此处是CM默认的配置,和HDFS原始的端口号不完全一致) Exception in secureMainjava.net.Socke...

2019-05-23 18:54:23

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享达人
    分享达人
    成功上传6个资源即可获取