4 datadev_sh

尚未进行身份认证

暂无相关简介

等级
TA的排名 3w+

使用crontab时无法保存 errors in crontab file, can't install.

提示信息:[user ]$ crontab -ecrontab: installing new crontab"/tmp/crontab.S0Me6x":36: bad hourerrors in crontab file, can't install.Do you want to retry the same edit?Enter Y or N原因是cron表达式写错了。...

2020-04-02 15:57:38

mac 实用软件 截图 文本 压缩 日历

1.文本软件Windows的notepad++特别好用,mac上没有。比较下来UltraEdit_18.00.0.40比较好用。且能打开 几个G 的文件。其他的比如:① sublime 不适合打开超大文件。② Atom 打开大文件会有“可能会卡死”的提示,且打开稍慢。③ Brackets 超过16M不能打开。https://bbs.feng.com/read-htm-tid-1082...

2019-05-11 21:55:36

mac 开发使用技巧和软件

1.修改配置文件①先快速跳转到目录②再用UltraEdit打开文件,进行修改

2019-05-11 21:46:11

mac搭建大数据环境遇到的问题

使用brew安装hadoop,使用无法正常市用。最终是使用下载解压包的方式。问题1 Invalid HADOOP_COMMON_HOMExin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-so...

2019-05-11 21:38:31

SSH 免密登录

目录结构免密登录相关文件放在~/.ssh目录下,主要有4个文件。[root@linux1 .ssh]# pwd/root/.ssh[root@linux1 .ssh]# lltotal 16-rw-r--r--. 1 root root 393 May 21 04:48 authorized_keys-rw-r--r--. 1 root root 0 May 21 05...

2019-05-11 18:45:19

mac 无法使用 ssh root@本机

解决方法以root身份,chmod +w /etc/ssh/sshd_configvi /etc/ssh/sshd_configPermitRootLogin 的默认是 prohibit-password ,改成 yes 。如果只是去掉前面的 # 号,那么只有root用户可以ssh,普通用户不能ssh root@本机。...

2019-05-11 16:53:32

spark 日志级别设置为ERROR

想只显示ERROR日志。方式1代码里设置 val sc = new SparkContext(conf) sc.setLogLevel("ERROR")这个启动时,仍然会有月一些其他日志.方式2log4j.properties文件设置1.新建一个resource目录,在文件夹上右击,mark as reources root。2.新建一个log4j.properties...

2019-04-19 14:54:26

Linux安装软件 MySql Nginx

1.安装MySql卸载自带的检查linux是否带有mysql的安装包rpm -qa | grep mysql卸载centos6.5自带的mysql的包例如:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64方式一:yum安装①安装yum install -y mysql mysql-server my...

2019-04-18 21:02:30

解决mac使用 lightgbm 时 image not found

brew install cmakebrew install gccgit clone --recursive https://github.com/Microsoft/LightGBM ; cd LightGBM看自己电脑上,gcc是几。我的mac是8。 /usr/local/opt/gcc/lib/gcc/8cd /usr/local/opt/gcc/lib/gcc/xin:~...

2019-03-25 15:18:59

scala spark 的sc.makeRDD速度慢

原来的写法sc.makeRDD(HashMap.toSeq).sortBy(_._2).take(firstN)有两处这样的写法,5万条数据,计算了84分钟。11:52:56 13:16:10后来的写法ListMap.toList.sortBy(_._2).take(firstN)有两处这样的写法,172万条,不到两分钟计算完成。其他参数 .set("spark.d...

2019-03-14 13:56:11

mac搭建本地大数据开发环境

用root用户修改配置文件,没有root用户,先创建一个。例如:vi /etc/profile 保存退出: :wq!1.java一般安装位置/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home2.安装hadoop参考:https://blog.csdn.net/fox64194167/article...

2019-02-26 16:24:54

安装spark报错java路径不对

/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory正确的路径在/Library/Java/JavaVirt...

2019-02-26 16:07:43

mac windows 安装两个python环境

同时拥有python3和python2环境。anaconda下载地址https://www.anaconda.com/distribution/#download-section用anaconda图像界面操作# 安装好后,使用activate激活某个环境activate python34 # for Windowssource activate python34 # for Linu...

2019-02-15 15:13:25

opencv Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow,

opencv 报错Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow,原因:路径不能有中文。更多:https://blog.csdn.net/sinat_39150454/article/details/74315806https://stackoverflow.co...

2019-01-21 13:59:19

Ubuntu网卡设置连接网络

网络设置参考:https://blog.csdn.net/hurricane_0x01/article/details/51941941语言设置参考:https://blog.csdn.net/langshi_2011/article/details/78993781版本:ubuntu-18.04.1-desktop-amd64.iso1.设置固定IPvi /etc/network/int...

2019-01-10 16:42:58

Maven排除冲突依赖jar包

SequenceFile应该引入的是hadoop包下的,但是引入了flink包下的,因为flink里这个包版本较低,没有这个方法。所以报错。需要排除这个冲突的依赖。1.找出冲突包位置找到冲突包所在的父包。打开idea的 Terminal输入命令:mvn dependency:tree >> a.txt打开生成和文件根据文件显示,这个包在flink-java包下2....

2019-01-07 18:06:06

hbase集群不能启动

hbase集群不能启动,要么只起来某几台,要么是HMaster起来了,RegionServer没起来。原因:时间不同步。进行时间同步。如果能联网,就用 ntpdate -u cn.pool.ntp.org不能联网,就手动指定date 010319492019.30(月日时分年.秒)...

2019-01-03 19:58:51

设置Jupyter Notebook工作目录,4种方法都不行,所以改源码

直接看第5段。下面是思考过程,最终方法在第5段。更改Jupyter Notebook起始目录,网上说了4中方法,但是有时候行,有时候不行。有的电脑行,有的电脑不行。https://blog.csdn.net/qq_33039859/article/details/54604533然后想到修改源码的方法。1.找程序目录根据启动jupyter时的控制台信息,知道jupyter程序文件在An...

2018-12-01 17:22:05

hive分隔符\001和\011与\x03 用pandas切割时出现的问题

hive导出数据,想找一个分隔符。hive默认分隔符是“\001”。想换个其他的。在ASCII码对照表中找了下,决定用“\0011”。然后Hive能正常数据,到notepad++里面显示的字符和ASCII码对照表里的是一样的。但是在用“\011”切割时,切割不出,且字段首位不能有空格。后来用“EmEditor”打开这个文件,使用查找替换功能时,发现这个字符被显示为“\x03”。所以在...

2018-11-28 14:00:51

宗成庆《统计自然语言处理》 目录的思维导图

2018-11-22 14:16:07

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。