- 博客(13)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 本地不小心【git checkout .】后的抢救措施！
背景今天不小心进错文件夹，把一堆没保存的代码checkout掉了，当时吓得我汗都出来了。。。。。。那可是攒了两周的代码。处理git没有后悔药了；好在Pycharm有历史记录功能，找了回来，感谢jetbrains；操作如下：在项目的文件夹上右键...
2019-08-26 10:40:49
7551
2
原创 将一份代码推送到两个git仓库
方式比较low，但是感觉挺方便的，自己记录下。 Python后端，所以集成开发环境用的是pycharm，以pycharm为基础操作。 1. 首先从远程把代码clone下来后，在本地存好。 2. 通过pycharm配置同步文件夹： 3. 然后确定，文件夹右键，选择”UPLOAD TO 上一步配置的那个名字”。 4. 然后将这个文件夹变成仓库推送到另一个Git仓库就可以了。 5. 另一份就...
2018-03-28 22:55:48
3818
原创 将数据量很大的CSV写入到HIVE
在kaggle下载了一个train.csv,用于测试公司平台决策树算法，该数据有一个label标签和784个特征列，名字如pixel0,pixel1…….pixel783。具体操作如下(pyspark下):from pyspark.sql import HiveContexthivec = HiveContext(sc) # 创建一个hivecontext对象用于写执行SQL，s...
2018-03-22 10:21:19
1590
1
原创 将csv或者Excel文件导入到hive
1. 将csv或Excel文件转换为文本，以逗号或者制表符都可以: xigua.txtid,color,root,stroke,venation,umbilical,touch,status1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是5,浅白,蜷缩,浊响,清...
2018-03-21 14:46:50
2837
原创 GitHub上想下载单个文件方法
找到该文件，单机raw,如下图: 然后会在网页打开该文件，复制URL，下载即可(如果是不可预览文件，会自动下载)。
2018-03-20 11:29:57
19010
原创 scp命令使用记录
# 拷贝本地文件到远程scp sample_multiclass_classification_data.txt johnny@johnny:/home/johnny/storage# 拷贝本地文件到远程并重命名scp sample_multiclass_classification_data.txt johnny@johnny:/home/johnny/storage/abc.txt...
2018-03-20 11:23:03
2675
原创 hadoop fs 常用命令记录
# 创建目录hadoop fs -mkdir /storage# 递归创建目录hadoop fs -mkdir /storage/johnny/data# 将服务器上的文件上传到hdfshadoop fs -put file_path hdfs_path
2018-03-20 11:17:43
702
原创 Python正则贪婪非贪婪
自己遇到的问题，小记一下！# -*- coding: utf-8 -*-__author__ = 'Johnny'import reline = "baaaaacfbsbdada"reg_str = ".*(b.*b).*"match_str = re.match(reg_str, line)if match_str: print match_str.group(1)...
2018-03-19 23:06:59
351
原创 python模块之ftplib
接上面两篇： UPDATE:下面两个链接是发布在简书的，感觉简书排版不好看，就迁移过来了。 python操作hdfs模块上传文件到HDFS python脚本—上传本机文件到远端(接上文) 由于与客户为未正式沟通，所以脚本再次发生变化，再次。。。（不能再客户机器安装东西，不能在客户机器跑脚本。。。）。随之，第三个脚本诞生。 此次脚本无需安装任何三方库，对方机器只需要开启ftp服务就可以。 ...
2018-03-08 19:00:07
476
原创 python脚本---上传本机文件到远端（接上文）
上一个脚本刚写完，第二天不用了。。。需要传到linux服务器上。。。So,下一个脚本开始：1. 这次选择用的paramiko模块pip install paramiko2. 整体思路遍历本地目录放入集合读取上次上传到linux的文件信息（existsfile.log）放入另一个集合两个集合取补集(好像叫对称差集吧)上传补集内的文件 远程目录必须存在，...
2018-03-08 18:57:36
3438
原创 python操作hdfs模块上传文件到HDFS
因为公司需要，需要写一个脚本将Windows server上的部分日志文件同步到HDFS上，每天定时启动脚本上传。 大体思路是，首先对比Windows server和HDFS上的是否一样，不一样就证明产生了新的日志文件，然后上传。折腾了一天才弄好。。。 系统： Mac（确切的说是黑苹果，电脑老掉牙了，用起来还是挺卡的，木办法，穷使我坚持住了，哈哈），如果是Windows，就是settings....
2018-03-08 18:50:38
6119
原创 python查看模块、对象用法的命令
1. 在终端内输入pydoc+模块名，也就是我们import的那些smallcaffdeiMac:~ smallcaff$ pydoc time#######################################Help on module time:NAME time - This module provides various functions to man...
2018-02-03 15:44:31
3598
BAT大牛elasticsearch搜房网实战
2018-03-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人