3 Smallcaff

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 20w+

本地不小心【git checkout .】后的抢救措施!

背景今天不小心进错文件夹,把一堆没保存的代码checkout掉了,当时吓得我汗都出来了。。。。。。那可是攒了两周的代码。处理git没有后悔药了;好在Pycharm有历史记录功能,找了回来,感谢jetbrains;操作如下:在项目的文件夹上右键...

2019-08-26 10:40:49

将一份代码推送到两个git仓库

方式比较low,但是感觉挺方便的,自己记录下。 Python后端,所以集成开发环境用的是pycharm,以pycharm为基础操作。 1. 首先从远程把代码clone下来后,在本地存好。 2. 通过pycharm配置同步文件夹: 3. 然后确定,文件夹右键,选择”UPLOAD TO 上一步配置的那个名字”。 4. 然后将这个文件夹变成仓库推送到另一个Git仓库就可以了。 5. 另一份就...

2018-03-28 22:55:48

将数据量很大的CSV写入到HIVE

在kaggle下载了一个train.csv,用于测试公司平台决策树算法,该数据有一个label标签和784个特征列,名字如pixel0,pixel1…….pixel783。具体操作如下(pyspark下):from pyspark.sql import HiveContexthivec = HiveContext(sc) # 创建一个hivecontext对象用于写执行SQL,s...

2018-03-22 10:21:19

将csv或者Excel文件导入到hive

1. 将csv或Excel文件转换为文本,以逗号或者制表符都可以: xigua.txtid,color,root,stroke,venation,umbilical,touch,status1,青绿,蜷缩,浊响,清晰,凹陷,硬滑,是2,乌黑,蜷缩,沉闷,清晰,凹陷,硬滑,是3,乌黑,蜷缩,浊响,清晰,凹陷,硬滑,是4,青绿,蜷缩,沉闷,清晰,凹陷,硬滑,是5,浅白,蜷缩,浊响,清...

2018-03-21 14:46:50

GitHub上想下载单个文件方法

找到该文件,单机raw,如下图: 然后会在网页打开该文件,复制URL,下载即可(如果是不可预览文件,会自动下载)。

2018-03-20 11:29:57

scp命令使用记录

# 拷贝本地文件到远程scp sample_multiclass_classification_data.txt johnny@johnny:/home/johnny/storage# 拷贝本地文件到远程并重命名scp sample_multiclass_classification_data.txt johnny@johnny:/home/johnny/storage/abc.txt...

2018-03-20 11:23:03

hadoop fs 常用命令记录

# 创建目录hadoop fs -mkdir /storage# 递归创建目录hadoop fs -mkdir /storage/johnny/data# 将服务器上的文件上传到hdfshadoop fs -put file_path hdfs_path

2018-03-20 11:17:43

Python正则贪婪非贪婪

自己遇到的问题,小记一下!# -*- coding: utf-8 -*-__author__ = 'Johnny'import reline = "baaaaacfbsbdada"reg_str = ".*(b.*b).*"match_str = re.match(reg_str, line)if match_str: print match_str.group(1)...

2018-03-19 23:06:59

python模块之ftplib

接上面两篇: UPDATE:下面两个链接是发布在简书的,感觉简书排版不好看,就迁移过来了。 python操作hdfs模块上传文件到HDFS python脚本—上传本机文件到远端(接上文) 由于与客户为未正式沟通,所以脚本再次发生变化,再次。。。(不能再客户机器安装东西,不能在客户机器跑脚本。。。)。随之,第三个脚本诞生。 此次脚本无需安装任何三方库,对方机器只需要开启ftp服务就可以。 ...

2018-03-08 19:00:07

python脚本---上传本机文件到远端(接上文)

上一个脚本刚写完,第二天不用了。。。需要传到linux服务器上。。。So,下一个脚本开始:1. 这次选择用的paramiko模块pip install paramiko2. 整体思路遍历本地目录放入集合读取上次上传到linux的文件信息(existsfile.log)放入另一个集合两个集合取补集(好像叫对称差集吧)上传补集内的文件 远程目录必须存在,...

2018-03-08 18:57:36

python操作hdfs模块上传文件到HDFS

因为公司需要,需要写一个脚本将Windows server上的部分日志文件同步到HDFS上,每天定时启动脚本上传。 大体思路是,首先对比Windows server和HDFS上的是否一样,不一样就证明产生了新的日志文件,然后上传。折腾了一天才弄好。。。 系统: Mac(确切的说是黑苹果,电脑老掉牙了,用起来还是挺卡的,木办法,穷使我坚持住了,哈哈),如果是Windows,就是settings....

2018-03-08 18:50:38

python查看模块、对象用法的命令

1. 在终端内输入pydoc+模块名,也就是我们import的那些smallcaffdeiMac:~ smallcaff$ pydoc time#######################################Help on module time:NAME time - This module provides various functions to man...

2018-02-03 15:44:31
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!