- 博客(64)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 作为年轻的研发工程师的一点思考
1、年轻的技术人员有几样东西很重要1）工程能力（如果可以的话，往上走，架构能力）2）数据结构和算法能力（如果可以，可以往纵深的算法方向走）以上两点基于一个认知，就是无论你是大数据研发、后端研发、算法工程师或者其他的，工程能力和算法能力是核心，是最经久不衰，具有持久生命力的。风口可能会换，但是这些能在风口中存活下来或者能迅速转型的东西是不变的~ 2、不同年龄段的发展大致路径算...
2018-12-20 14:35:38
414
2
原创 工作心路历程系列2：离职大公司入职创业公司心路历程
为什么写 写这篇博客文章目的，希望和大家一起探讨，互相借鉴经验，同时希望能給其他同学一些案例参考。大家有什么相关的经历或者问题可以留言，一起讨论，分享不同的观点，让每个人做出无悔的选择。大厂和小长更适合什么阶段的同学 大厂，因为资源、人力、以及行业地位的等聚集效应，做事成功率更高，做事也更有耐心一些，允许一定程度失败，因此能积累更多的经验、做事更专注探索更深，从而形成很好的基础，更适合...
2019-10-17 21:51:22
644
4
原创 hive系列-2.hive自带的三种排序UDF
Hive自带的几种rank函数综述1.ROW_NUMBER() => 用于纯数据排序，相同值取//全局唯一排序2.DENSE_RANK() =>常搭配PARTITION BY x ORDER BY y用于分组取（唯一）数据//连续排序3.RANK() =>//跳跃排序，重复几次排序跳几个具体样例初始化create table tmp.test_rank(id ...
2019-06-05 11:26:45
793
原创 python系列-1.json dumps的字符串多出空格处理
现象或者问题（json.dumps(dict)的结果，分割符号逗号、分号后面有空格字符）原理python的json库dumps函数默认分隔符后面都有一个空格解决方法json.dumps(dict,separators=(':',','))...
2019-05-28 16:19:43
1393
原创 hive系列-1.hive里踩的坑
新增字段&跑历史分区1、现象hive（笔者使用的hive版本为1.1.0）表新增加列，重跑历史分区数据，发现新增的列在老分区中取值都为NULL。如下示例1）初始化表//init tabledrop table if exists tmp.test;create table tmp.test( id string)partitioned by (dt stri...
2019-05-10 11:45:43
354
原创 《设计模式》：Chapter1 引言
1、设计模式的核心思想复用久经考验的前人处理某类问题的解决方案。2、设计模式四要素模式名称+问题+解决方案+效果举例：观察者模式+MVC架构将视图和模型分离设计+采用观察者模式使得视图的改变能影响模型对象，而这个对象并不需要知道那些被影响对象的细节+对象分离，提高系统灵活性和复用性。定义：是对备用来在特定场景下解决一般问题的类和相互通信的对象的描述。3、设计模式怎样解决设计...
2019-02-27 20:34:19
209
原创 leetcode: 1.两数之和
1、问题给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]2、两种代码（这里的O(n)时间复杂度解法，采用了空间换时间的方式）cl...
2018-10-11 20:45:00
258
原创 CSAPP:Chapter1.6~Chapter1.7
目录 1.6 Storage Devices Form a hierarchy1.7 The Operating System Manages the Hardware1)os’s two primary purposes2)Three main fundamental abstractions3)Processes1.6 Storage Devices Form a ...
2018-10-11 01:51:22
380
原创 CSAPP:Chapter1.5
1.5 Caches Matter1）Physical lawsLarger storage devices are slower than smaller storage devices.Faster devices are more expensive to build than their slower counterparts. 2)To deal with the pr...
2018-10-10 01:01:24
233
原创 CSAPP: Chapter1.3~Chapter1.4
1.3 It Pays to Understand How compilation System Work1)Reasons for why programmers need to understand how compilation systems workOptimizing program performance.Don’t need to know the inner work...
2018-10-10 00:15:15
234
原创 Mysql的数据存储不区分大小写
目录1 Mysql存储不区分大小写带来的影响举例2 解决方案2.1 建表时区分大小写2.1 建完表后，ALTER修改表字段区分大小写1 Mysql存储不区分大小写带来的影响举例1）hive里存储的字段是区分大小写的 2）mysql里存储，默认是不区分大小写的 3）当将hive表里存储在hdfs上的数据通过sqoop工具等灌到mysql里的时候就会出问...
2018-10-08 23:51:59
2543
原创 A Plan of Reading and Learning CSAPP(COMPUTER SCIENCE: A PROGRMMER'S PERSPECTIVE)
我是一个计算机从业人员和爱好者。大学毕业以后，繁忙的工作依然没能阻挡自己对计算机科学，对programming、新技术（ML/DL/DM，当然实际上并不是真的新技术）等的热爱。经过好朋友推荐，第一次看到CSAPP这本书的时候，就有了“征服”她的冲动，无奈由于各种原因一直未能如愿，一年过去了，看着厚厚的这一本，心中感慨万千。此书虽有1000多页，但一天3~5页，1年时间便可以浏览一遍，从...
2018-10-08 00:25:32
377
原创 CSAPP: Chapter1.1~Chapter1.2
In a sense, the goal of this book is to help you understand what happens and why when you run hello on your system.//The hello.c file.#include <stdio.h>int main(){ printf("hello, world\...
2018-10-07 23:58:55
235
原创 Github resources about MachineLearning,DeepLearning and relevant Interviews
声明：非利益相关，Git仓内资源非博主原创，来自github大佬，纯粹广而告之，侵删！1、内容截图2、Github地址直达：Github地址地址：https://github.com/imhuay/Algorithm_Interview_Notes-Chinese...
2018-10-07 00:37:16
197
原创 shell系列-4.Linux的echo和Macos的printf
想要实现的目标：在shell中输出换行等需要转义的字符。1.Linux实现方式$ echo -e "\n" 或者 printf "\n"2.Macos$ printf "\n"
2018-10-03 23:41:37
380
原创 shell系列-3.批量并行运行脚本
1、需求实现根据输入的起始时间和结束时间，以及设置并行度，来批量跑shell脚本。（前提是您的脚本是可以并行多进程的。）2、脚本RunHistoryByDateMultithread.shgit repogithub地址：https://github.com/hewin/shellacc ，欢迎关注，交流。3、用法：sh RunHistoryByDateMultith...
2018-10-03 23:33:35
1356
原创 sqoop从myqsql导数据import到hdfs数据变ascii码解决方案
1、mysql数据导入到hdfssqoop import \--driver com.mysql.jdbc.Driver \--connect jdbc:mysql://host/database \--username xxx \--password xxx \--table mysqltable \--target-dir /user/test/ \--delete-target-dir \结...
2018-04-17 23:27:20
305
原创 yarn系列-2.在线修改application队列
1、举例yarn application -movetoqueue applicationid -queue queuename2、示例yarn application -movetoqueue application_1522207436635_13070 -queue event
2018-04-17 23:10:33
2878
原创 sqoop系列-1.upsert
1、执行语句sqoop export \ --D mapred.job.queue.name=default \ --driver com.mysql.jdbc.Driver \ --connect jdbc:mysql://namenode/database \ --username xx \ --password xx \ --table saas_fraud_account_de...
2018-04-10 11:58:29
1595
原创 shell系列-2.后台运行任务几个常用命令
1.问题场景在远程机上运行一些任务，或者夜晚后台运行一些任务的情况，经常会遇到网络波动或者超时断连2.几个实用的工具1）nohup和&功能：会在后台执行./test.sh脚本（parameter1与parameter2都是可以传递给shell脚本的参数，也可以不传，看shell脚本本身），同时会在当前目录生成一个nohup.out文件，记录shell脚本运行日志>
2018-02-03 12:27:23
854
原创 yarn系列-1.yarn中查看jobs日志的两种方式
查看yarn日志的两种方式1.界面版1）点击application2）输入即可2.命令行版yarn logs -applicationId application_1517538889175_2550 > logs.txt通过vim进行查看logs.txt文件
2018-02-03 12:13:44
24046
2
原创 shell系列-1.cat实现文件合并
1.问题描述：如何将某个目录下所有文件合并成单个文件（前提是相同schema文件，不同的话合并也没多大意义，当然你想这么做也没啥问题。）2.解决方案1）举例从将hdfs上多日的数据汇总成一个单文件2）shell版本解决方案-首先，创建一个全新文件夹,并进入>mkdir workspace>cd workspace-将文件get到本地,比如
2018-02-03 12:03:50
2427
原创 sparksql-1.sparksql的schema和udf
1.spark根据schema读取json数据进行sparksql操作注意：读取json数据，特别是数据量比较大的json数据，需要定义schema，减少读取的数据量，不然加载太多数据浪费集群资源，而且太浪费时间，吃力不讨好。1）定义schemaimportorg.apache.spark.sql.types.{StructField, _}vallogSche
2018-01-31 11:18:57
816
原创 scala-1.RDD常见算子
RDD常用算子1.map(Func)val sentence = Array("Hello world ! I am an engineer ! good bye world!","good bye world !")val strdd = sc.parallelize(sentence)val wordcount = strdd.flatMap(line => line.split(" "...
2018-01-29 09:02:15
1050
原创 vi编辑器-1.vi快捷键
1.语句替换（编辑状态）:%s/old/new/g,全部替换1）old指被替换字符串，如果是特殊字符，需要用转义符号\，例如替换[为空字符串，则:%s/\[//g2）new指的是用来替换old的字符串2.定位到行(编辑状态)切到编辑状态，输入：，然后输入行数，enter3.vi光标定位(非编辑状态)-定位到文件头，gg-定位到文件尾，shift+
2017-11-14 22:11:39
261
原创 mysql数据库-1.文件导入mysql表secure_file_priv报错问题解决
1.问题Mac系统，将文件导入mysql表中，报错secure_file_priv选项未设置。执行导入文件到表mobile_attribute_jxl命令时：load data infile ‘/home/dm_mobile.txt' into table mobile_attribute_jxl fields terminated by ',' lines terminated
2017-11-14 22:05:00
5640
原创 sublime3注册码
亲测可用的sublime3的注册码。—– BEGIN LICENSE —–TwitterInc200 User LicenseEA7E-8900071D77F72E 390CDD93 4DCBA022 FAF6079061AA12C0 A37081C5 D0316412 4584D13694D7F7D4 95BC8C1C 527DA828 560BB037D1EDDD8C AE7B3
2017-11-02 16:36:27
413
原创 互联网金融-1.互联网金融用户、行业的一些特点
1.现金贷的用户规模1）用户量大：目前小额现金贷活跃用户3000万左右，渗透了3%左右;2）渗透率加快：201709月新增用户1240万，201606月新增用户344万；3）央行8.8亿征信人，只有3.8亿有过信贷记录，很多人是白户；4）中国信贷服务渗透率只有15%~20%，而欧美可以达到70%~80%，考虑到中国信用环境落后，就算渗透了提高到50%，也意味着这一用户群体至少1亿~
2017-10-31 13:36:15
738
原创 MacOS系统使用系列-3.Mac命令行命令学习
1.文件查找find命令$ find http://www.ruanyifeng.com/blog/2009/10/5_ways_to_search_for_files_using_the_terminal.html示例：$ find ~/code -name '*.py' | head/Users/chenwenxin/code/arcanist/scripts/br
2017-10-20 21:02:52
2020
原创 MacOS系统使用系列-2.Mac命令行提升效率工具thefuck
在mac的命令行操作时，是不是经常忘记一些命令，或者记错了命令，这个时候是不是想说一句fuck，好的，现在就介绍这款能让你爽翻天，还能提高效率的工具。首先感谢 @liamosaur tweet 大神开发了该工具 ，也要感谢我的同事介绍给我这款工具，我也是今天朋友介绍给我的，爽翻天，so，我不能自己一个人爽，要爽大家一起爽！1.thefuck工具简介thefuck是github上
2017-10-19 22:45:51
1996
原创 GIT使用-1.GIT常见命令学习
1.git clone说明克隆远端仓库中代码到本地仓库$ git clone 本地目录名是你设定的项目目录名，可选项，不设定会以默认名作为选项举例$ git clonehttps://github.com/hewin/machielearning-MLP.git MLP$ git clonehttps://github.com/hewin
2017-10-19 16:49:19
827
原创 MacOS系统使用系列-1.终端中自定义快捷命令
在使用mac系统时，特别是代码开发，经常要在终端中执行一些命令（比如cd到上层目录，以及cd到某个固定的目录），以及执行一些其他命令（比如查看某文件夹下的所有文件的内容信息）等。由于很多命令是反复使用，而且比较固定，这样就可以固化为一个环境变量，代表一类命令，具体操作如下。1.先定义固定格式的命令返回上级目录： alias ..='cd ..'定位到某个目录：alias cdd
2017-10-13 00:31:58
1171
2
原创 读后感系列-4.《黄金是怎样炼成的》徐小平/乔慧存
黄金就是这样炼成的：乔慧存从少年卖螃蟹、卖火柴、读马克思，到中专毕业后卖啤酒、考研读研、卖咨询、读MBA，十几年如一日坚持奋斗与追求，一步步走来。将优秀养成为一种习惯，他是像我们一样的普通青年，但他又是不普通的：有着极强的自制力和拼劲，不断努力学习提升自己，一次次实现目标朝着自己的理想迈进。乔慧存说，当时流行一句话：“懂技术、会管理，掌握门外国语”，就是复合型人才。他就是践行这句话，真正朝着三
2017-10-07 22:30:12
1500
原创 做好两件事：专业+人品
朋友说：“无论从事什么行业，只要做好两件事就够了：一个是你的专业，一个是你的人品。专业决定了你的存在，人品决定了你的人脉，剩下的就是坚持！用善良、专业和真诚赢取更多的信任。”
2017-10-07 22:18:25
706
原创 拒绝惯性加班，拒绝透支未来
加班，这是一个因人、因时、因境而定的话题。是否加班，因人而异。是指的是，所有认同加班和不加班文化，但是有自己合理理由和规划的人和想法都值得尊重，因为他们做出的是深思熟虑后的理性选择，是在平衡了利弊之后做出的决定。是否加班，因时而定。项目在攻坚期、紧急上限等场景加班是无可厚非的，但绝对不是一以贯之的长时间指令性或非指令性加班。不分时间的加班，一方面是自己对自己认知的偏差，另一方面是用人单位对
2017-10-04 00:24:17
578
原创 读后感系列:2.《看见》柴静（三）
今天终于花了半天时间，《看见》的剩下部分看完了，对新闻的真实和自我认知有了更深刻的了解。第15章 只听到青绿的细流声 梵高对他弟弟说过：“没有什么是不朽的，包括艺术本身。唯一不朽的，是艺术所传递出来的对人和世界的理解。”黄永玉回答柴静关于他人生哲学的问题，答：“寻常”。后来做奥运节目，柴静做了个奥运瞬间节目，采访一些运动员：为给孩子治病的高龄体操运动员丘索维金娜，连续两届
2017-09-30 01:33:11
2798
原创 工作心路历程系列2：离职大公司入职创业公司心路历程
这周会写这篇博客文章，希望和大家一起探讨，先写在这里，防止忘记了。大家有什么相关的经历或者问题可以留言，一起讨论，分享不同的观点，让每个人做出无悔的选择。
2017-09-28 00:51:50
943
3
原创 读后感系列3:《人类简史》尤瓦尔·赫拉利（一）
人们常说读史使人明智。《人类简史》就是这类书。下面是第1~5章，“认知革命”内容记录和读后感。 第一章，“一种也没什么特别的动物”。有一段讲述物理学，化学，生物学和文化由来将的特别清晰：135亿年前宇宙“大爆炸”宇宙的物质、能量、时间和空间形成现在的样子并依此形成物理学；之后约30万年，物质和能量开始形成“原子”和分子，而后形成“化学”；大约38亿年前，分子形成了有机体，成了“生物学”，
2017-09-28 00:41:13
3051
原创 读后感系列2:《看见》柴静（一）
今天阅读了柴静看见的部分章节，把里面的核心内容和思考写在这里，明天补齐剩下的内容和阅读后的整体感受。1.别当了主持人就不是人了新闻事实至少可以深入到知识，行业，社会三个不同层面。尝试全新的时空连线模式，总是做不好，人一点点换血，像白血病病人。刚开始模仿高人可以学其皮毛，学其套路，但是到大师要修炼内功，关注本质，方得本真，有所创新，与众不同。采访和报道新疆地震，真正接触到现实
2017-09-26 23:54:43
1992
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人