- 博客(17)
- 收藏
- 关注
RSS订阅原创 tableau技术小积累
背景地图又忘记怎么操作了，折腾了一个多小时才弄好，还是有一些注意点的：背景地图：tb一个极好的功能点：1，最好使用英文名且命名的时候点击图片：2，上面的xy和实际对应xy要对调3，想要插入全部图片，必须数据表里有四个角的数据，这样整张图才能延展开。...
2018-12-17 23:18:23
227
原创 GTO与OKR工具选择
学习用计算机编程的方法来理解管理日常生活和工作，例如抽象、类（父类、子类）、变量、属性和方法、面向对象和函数式等。通过这些理解 统筹 管理需用gtd工具（但现在发现基本就是一个note功能就够 因为变化太快 不过这并不能否认gtd工具的价值，相信后面必定会有帮助）。估计下周产品就ok了，运维这个产品可不简单，需要团队做，但是在一线城市招人租办公室绝对是很吓人的，主要是成本太高了！于是决定到周边...
2018-08-25 19:35:33
7393
原创 管理小笔记
近期完成了一个线下项目，回头来看就是做了一个mvp，人很少但是做成了。总结下来关于管理的几点：管理分类：管事还是管人？越大的领导管人的部分越多，越低级别管事越多，一般来说能够纯管人又不懂业务的领导屈指可数。另外需要注意的是领导越大距离具体业务越远也越难能看到真相，这时候也从消费者的角度去感知，例如消费比较、例如网络搜索具体业务这些。2进制：管理就是不断加法然后减法的过程，长期是...
2018-07-08 10:18:03
339
原创 ui产品小结 - 包含小程序 前端等
做产品遇到一些问题，现在搞清大体框架了，做个小结：master必须全程跟踪项目，关键是要操心，划分清晰工作界面！这次的前端就很矫情装傻，后面要找一个好的前端。产品做起来越到细节越麻烦，真的是看起来无比简单的东西要想做好：体验好、流畅、业务清晰真的是复杂的工作，真的是不断做减法，打标签的工作这次纯按照规则来了，如果是手动搜索又不知道要多久。估计数据全部做好要这个月底了！先入数据库，那时开...
2018-04-12 23:35:18
416
原创 做产品延伸的方法论
总结一下学习的方法论，编程思想的是不是可以说是函数式编程？各种专业本身知识体系是一个函数，快速学习各种专业的又把这些再次抽象出来，其实之前一直想写一篇，借着这次做系统遇到的问题整理出来。问题：此次做系统是自己投资，完全免费，因此预算有限，找了一个后端，这个后端推荐了一个前端，工作划分是前端完成原型、coding这些，但原型一出来发现三大问题：1，界面几乎没有美感，而且主题完全不统一。 2...
2018-04-12 18:51:36
511
原创 路漫漫其修远矣 - 关于内容解析 与 存储
用scrapy框架后，很多访问问题解决了，css解析也非常方便，于是要将之前关注的一个网站爬下来放到mysql里面，然后用tableau接上，这样就可以长期自动监测了。但过程非常坎坷，一直到现在也没有解决问题，但经过探索，好在发现了问题。问题描述：爬取一个网站，一个页面却多次返回数据，并且无法写入mysql，但是放到json工具读取后发现没问题。于是不知道什么情况，甚至认为mysql的问题。...
2018-04-04 12:12:16
237
原创 爬虫练成之 analyst 和 engineer 技术与业务
写这篇文章是因为近期研究技术遇到了一些问题，感觉应该定一个边界：研究技术到底是要成为engineer还是analyst，这是一个根本问题。同时也放弃了对excel的怀疑！analyst是要获取洞见，数据是必要的一步，凡事总不能完全靠别人，自己懂一些数据获取的技术是非常必要的，并且一旦有了成熟的数据模型，也非常方便和工程师交流，非常清晰告知工程师自己想要什么（ps：这次做系统，前端告诉我分享页面...
2018-04-01 18:37:49
279
原创 好东西积累起来
关于代理IP app爬取 其他工具ip代理池 ：https://github.com/Python3WebSpider/ProxyPoolCharles 从入门到精通 - 唐巧的技术博客：https://juejin.im/entry/56488b7660b20fc9b9c2f0beFiddler抓包简易教程： https://www.jianshu.com/p/9e05a25227...
2018-03-22 21:17:04
259
原创 sqlite3 unicode转中文
用pyspider爬数据，默认的sqlite3数据库内都是中文显示，可是安装了datagrip之后发现全部变成unicode码了。于是将数据导出csv，技术朋友再次出手用python搞定了大家都知道中文编码坑比较多，这个记录下来#转文件还是用代码最靠谱import pandas as pdimport jsonobj = pd.read_csv('filepath/1.csv')...
2018-03-13 08:38:48
1390
原创 scrapy积累
构造url ：和pyspider一样方便，具体实现用parse一层一层解析url 到最终一层之后爬取# 使用带数字的url 用列表表达式start_urls = ['http://www... /p' + str(x) for x in range(3, 6, 1)] # 使用翻页，基本上属于解析范畴，因为要找到翻页的按钮 next = response.css('.n...
2018-03-10 15:46:30
234
原创 pyspider积累
构造url配置：crawl_config = { "headers" : headers, "timeout" : 1000, "cookies" : Cookie "proxy" : 192.168.1.1:8888 }# 示例 crawl_config = { "headers":{...
2018-03-10 15:28:45
393
原创 爬虫学习 pyspider和scrapy小结 / 与其他工具对比
从火车头了解了翻页与正则表达式带入了爬虫原理、后python的urllib和requests彻底梳理了爬虫过程，之后引入phantomjs chromedriver这些彻底解决了爬虫问题，但是这些太琐碎，而且反爬虫越来越厉害，必须升级爬取武器到专业级别。用python实现了基本爬虫之后，相比火车头工具，再次体验到了代码在灵活度和速度方面的魅力（之前用python用正则表达式处理文本数据速度是e...
2018-02-12 16:03:25
5333
原创 简单粗暴彻底解决selenium+chromedriver无法定位各种元素的方法
解决各种webdriver.find_element定位不准的问题
2017-02-24 19:54:50
30890
5
原创 拥抱开源 加入分享 贡献小力量
MARKDOWN一下先作为一个对数据感兴趣的业务人员，之前一直觉得研究一下技术只是暂时的事情，搞定了就完全回归业务，后来发现每次遇到的问题都是冰山一角，要搞定真是不容易，查阅大量资料过程中越来越感受到coders的无私与分享精神的伟大，同时在编写代码过程中发现coders其实都是高人，首先需要对问题抽象并精准定义，这就是对事物本质的完全理解，之后有大局观去写程序入口 定义class 写函数，最后就是
2017-02-24 14:37:12
319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人