紫月风清-CSDN博客

原创从微信服务器获取素材资源-后台

背景:项目里需要做图片识别,图片来自于微信用户的上传为什么不让用户直接上传到后台服务器: 答:微信开发主要以网页开发的方式为主,但是微信对原生html上传并不友好,目前微信版本中只有iphone版本支持使用原生上传, 微信提供了一个微信上传图片资源的方式,微信js上传到微信官方服务器,并对所有机型都支持 (吐槽一下!支持一下原生不行吗?就非要这几张图片过个...

2019-01-07 15:15:22 991

原创网络爬虫-海量数据爬取(二)爬虫方案

简介:网络爬虫的主体爬取方案,主要有两种类型:一.url匹配正则分类爬取二.分层爬取分层爬取方案:网站的用途是给人去浏览查看,如果遍历一个网站的操作模式,你会发现网站是具有层级结构的,以某招聘网站为例,你想要查看该网站上的招聘信息,一种方式是通过搜索关键字去找到指定页面,另外一种是通过网站上的分类去查看指定的页面.第一种方式,我们并不清楚所有的关键字的类型,无法完成全量的爬取,对...

2019-01-07 14:03:39 2171

原创网络爬虫-海量数据爬取(一)爬虫的简要和技术要求

前言:随着网络的迅速发展,互联网成为了大量信息的载体.格式化,具有标签的数据信息是具有非常大的分析意义的,然而,靠人工是完成对的海量数据的采集代价太大,所以对于结构化的数据采集,使用爬虫是一个非常高效的选择技术储备:可以使用爬虫的语言有很多种,但在学习爬虫前,我们需要了解以下技术html:超文本标记语言html又叫超文本标记语言,也是我们互联网的浏览的第一环,我们需要的结构化数...

2019-01-07 14:03:03 6357

原创数据研究之综合评分(三) 多指标下的对比-寻找相似的城市

背景:城市的数据指标多种多样,人口数量,GDP,土地面积等等我们有的时候想要找相似的城市,例如人口体量大体相同土地面积大体相同连GDP也大体相同sql方式:计算在数据库当中进行在同一年内找相似城市SELECT area_codeFROM ( SELECT count(*) count, area_code FROM ( SELE...

2019-01-07 14:02:13 1006 1

原创数据研究之综合评分(二) 元数据管理-评分管理-权重管理

背景:在上一章节中,讲到了权重,评分,指标在开发当中,需求是多变的,权重占比可能产品一句话就产生了改变,最高评分和最低评分时刻会产生改变,指标的数量随时也可能增多为了满足需求的多变,需要设计一套合理的数据库表结构指标管理(元数据管理):指标表分类(父节点),子分类(父节点),指标项(叶子节点)可以看出一个典型的字典表结构表可以设计为id quota_code...

2019-01-07 14:02:02 734

原创数据研究之综合评分(一) 权重-评分-指标

背景:大数据火热的背景下,数据的深层次挖掘成了一个热门的话题,单一类型的数据.只需要看不同年份数值,即可以明白其含义,然而很多时候研究方向是多维度,多类型的数据,这个时候,无法在一张图表上更好的展示.这个时候就引入了评分机制,人为的为数据打分,然而不同类型的数据是无法互相影响的,这个时候我们就引入了权重这个概念.评分:什么是评分?以城市的GDP为例,2015年广东的GDP有7.2万...

2019-01-07 09:23:38 24297

原创后台查询到前台所需,数据结构转换的通用方法(三) 地图-色斑图的对接

背景: 前台所需的数据结构和后台sql查询的数据结构一般不一致,该情况就涉及到了数据结构的转换,往往很多接口的查询都是固定两种数据结构的转化,这个时候就可以把这种转化关系抽离成一个通用的方法,避免大量的重复代码前台数据结构:min和max用来确定色域范围{year:[2010,2011,2012],dates:[{data:[{areaName:地区名,areaCode:地...

2018-08-13 17:53:24 689

原创后台查询到前台所需,数据结构转换的通用方法(二) 动态增加返回字段-字段增强

背景: (一)前台所需的数据结构和后台sql查询的数据结构一般不一致,该情况就涉及到了数据结构的转换,往往很多接口的查询都是固定两种数据结构的转化,这个时候就可以把这种转化关系抽离成一个通用的方法,避免大量的重复代码(二)有时我们数据库中有很多原始数据列,每个数据列都是可以衍生出增速字段,增速=(今年数据-上一年数据)/上一年的数据,需求总是在变化的,你无法知道下一刻你需要增加的是...

2018-08-06 09:36:19 554

原创后台查询到前台所需,数据结构转换的通用方法(一) 结构转换

背景: 前台所需的数据结构和后台sql查询的数据结构一般不一致,该情况就涉及到了数据结构的转换,往往很多接口的查询都是固定两种数据结构的转化,这个时候就可以把这种转化关系抽离成一个通用的方法,避免大量的重复代码前台数据结构:{year:[2010,2011,2012],column1:[value,value,value],column2:[value,value,value]...

2018-07-30 10:15:28 675

原创二元数组嵌套循环算法实现

背景介绍:在一般项目中,我们提前知道需要循环嵌套的数组或者链表的个数,这个是非常容易实现的, 但是有时候为了完成适配性,我们不知道需要嵌套循环的数组个数.实现嵌套循环前提:循环使用的规则单一,例如,字符串拼接核心代码:public List<String> nestFoeach(Collection<List<String&g...

2018-07-26 10:47:15 807

a13871125303的博客