柒的方向

转载 3大领域，4大方向，做好数据分析岗位的职业规划

最近有不少同学在后台问我数据分析的职业发展相关，这里先列一个简易大纲。它更多是以我所在的互联网行业展开的。入门和职业规划应该从两个角度考虑：领域和路线。领域是不少新人常忽略的要素，其实数据分析不会脱离业务存在。你进入哪个行业，很大程度会决定你初期的技能树和技能点。譬如金融领域的风控模型、营销领域的生命周期、广告领域的点击率预估等，各有各的特色。如果是一位应届生，不妨多了解自己感兴趣的领域，和专业相...

转载 公司为什么要融资上市？

这里面涉及到两个概念，即融资和上市，让我们先来理理这两者之间的逻辑辩证关系。其实根据我们财经栏目的观察和调研发现，目前市场上许多人对上市这件事有着十分魔性的认知，小 A 觉得上市前融资轮次越多越好，小 B 认为上市后就是为了圈钱，小 C 觉得 IPO 的速度越快越好，小 D 认定像胡玉美那样坚决不上市的企业才是好公司······在此，我们先来就融资和上市的整个过程做个简单说明：

原创 简单web交互——python bottle

server.pyfrom bottle import route, request, runimport jsonfeedbackdata = {'status': 'ok', 'data': 'I received the value'}@route('/getmsg')def start(): radar = int(request.query.radar) ...

原创 python数据可视化——echarts

from pyecharts import Bar, Pie, Scatter, Gauge, HeatMap, Funnel, WordCloud, Line, Grid'''attr = ['衬衫', '羊毛衫', '雪纺衫', '裤子', '高跟鞋', '袜子']v1 = [5, 20, 36, 10, 75, 90]v2 = [10, 25, 8, 60, 20, 80]bar...

原创 机器学习-贝叶斯算法

1、 data_handler.py from load_data import From_fileimport pandas as pddef Data_disperse(data, disperse_col, money_split_rule): money_split_str = [] money_distribute = [] money_typ...

原创 python描述性统计分析

1、 数值分析from numpy import arrayfrom numpy.random import normal, randintlist_data = [1, 2, 3] #使用List来创造一组数据array_data = array([1, 2, 3]) #使用array来创造一组数据normal_data = normal(0, 10, size=100)...

原创 python：csv写入mysql

import pandas as pdimport pymysqldef company_to_db(data_path, db_params): data = pd.read_csv(data_path, header=None, engine='python') db = pymysql.connect(db_params['host'], db_params['use...

原创 python爬取天眼查数据（未破解图片验证及ajax版）

import timeimport requestsfrom bs4 import BeautifulSoupimport lxmlimport jsonimport copyimport csvcompany_base_url = 'https://www.tianyancha.com/search?key='search_list = [] #搜索空间result_dir ...

原创 python获取ip代理池

from bs4 import BeautifulSoupfrom urllib.request import urlopenfrom urllib.request import Requestdef get_ip_list(obj):    ip_text = obj.findAll('tr', {'class': 'odd'})   # 获取带有IP地址的表格的所有行    ip_...

原创 python拼接多个结构相同的excel表

import pandas as pdimport osFolder_Path = r'D:\5-Python\拼接\source'          SaveFile_Path =  r'D:\5-Python\拼接\target'   SaveFile_Name = r'汇总.csv'               os.chdir(Folder_Path)file_list ...

原创 python邮件推送

import smtplib  #加载smtplib模块from email.mime.text import MIMETextfrom email.utils import formataddrmy_sender='source_mail_account'  #发件人邮箱账号，为了后面易于维护，所以写成了变量my_user='target_mail_account'  #收件人邮箱账号...

原创 python微信朋友数据分析

1、 功能微信朋友性别分布 微信朋友省份分布 微信朋友北京分布 微信朋友个性签名词云2、 源码：import itchatimport pandas as pdimport numpy as npfrom pyecharts import Pie, Map, Style, Page, Barimport osfrom PIL import Imageimport jie...

转载 爬虫需谨慎，你不知道的爬虫与反爬虫套路！

爬虫与反爬虫，是一个很不阳光的行业。这里说的不阳光，有两个含义。第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双...

原创 学习笔记@SensorsData

1、 如何使用SensorsData2、 如何梳理需求3、 为何采取事件模型：设计事件4、 简单的数据采集Demo

原创 SPSS案例集之随机数生成及其箱型

背景介绍：    今后将陆续推出SPSS的实战案例集，借此熟悉SPSS软件功能，并夯实统计学基础。随机数生成及其箱型图案例：    1、 通过SPSS生成100个符合标准正态分布N（0,1）的随机数        1） 设定SPSS变量（元数据）“编码”，并通过excel的sum（X+1）整理出一列“1-100”的数据，Copy至SPSS的“数据”中；旨在高速SPSS我要生成随机数的个数是100个...

原创 一张图读懂数据分析

原创 python实现顺序结构基本爬虫，爬取福利图片

Python安装1、  版本2.7，直接百度上下载即可2、  傻瓜式安装，记得勾选将python加入Path环境变量，不然一会儿还得手动配置3、  安装成功，来个helloworldPython代码1、  爬获校花网的基本代码import reimport requests respose=requests.get('http://www.xiaohuar.

原创 两张图秒懂Python版爬虫

得有一定的相关基础！得有一定的相关基础！得有一定的相关基础！具体python代码实现百度里一大堆，有库在手，天下我有，重在理解原理！具体python代码实现百度里一大堆，有库在手，天下我有，重在理解原理！具体python代码实现百度里一大堆，有库在手，天下我有，重在理解原理！爬虫主要难点在运用抓取策略提高效率和准确率，以及安全限制的攻坚战。

原创 几张图上手SPSS

背景介绍   数据分析的主要过程Spss在数据分析过程中负责的相应环节    工具永远都是工具，它只是个手段，咱们只需要学会上手，剩下的都交给具体应用场景实战即可；但说是几张图上手spss，也得读者有一定的基础，而基础更多靠自己，功夫在平时，本人也坚决抵制伸手党。数据录入纯数据ASCII文本文件/记录式文件

原创 大话融资与找工作

基础： 公司成长阶段——融资方式——出资方过程：大话融资 一般来说，融资轮次的划分为种子轮、天使轮、A轮、B轮、C轮、D轮、E轮等，但根据实际情况，有些项目也会进行PreA轮、A+轮、C+轮融资。不管是什么轮，其核心无非就是投资人投的钱多少问题，越往后融到的钱也越多。 现在的业界甚至戏称，新一代的融资轮次应该分为种子轮、天使轮、preA轮、A轮、A+轮、B轮、C轮、BAT轮、p

原创 数据及分析那点事儿

基础：这世上只有时间对于每一个人都是公平的，只不过从先辈身上延续而来以及自身的时间质量不一样。1） 万物都是数据，只是数据源的形式和数据获取的方式不同2） 万事都是算法，每个个体除去生来的不同，真正有区别的是思维方式，进一步反映到行为方式以及习惯例如：我们的形、色、闻、味、触五种感觉器官会无时不刻地抓取周遭环境的信息，再经过大脑的分析判断，最终再转化为对外界环境的行为；这种分析

转载 数据建模那点事儿

今天要说内容是建模。为啥我作为一个数学能力并不强的人要在这献丑讲建模的事呢？其实我的目的很简单，就是为了告诉大家一个事实：数据分析中的建模，并没有想象中那么高深莫测，人人都有机会做出自己的模型。第一部分：数据建模理论和逻辑一、从数据分析的定义开始维基百科对数据分析的定义如下：Analysis of data is a process of inspect

转载 一个数据分析师的自我修养

第一份数据报告的诞生因为在之前的回答里提到，建议希望成为数据分析师的知友们在学习过相关知识以后，做一份自己的数据报告，作为求职的敲门砖，展示已有能力。后来发现，我这个建议自以为干货，但其实犯了“给鸡汤不给勺子”的错误，很多人（>20个）发私信来问我报告到底怎么做……为了不违反我的人生准则之一——给鸡汤必须给勺儿，现在我就来帮初学者们梳理一下数据报告的制作方法。目录：一、