- 博客(30)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Flink Native Kubernetes 的部署demo
Flink Native Kubernetes 的部署Session 模式Application 模式
2021-05-10 15:31:02
666
原创 结合 springboot实现 grpc 的简单demo
最近有需要要用java 去实现grpc调用，就查了些资料，总算是跑通了，就做个简单的总结（ps：可能有不对的地方，欢迎指出） 概览grpc-lib部分pom.xml文件Greeter.proto 文件编译proto整个工程结构grpc-server部分目录结构（proto目录可忽略）pom.xmlGrpcServerService.java 文件，具体方法的实现Application.java，application.yml配置服务端口grpc-client部分目录结构GrpcClient.javaApp
2021-05-07 16:16:12
733
2
原创 ubuntu安装mysql
目录1、替换镜像源2、安装mysql帮助解决问题的参考文章最近得了一服务器，记录一下在上面的一些问题和操作，当作笔记了。1、替换镜像源刚申请下来的时候，安装一些东西还是下载笔记慢，还是要替换镜像源好使一些的。首先复制需要的镜像源# 1、备份自己系统的源文件sudo cp /etc/apt/sources.list /etc/apt/sources.bak1# 2、替换获得镜像源地址。将文件中的原有的内容替换成刚刚获得新地址sudo vim /etc/apt/sources.list#
2020-06-20 17:11:18
220
原创 whistle 在Android7.0以上手机的证书安装
目录背景解决办法-向手机安装系统证书（手机需root）参考文章背景最近在用Android7.0的手机进行whistle抓包，无奈按照官方文档安装证书后，并不能成功获取到内容。查过资料后，发现微信有类似的情况虽然我用的app不是微信，但估计也是这个可能吧，推荐一篇博文，里面有很多尝试的办法jb的测试之旅 听说安卓微信 7.0 不能抓 https?，大家可以根据自己的情况尝试一下呢。解决办...
2020-03-26 10:04:12
5907
1
转载 采用nodejs实现grpc的简单demo
参考文档 grpc的文档：http://doc.oschina.net/grpchttps://my.oschina.net/u/3860449/blog/2396031这里主要是参考文档实现的小demo，当作学习记录。项目基本组成，红框中是需要编写的文件，常规流程如下：1、编写protobuf文件：HelloWorld.protosyntax = "proto3";opti...
2019-11-18 16:15:59
3191
2
原创 推荐一款远程控制App---Core shell
在工作中总是会不断的去连接某台服务器，原谅我比较笨，记不住地址、用户名、密码啥的，每次都要去找小本本看，刚好看到公众号有推荐相关的软件–ssh shell（公众号原文），就去找了一下，好吧，我没找到…。但是， 我在app store中发现了另外一款，也可以保存账号密码的----Core shell。我也刚试用了一下，感觉还可以，因为我也只是看看日志呀什么的，所有足够了，要是大家有好的欢迎推荐呀～...
2019-09-12 13:44:40
1049
原创 mysql的安装 for mac
安装步骤下载安装映射改初始密码最近装数据库总是遇到谜一样的问题，这里就记一下装mysql的方法吧（用dmg镜像安装），主要装了两个版本，开始是8.0 后来发现版本太高，就重装了5.7的，两个版本步骤差不多，下载从mysql 官网下载需要的版本，这里选择dmg格式的安装跟着指导直接安装就好了映射安装到最后的时候，要记住生成的初始密码！！！！8.0版本要更智能些，在最后还有些设置...
2019-08-10 16:45:56
2074
转载 git提交操作--一个git小白的学习的记录
目录创建本地版本库：把文件添加到版本库中：将本地git库和远程github上新建的库进行绑定：创建和合并分支：当本地和远端存下冲突时，可以使用gitstash命令进行处理；多人协作版本回退：创建忽略文件.gitignore：创建本地版本库：1、到目标文件夹****** 下：利用git init 就可以将该目录变成git可以管理的仓库，且默认分支为master.这时候你当前testgit目录下...
2019-07-21 10:25:12
337
原创 dataframe数据处理用到的一些知识点
目录list转dataframe格式dataframe部分操作dataframe应用函数到某列或几列，df.apply()dataframe合并dataframe透视表dataframe在csv文件读取最近爬取数据整体是表格形式的，但后台数据是单条单条的，这里将结果利用list转dataframe的方式存在csv文件中，记录一下用到的数据分析的知识点list转dataframe格式impor...
2019-05-20 15:37:34
1791
原创 python爬取CSDN指定博主发表的文章信息（代理的应用）
刚学了代理池的应用，这里就用在爬取CSDN指定博主的博客上。主要是在访问失败时则更换代理。爬取CSDN的页码时，没法用requests直接取得，这里用了selenium获取所有页码数，为避免中间出现错误，这里就没用selenium进行点击操作了，而是构造页码的url，逐页进行获取解析，并存入数据库。主要思路如下：代码如下（部分注释写在代码里了~）：import requestsfrom r...
2019-04-25 22:47:19
327
1
原创 python爬取知乎热门话题及其回答（requests中session保持cookies的应用）
以python爬取知乎网页，一般搜索知乎后，需要登录后才能看到内容，所有在爬取时需要通过登录后才能实现。可以采用selenium进行操作，或者事先登录好后，保留下cookies，访问的时候带上cookies就行了。我这里采用selenium模拟登录，获取cookies后保存至本地，而后借助requests的session保持会话，保持cookies，同时用beautifulsoup进行页面解析。...
2019-04-18 18:08:31
4845
2
原创 python爬取boss直聘某职位信息(selenium+chrome的应用)
目录主要思路需注意的点待解决的问题整体代码主要是记录一下借助selenium实现数据获取。以boss直聘为目标网站，主要目的是爬取制定职位的相关信息，以csv形式存在了本地。主要思路利用selenium打开模拟浏览器，访问boss直聘url:https://www.zhipin.com/输入某职位，点击搜索在搜索结果页面，解析出现的职位信息，并保存存在多个页面时，跳转至下一页。重复步...
2019-04-16 18:31:22
3116
3
转载 Python效率工具 | SimpleHTTPServer / http.server
用于文件传输，可以让同事自动下载，无需自己上传了python3下，移到指定文件夹，执行 python -m http.server将自己的IP和端口好告诉同事，对方就可以自己进行下载了。从工作原理角度来说，执行上面的命令，只是启动了一个Python内置的web服务器。如果当前目录下存在一个名为index.html的文件，则默认会显示该文件的内容；如果当前目录下不存在这样一个文件...
2019-04-10 12:18:43
514
转载 xpath操作表达式及在scrapy中的应用
目录最常用的路径表达式：谓语选取未知节点XPath 轴功能函数xpath在scrapy，spider提取元素及属性定位的应用XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。通过在路径表达式中使用“|”运算符，您可以选取若干个路径。最常用的路径表达式：表...
2019-04-02 23:26:52
279
原创 python -事务的典型案例-模拟银行转账
在进行MySQL操作中，有些业务需要进行一系列连续操作，要么全部成功，要么全部失败，需要对数据进行回滚。多条语句作为一个整体进行的操作称之为数据库事务，具有A（原子性）、C（一致性）、I（隔离性）、D（持久性）四大特性。银行转账就是一个典型的事务。银行转账过程中可以分为以下操作：1、 检查转入、转出账户是否存在，2、转出账户金额是否足够，3、 转出账户扣减金额，4、转入账户增加金额，5...
2019-04-02 17:41:38
870
原创 python 借助pymysql操作MySQL及占位符问题
文章目录pycharm操作MySQLSQL语句编写（占位符的应用）pycharm操作MySQL在python3中，主要借助pymysql进行MySQL操作，简单记录下基本的操作步骤：操作流程一般分为3步：1. 建立数据库连接；2. 执行操作（查询、插入、更新、删除等）3. 关闭连接这里直接贴代码了，用函数的形式进行表述了：import pymysql# 数据库连接def c...
2019-04-02 14:00:51
12936
4
原创 【剑指offer】丑数的查找 python
自己看了很久，没有想出来，借鉴了下其他人分享的思路，总算是理解了。题目：把只包含质因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含质因子7。 习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第N个丑数。思路这里主要有两条思路：1、按照顺序依次判断整数是否为丑数，条件（因子只有2，3，5），这种方法费时比较长，不是首选；2、依照丑数的定义...
2019-03-22 18:49:41
900
转载 实用SQL语句集合
汇总一些学到的SQL语句，作后续学习备用：1、插入或替换背景：如果我们希望插入一条新记录（INSERT），但如果记录已经存在，就先删除原记录，再插入新记录。此时，可以使用REPLACE语句，这样就不必先查询，再决定是否先删除再插入：...
2019-03-22 15:55:14
187
转载 Pillow 基础入门学习& ASCII码
在学习【廖雪峰的官方网站】的Python教程中，简单学习了利用pillow包绘制图片，这里就直接贴代码了，当作学习记录# -*- coding:utf-8 -*from PIL import Image, ImageDraw, ImageFont, ImageFilterimport randomdef rand_char(): """利用ASCII值创建随机字母""" ...
2019-03-21 17:51:04
218
转载 python位运算部分知识点
目录位运算常用运算符位运算的应用位运算常用运算符位运算常用的运算符包括&（按位与）， | （按位或），~（取反），^（按位异或），<< (有符号左移位) ，>>（有符号右移位）。用于二进制运算中运算符运算规则按位与 &只有当相应位上的数都是1时，该位才取1，否则该为为0按位或 I只要相应位上存在1，那么该位就取1，均不为...
2019-03-19 17:11:17
384
原创 Pycharm中运行程序在Python console中执行，不是直接Run
更新了一版Pycharm后，发现运行新建的.py文件时，直接在Python console中运行了，没有在控制台直接运行了。在网上找了一些文档，发现都是对现有文档进行修改，但是新建.py文件后，还是在Python console中运行，需要再重新设置一次。再各种尝试后，找到了从根本上解决问题的答案 ^ _ ^1、进入修改页面：打开菜单栏run->edit configurations2...
2019-03-05 15:37:36
17814
12
原创 Python应用 pyecharts画中国地图
这段时间在爬取了杭州某网站发布的二手房信息，在作图的时候发现在地图呈现上还是有欠缺，这里就把用到的贴出来，提升一下记忆。 之前有接触用Basemap绘制地图，但是在涉及到中国行政划分上感觉不是很方便。Echarts在数据可视化上应用比较广泛，这里采用pyecharts生成echarts风格的图表。环境：pycharm；python3.6；1、安装- pycharts包的安装 pi...
2018-07-14 14:54:51
20768
1
原创 Python 中 （&，|）和（and，or）之间的区别
（&，|）和（and，or）是两组比较相似的运算符，用在“与”/ “或”上，在用法上有些许区别。 （&，|）和（and，or）是用来比较两组变量的，格式基本上是：a & ba | ba and ba or b如果a，b是数值变量， 则&， |表示位运算， and，or则依据是否非0来决定输出，&， |：# 1&2，2在二进...
2018-06-30 17:41:16
454696
52
原创 雷达图的绘制 (Python，matplotlib)
在学习K-means聚类分析的过程，发现在客户特征分析图上的代码展示是没有的，所以这里对分析得到的结果进行雷达图的展示。 1、原始数据： 数据共有5类（customer0–customer5）,数据标签共5个（L, R, F, M, C） 2、绘图：def result_pic(result): """ 雷达图的绘制 :param result: 分类数据 ...
2018-06-30 15:44:26
18837
8
原创 iloc, loc, at, iat的应用
在padas的应用中，有多种切片的方法，针对标签和位置，有不同的应用。直接取行或列，借助loc, iloc, at, iat，其中loc，iloc既可以取多值，也可以取单一数值，而at，iat只能取单一数值。loc, at按 标签名 读取数据， iloc，iat按 位置 读取数据。1、构造数据 dataframe2、单纯取列或行 3、loc， 行或列只能是标签名...
2018-06-29 16:20:25
3773
原创 jieba分词 简单实现步骤
jieba分词在处理中文文本分析是比较常用的工具，这里主要是基于自学后得到的实现文本jieba分词的常用流程： 加载自定义词典——>获取关键词——>去除停用词——>数据处理1、加载自定义词典 jieba分词自带词典，可能不能包括一些专业词汇，会造成分词结果不准确，可以通过自定义词典解决这一问题。# 加载自定义词典jieba.load_userdict("newdi...
2018-05-26 10:50:24
9687
2
原创 pandas 对数据的读取和存储（学习笔记）
在学习数据分析的过程中，发现一般流程是将存储的数据文件通过pandas工具包写入成dataframes格式后再进行一系列处理，所以就简单总结了下通过pandas读取csv,MySQL两种文件格式的数据，以及再将dataframe格式的数据分别储存到csv/json/MySQL中。 1、pandas读取csv文件 采用pd.read_csv()进行数据读取，详细参数文档可以参照 http:/
2018-02-03 15:40:36
25457
1
利用Python进行数据分析（中文版）
2018-06-12
pyproj-1.9.5.1-cp36-cp36m-win_amd64.whl
2018-05-21
basemap-1.1.0-cp36-cp36m-win_amd64.whl
2018-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人