- 博客(74)
- 收藏
- 关注
RSS订阅原创 一个简单的UDP和TCP套接字编程例子（python实现）
参考《计算机网络：自顶向下方法》由客户端发送一串小写英文的字符串给服务端，服务端将其转为大写英文并发送回给客户端UDP套接字编程UDPClient.pyfrom socket import *serverName = '172.31.59.5' # 服务端ipserverPort = 12000 # 服务端端口号clientSocket = socket(AF_INET, SOCK_DGRAM) # 创建客户的套接字 AF_INET表示使用ipv4，SOCK_DGRAM表示是一个ud
2022-05-11 22:35:53
1191
1
原创 在yarn启动spark报错2.2 GB of 2.1 GB virtual memory used. Killing container.
在网上查到该报错说是设置的虚拟内存不够引起的。报错Current usage: 360.4 MB of 1 GB physical memory used; 2.4 GB of 2.1 GBvirtual memory used. Killing container.解释意思是说container使用的虚拟内存超过了设置的2.1G那么，问题来了，这个虚拟内存的数量从那儿来的呢？是从yarn-site.xml中配置计算来的，yarn.scheduler.minimum-allocation-
2022-04-30 18:12:16
2804
原创 解决使用MySql存储Hive元数据遇到的Unable to instantiate问题
schematool -dbType mysql -initSchema报错
2022-04-28 23:55:53
2944
原创 实例演示使用HiBench对Hadoop集群进行基准测试
HiBench一、简介HiBench 是一个大数据基准套件，可帮助评估不同的大数据框架的速度、吞吐量和系统资源利用率。它包含一组 Hadoop、Spark 和流式工作负载，包括Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、 Nutch indexing、Bayes、Kmeans、NWeight 和增强型 DFSIO 等。它还包含多个用于 Spark Streaming 的流式工作负载、Flink、Storm 和 Gearpump。
2022-03-28 13:02:36
2637
原创 案例逐步演示python利用正则表达式提取指定内容并输出到csv
背景和目标这次我想要处理的是一个txt文件，里面的内容是一台机器定时ping另一台机器的输出结果，想要提取出的内容是时间和rtt值，最后还要把结果输出到csv文件。1. 明确要提取的内容，编写正则表达式要提取的文本如下：第一步是要编写正则表达式，此时可以先不要读取数据文件。先复制一部分数据到str中，方便测试。编写正则表达式用到了re模块，因为每个人要处理的文本是不一样的，所以需要自己去学习基本的使用方法。re具体使用方法可以参考这篇文章：https://zhuanlan.zhihu.com/
2022-03-15 14:24:10
3562
原创 2月刷题记录
动态规划NC128 接雨水问题（雨水数量=装满水的容器面积maxArr-容器本身面积arr，而这个装满水的容器数组，规律是递增再递减）NC183 最长公共子数组（二维dp，相等则左上方的数+1，不相等则为0，还要用一个max来维护最大的长度）NC59 矩阵的最小路径和（从上方和左方取一个较小的dp值，加上当前值）BM66 最长公共子串（不相等直接为0，相等的话取左上方的值+1，不断更新max和所在的row和col）BM67 求路径（由于只能向右走和向下走，dp[][]中的值可以通过其上方和左方的
2022-02-28 23:52:54
590
原创 1月刷题记录
二叉树NC224 从下到上打印二叉树（层序遍历，每一层的结果从后往前放回ans，麻烦的是arraylist转二维数组）NC195 二叉树的直径（后序遍历，递归返回左右子树中较大的那个再+1，递归过程中不断计算maxpath=Math.max(maxpath,left+right)）NC191 二叉搜索树的最近公共祖先（后序遍历，递归，费解）NC123 序列化二叉树（前序遍历，主要是对字符串的操作）NC84 完全二叉树结点数（可以直接后序遍历计算，如果要用完全二叉树的特性就要递归计算左右子树的高度
2022-01-31 01:02:30
420
2
原创 12月刷题记录
二叉树NC72 二叉树的镜像 （前序遍历交换左右子树+递归）leetcode 116. 填充每个节点的下一个右侧节点指针 （借助辅助函数传入两个结点）leetcode114. 二叉树展开为链表 （后序遍历，左子树移到右子树，原来的右子树接到新的右子树后）leetcode 654. 最大二叉树 （前序遍历找出最大值作为根结点+递归）leetcode 105. 从前序与中序遍历序列构造二叉树 （前序遍历，先找根结点位置，再递归）leetcode 222. 完全二叉树的节点个数 (后序遍历，节点个数
2021-12-31 22:37:27
637
原创 在阿里云Serverless K8S集群上部署Spark任务并连接OSS（详细步骤）
在阿里云ASK集群上部署Spark任务并连接OSS简介ASK是阿里云的一个产品，属于Serverless Kubernetes 集群，这次实验是要在ASK集群上运行Spark计算任务（以WordCount为例），另外为了能让计算和存储分离，我使用了阿里云OSS来存放数据。（连接OSS这块找了好多资料都不全，在本地可以运行的代码一放在集群就报错，遇到很多bug才终于弄好了，记录下来希望对以后的小伙伴有帮助）环境准备本机需要安装：JAVA jdk1.8IDEAMavenDocker（安装在Li
2021-12-21 23:09:53
2931
原创 使用Docker安装Spark集群(带有HDFS)
本实验在CentOS 7中完成第一部分：安装Docker这一部分是安装Docker，如果机器中已经安装过Docker，可以直接跳过[root@VM-48-22-centos ~]# systemctl stop firewalld[root@VM-48-22-centos ~]# systemctl disable firewalld[root@VM-48-22-centos ~]# systemctl status firewalld[root@VM-48-22-centos ~]# sete
2021-12-16 14:41:50
4764
2
原创 python爬取分页数据
今天需要到这个广东省科学技术厅网站上查一个办件信息，结果发现……这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。于是我果断F12看一下可以看到请求的url和post的表单数据，复制到浏览器看看这里最重要的参数就是pageNum（第几页）和pageSize（每页有多少条数据）http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=4
2021-11-12 14:22:55
4817
3
原创 安装php-redis遇到Error: Package: php-pecl-igbinary-1.2.1-1.el7.x86_64 (epel)
使用yum install -y php-redis安装php-redis时遇到一系列error查了一下这个php-redis是一个用来在php中操作redis的，安装它之前需要先安装好php和redis。查一下：发现redis在运行了，php好像安装了但php -v不显示东西，于是考虑卸载掉php再重装php[root@VM-0-15-centos bin]# yum remove php*Loaded plugins: fastestmirror, langpacksResolving D
2021-10-30 21:50:09
795
原创 Linux服务器下使用命令行登录校园网（深大为例）
登入校园网需要在网页输入账号密码，但服务器没有图形界面，所以需要通过命令行的方式。这边以深大校园网为例，其他学校也可以参考：先在自己电脑上找到登录校园网的页面：https://drcom.szu.edu.cn/a70.htm在输入账号的文本框里右键-检查，如图所示找到这几个文本框的name属性可以看到DDDDD是用来传账号的，upass是用来传密码的，0MKKey是提交按钮（不同学校的页面可能不同，看情况修改）就可以在Linux下通过这条命令登录校园网啦记得把自己的账号和密码替换进去curl
2021-08-17 14:59:56
8970
17
原创 IDEA中找不到maven插件Plugin ‘org.apache.tomcat.maven:tomcat7-maven-plugin:2.2‘ not found
报错提示Plugin ‘org.apache.tomcat.maven:tomcat7-maven-plugin:2.2’ not found解决方法参考https://stackoverflow.com/questions/20496239/maven-plugins-can-not-be-found-in-intellij 中的办法：在Setting中勾选Use plugin registry然后点击File ???? Invalidate Caches，点击Invalidate and
2021-08-04 13:36:24
21305
21
原创 解决ansible报错“msg“: “Failed to import docker-py - cannot import name __version__.
错误提示在运行一个ansible-playbook文件时报错：明明安装了docker-py和相关依赖仍然报错错误原因ansible使用的python解释器和我安装了docker-py的解释器不是同一个解决方式需要在playbook文件中指定ansible_python_interpreter例如：- hosts: zookeepers vars: ansible_python_interpreter: /usr/bin/python3 roles: - zookeepe
2021-04-30 21:00:00
552
1
原创 使用docker构建并测试一个基于Sinatra的Web应用程序
内容来自《第一本Docker书》5.2节和博文整理而成使用Docker构建并测试Web应用程序在这个例子里，我们将创建一个应用程序，它接收输入的URL参数，并以JSON散列的结构输出到客户端。通过这个例子，我们也将展示一下如何将Docker容器链接起来。1.构建Sinatra应用程序在sinatra目录下创建一个webapp目录，这个目录作为Sinatra Web应用程序的根目录cd sinatramkdir webappls在webapp目录下创建一个lib目录，然后在lib目录中
2021-04-28 22:49:43
235
原创 图文解释Glados自动签到免费获取天数（腾讯云函数serverless版）
我在上一篇文章中介绍了如何使用github action来实现glados的自动签到的方法，但对github不太熟悉的同学来说步骤有点多，而且全是英文看起来费劲。接下来我又捣鼓了一下使用腾讯云函数的做法，相对更简单。了解过一点云函数并且也开通过腾讯云函数服务的同学可以直接从【开始部署】部分开始看啦云函数是什么？腾讯云云函数（Serverless Cloud Function，SCF）是腾讯云为企业和开发者们提供的无服务器执行环境，帮助您在无需购买和管理服务器的情况下运行代码， 是实时文件处理和数据处
2021-04-03 16:43:09
14568
14
转载 容器中构建镜像慢，在dockerfile中换源加速
Dockerfile中在RUN apt-get update之前添加如下两句代码：RUN sed -i s@/archive.ubuntu.com/@/mirrors.aliyun.com/@g /etc/apt/sources.listRUN apt-get clean即可替换成阿里源，加快镜像构建速度
2021-04-01 09:40:10
1122
原创 VSCode remote-ssh插件报错“拒绝连接“
使用VScode，安装remote-ssh连接服务器一直报错，而且用其他远程软件都可以连得上，困扰了我很久报的错误大概是这几个关键词：拒绝连接Failed to parse remote port from server outputResolver error最后是参考这篇文章解决的：https://www.cnblogs.com/linux-37ge/p/12639120.htmlsettings.json"remote.SSH.useLocalServer":True...
2021-03-10 14:51:50
3277
原创 docker容器内无法下载到alpine的资源，报错network error (check Internet connection and firewall)
问题描述最近在根据一篇教程安装openwhisk，前面的过程都比较顺利，但到了使用docker来构建镜像的时候，由于项目中的dockerfile文件里用到了https://alpine.global.ssl.fastly.net/alpine/v3.12/main这个地址，而这个地址在国内无法正常访问，报错如下：走过的弯路在这里卡了很久，先尝试在虚拟机里设置代理，但到了容器里也还是无法访问。还试过先在主机下载好该文件，却不知道应该传到容器里哪个目录下解决方法最后我的解决办法是：发现卡住的地方
2021-03-07 14:37:23
3264
2
原创 在Ubuntu18上搭建K8s集群(1.19.3）
环境准备为了演示简单，准备两台4GB内存,20GB硬盘的虚拟机，操作系统为ubuntu18.04-server角色IPHostNameMaster192.168.47.144master-k8sNode192.168.47.145node1-k8s前置准备前置准备部分在master和node1都要分别执行：换源sudo cp /etc/apt/sources.list /etc/apt/sources.list.baksudo vim /etc/a
2021-03-01 20:56:43
904
1
原创 在阿里云服务器上安装docker
通过XShell连接上自己的云服务器，我的是CentOS7显示操作系统的发行版号[root@izbp19qq88w1vt31f8zf3vz ~]# uname -r3.10.0-514.26.2.el7.x86_64[root@izbp19qq88w1vt31f8zf3vz ~]# cat /etc/os-release NAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7.
2020-08-02 23:11:40
2021
原创 Cloud Programming Simplified: A Berkerley View on Serverless Computing笔记
1. Serverless计算简介早在2009年，伯克利曾针对当时兴起的云计算做过评论，并提出了以下6个潜在的优点：（理论上）无限可用的计算资源用户再也不需要承担服务器运维的工作和责任服务的按需付费成为可能超大型数据中心的使用成本显著降低通过可视化资源管理，运维操作的难度大大降低得益于分时复用，物理硬件的利用率大大提高2009年至今的10年里，云计算领域已经有了很大的发展，上述...
2020-02-26 20:54:29
548
原创 WebSocket的初步认识
WebSocket协议WebSocket 协议在2008年诞生，2011年成为国际标准。所有浏览器都已经支持了。它的最大特点就是，服务器可以主动向客户端推送信息，客户端也可以主动向服务器发送信息，是真正的双向平等对话，属于服务器推送技术的一种。可以对照着这个报文来看General：Request URL: ws://192.168.0.104:8000/ws/admin/Reque...
2020-02-19 15:24:54
472
原创 Django的主要开发流程（以扩充用户模型为例）
需求描述完成个人中心页面的用户信息更新如图开发流程（以users为例）：startapp创建应用users写users下的models在settings下注册appmakemigrations迁移数据库设计路由视图渲染前端模板1. startapp创建应用cookiecutter创建项目时已经帮我们创建好了users如果要创建自己的app，则使用python ma...
2020-01-30 20:03:52
258
1
原创 Django开发准则与最佳实践
最近在网易云课堂学习一门django高级实战教程，本文是学习课时14、15的一些笔记Django开发准则与最佳实践一、优先使用自定义用户模型继承BaseUserManager和AbstractBaseUser，指定AUTH_USER_MODEL配置项看一下cookiecutter给我们生成的项目结构下的mydjango/users/models.py自定义的User继承了Abstract...
2020-01-28 17:16:11
498
原创 在ubuntu中使用cookiecutter搭建django项目时命令迟迟没有反应
想在在ubuntu中使用cookiecutter搭建django项目，在官方文档中只是两行命令的事，没想到折腾了我几个小时。问题描述首先pip install cookiecutter==1.6.0安装cookiecutter安装成功了，准备创建项目Installing collected packages: cookiecutterSuccessfully installed cook...
2020-01-28 01:36:30
848
原创 linux安装redis时遇到的fatal error: stdlib.h: No such file or directory
本文记录了安装redis的曲折之路……问题描述已经在官网上下载好了redis并解压wget http://download.redis.io/redis-5.0.7.tar.gztar xvzf redis-5.0.7.tar.gzcd redis-5.0.7sudo make install于是遇到问题解决方案听说要先安装gcc，装了以后但仍然会报错看了别人的办法，原来要...
2020-01-27 19:07:23
11880
6
原创 Pipenv管理Python虚拟环境
Python 环境搭建pipenv 安装使用快速入门Python 最新最流行的pipenv虚拟环境Python Dev Workflow for Pipenv & Virtual Environmentsvirtualenv-burritoPipenv管理Python虚拟环境一、pipenv介绍简单说，pipenv就是把pip和virtualenv包装起来的一个便携工具，它...
2020-01-19 21:04:09
1557
原创 SQL连接查询案例
1.简单的两表连接案例1：查询员工名和对应的部门名SELECT last_name,department_namefrom employees e,departments dWHERE e.department_id = d.department_id为表起别名：① 提高语句的简洁度② 区分多个重名的字段注意：如果为表起了别名，则查询的字段就不能使用原来的表名去限定2.添加筛选...
2019-12-29 22:08:27
1764
原创 SQL分组查询案例
总结语法select 查询列表from 表【where 筛选条件】group by 分组的字段having 分组后筛选【order by 排序的字段】;执行顺序from子句where子句group by子句having子句select子句order by子句特点和分组函数一同查询的字段必须是group by后出现的字段筛选分为两类：分组前筛选和分组后筛选...
2019-12-29 19:28:10
1727
1
原创 SQL基础练习
条件查询emolyee表结构题目练习SELECT last_name,salaryfrom employeeswhere salary>12000SELECT last_name, department_id,salary*12*(1+IFNULL(commission_pct,0)) as 年薪from employeeswhere employee_id = 1...
2019-12-29 14:44:34
3690
原创 深度学习中的核心知识
深度学习中的核心知识前向运算计算输出值的过程称为前向传播前提：网络结构已知（两个方面：1. 每个层的构造 卷积/池化 2. 每个层的参数）难点：1.f函数如何定义 2.每层的参数 （通过反向传播来计算）反向传播（BP算法）神经网络（参数模型）训练方法解决神经网络优化问题计算输出层结果与真实值之间的偏差来进行逐层调节参数（梯度下降）神经网络参数训练是一个不断迭代的过程...
2019-11-20 20:49:35
843
原创 线性代数-基变换
B站视频-线性代数的本质一般情况下，基向量为i-hat=【1,0】，j-hat=【0,1】使用不同基向量会怎样？如何在不同坐标系之间对向量进行转化？假设jenifer的基向量是【2,1】和【-1,1】我们所想的【-1,2】变换为她所认为的【-1,2】反过来我们坐标中的【3,2】，如何计算出在她的坐标系中的坐标？逆也就是jenifer如何表示在她坐标下的【-1,2】逆...
2019-11-14 17:05:07
2467
原创 在Linux中安装R语言包，遇到无法验证下列签名的错误
R语言包的安装方式如下Ubuntu自带的APT包管理器中的R安装包总是落后于标准版，因此需要添加新的镜像源把APT包管理中的R安装包更新到最新版。请登录Linux系统，打开一个终端，然后执行下面命令（并注意保持网络连通，可以访问互联网，因为安装过程要下载各种安装文件）：利用vim打开/etc/apt/sources.list文件$ sudo vim /etc/apt/sources.l...
2019-10-21 10:36:58
444
1
原创 socket编程-查看本机ip和主机名
#include <winsock.h>#include <stdio.h>void CheckIP(void) //CheckIP函数，用于获取本机IP地址{ WORD wVersionRequested;//WORD类型变量，用于存放Winsock版本的值 WSADATA wsaData; char name[255];//用于存放主机名 PHOSTE...
2019-10-16 20:45:38
1651
2
原创 Python基础02-序列及通用操作
# 序列分类：可变序列List 不可变序列tuple str# 判断值是否属于序列lst=[1,2,3,4,5,6]a,b,c=1,2.0,'hello'print(a in lst)print(b in lst)print(c not in lst)TrueTrueTrue# 序列的链接与重复#链接lst1 = [1,2,3]lst2 = ['a','b']pr...
2019-10-13 00:21:10
364
原创 Python基础01-变量及数据类型
#整形int 浮点型floatx1=10x2=10.0print(x1,x2)10 10.0print(type(x1),type(x2))<class 'int'> <class 'float'>#字符串Stringx3='hello world'x4="hehe"x5='''abc'''print(x3,x4,x5)hello w...
2019-10-13 00:19:58
121
原创 【数据结构】KMP算法（c语言）
#include <stdio.h>#include <string.h> #include <stdlib.h> typedef int Position; //返回数组下标#define NotFound -1 void BuildMatch( char *pattern, int *match ){ Position i, j;...
2019-08-31 23:47:15
594
1
原创 【数据结构】图的应用（普利姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法、拓扑排序）
克鲁斯卡尔算法我们知道生成树是包含n个顶点，n-1条边的换一种思路，我们可以从网中的边这个角度，找最小权值的边，直到找到n-1条边。思路将图中边按照权值从小到大排列，然后从最小的边开始扫描，设置一个边的集合来记录，如果该边并入不构成回路的话，则将该边并入当前生成树。直到所有的边都检测完为止。排列： 请参考→ 堆不构成回路：请参考→ 并查集#define MaxSize 100typ...
2019-08-26 01:15:15
3544
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人