- 博客(98)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 golang管道chan
1、存储数据-->循环队列-->数组(unsafe.Pointer)2、存储阻塞的协程队列-->管道变量-->sudog。3、协程间并发-->锁mutex(互斥锁控制)
2022-09-29 14:19:33
598
原创 部署go程序到k8s集群(基于vmware+centos 7)
1、go程序docker镜像制作见本系列文章<<docker安装与使用>>2、在master节点拉取远程docker hub仓库上的go程序镜像docker pull xxx/xxx:v13、master节点创建deployment.yaml文件apiVersion: apps/v1kind: Deploymentmetadata: name: test-k8s-deploy#deployment名称spec: replicas: 2#pod副
2022-03-28 11:24:20
1128
原创 k8s搭建过程中的坑(二)
1、k8s集群搭建完成后，初始化的集群pod状态处于CrashLoopBackOff，解决。使用kubectl get pod -n kube-system -o wide命令查看集群内节点状态，发现kube-flannel节点一直处于CrashLoopBackOff状态解决方法：首先查看该pod节点日志 kubectl logs -f --tail 200 -n kube-system 【pod-name】，问题为 显示master节点上未分配pod cidr(网络前缀)。 .
2022-03-27 12:17:30
3070
原创 k8s搭建过程中的坑(一)
1、关于k8s集群搭建完成后，集群内的节点node1的status是NotReady状态？排查一：检查node1节点的组件是否正确启动了(主节点)kubectl get pods --all-namespaces -o wide | grep node1或者：查看集群内所有节点的组件启动情况 kubectl get pod -n kube-system -o wide发现node1节点的kube-flannel启动失败：解决：安装网络插件，解决节点NotReady的问题(主节
2022-03-24 21:22:44
2204
原创 docker安装与使用
1、docker的安装🎉 Docker 简介和安装 - Docker 快速入门2、docker安装后的检查过程WIN10下DOCKER的安装与使用_北极冰熊的博客-CSDN博客_win10使用docker3、docker生成镜像、推送远程仓库、从远程仓库拉取镜像(以go语言为例)创建一个go语言程序 创建一个dockerfile文件(docker会根据这个配置文件对go程序和所需环境生成镜像) 文件目录结构如下 ...
2022-03-24 19:50:56
2167
原创 单层GNN完成cora数据集节点分类任务
import torchimport torch.nn as nnimport torch.nn.functional as Fimport numpy as npimport matplotlib.pyplot as plt"""引用上一篇博客中所用到的数据处理函数"""from coraDatasetsProcess import mainnode_nums,feature_dims,label_list,feat_Matrix,degree_list,cites,X_Node,..
2020-07-15 11:22:29
1205
原创 Cora数据集处理用作下游社交网络任务
import osimport numpy as npfrom tqdm import tqdmimport matplotlib.pyplot as pltimport torchimport torch.nn as nnimport torch.nn.functional as F'''node_num, feat_dim, stat_dim, num_class, Tfeat_Matrix, X_Node, X_Neis, dg_listcora.content共有2708.
2020-07-14 20:25:44
798
2
原创 karate-club空手道成员俱乐部社区模块度计算和节点着色
import networkx as nximport numpy as npimport matplotlib.pyplot as plt#获取空手道俱乐部成员数据def getKarateClub(): G = nx.karate_club_graph() G = G.to_undirected() return G#构造邻接矩阵和度矩阵def karateMatrix(G): N=len(G.adj) #初始化邻接矩阵 A=np.zero..
2020-07-14 14:46:52
4227
2
原创 社区发现之谱聚类算法的实现
#谱聚类算法实现#1、计算距离矩阵(欧氏距离，作为相似度矩阵)#2、利用KNN计算邻接矩阵A#3、由邻接矩阵计算都矩阵D和拉普拉斯矩阵L#4、标准化拉普拉斯矩阵#5、对拉普拉斯矩阵进行特征值分解得到特征向量#6、对特征向量进行K-means聚类#7、得到分类结果import numpy as np#距离矩阵的计算def euclidDistance(x1, x2, sqrt_flag=False): res = np.sum((x1-x2)**2) if sqrt..
2020-07-07 20:49:57
1316
1
原创 Dgl+Pytorch实现节点分类
import dglimport numpy as npdef build_karate_club_graph(): # All 78 edges are stored in two numpy arrays. One for source endpoints # while the other for destination endpoints. src = np.array([1, 2, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 7, 7, 7, 8,.
2020-06-02 10:38:41
1866
原创 pytorch--图像处理
#导入模块import torchimport torchvision#数据集库import torchvision.transforms as transforms#数据集加载模块transform=transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5,0.5,0.5),(0.5,...
2020-04-26 20:23:22
355
原创 pytorch神经网络
import torch.nn as nnimport torchimport torch.nn.functional as F#定义网络模块 主要包括初始化、前向传播、数据维度处理class Net(nn.Module): #初始化 def __init__(self,channel,kernel_count,kenel_size): super(N...
2020-04-24 10:17:48
186
原创 DGL系列之(二)：使用DGL实现GCN
import dglimport dgl.function as fnimport torch as thimport torch.nn as nnimport torch.nn.functional as Ffrom dgl import DGLGraphgcn_msg=fn.copy_src(src="h",out="m")gcn_reduce=fn.sum(msg="m",...
2020-03-10 21:48:33
4873
3
原创 DGL工具系列(一)：用DGL实现pageRank算法
import networkx as nximport matplotlib.pyplot as pltimport torchimport dglN=6#100个节点DAMP=0.85#阻尼系数K=10#迭代次数g=dgl.DGLGraph()g.add_nodes(6)#添加边的关系g.add_edges([1,1,1,2,2,4,0,5,5],[2,3,4,3,5...
2020-03-09 19:49:16
927
原创 pytorch系列(七)：CNN实现数字图像分类
import torchimport torchvision#包含一些数据集，像如mnistimport torch.utils.data as Dataimport torch.nn as nnimport matplotlib.pyplot as plt#超参数EPOCH=1BATCH_SIZE=50LR=0.01DOWNLOAD_MNIST=True#是否下载数据集...
2020-03-02 20:52:23
2367
原创 pytorch系列(六)：各种优化器的性能比较
import torchimport torch.utils.data as Dataimport torch.nn.functional as fimport matplotlib.pyplot as plt#指定超参数LR=0.01#学习率BATCH_SIZE=32#批数据的大小EPOCH=12#迭代次数#构造数据集x=torch.unsqueeze(torch.lin...
2020-03-02 11:03:38
1008
原创 pytorch系列（五）：批训练的数据划分
import torchimport torch.utils.data as Data#导入pytorch的数据处理模块#DataLoader是一种处理数据的工具，能够自动处理tensor形式的数据，训练过程中能更好的迭代数据BATCH_SIZE=8#批训练的数据个数#原始数据x=torch.linspace(1,10,10)y=torch.linspace(10,1,10)...
2020-03-01 21:17:45
643
原创 pytorch系列(四)：模型的保存和提取
import torchimport torch.nn.functional as f#构造假数据# x=torch.squeeze(torch.linspace(-1,1,100))#shape为[100]的数组x=torch.unsqueeze(torch.linspace(0-1,1,100),dim=1)#shape为(100,1)的tensory=x.pow(2)+0.2*...
2020-03-01 20:47:15
343
原创 pytorch系列(三)：快速搭建网络结构
import torchimport torch.nn.functional as f#定义一个calss类继承pytouchclass Net(torch.nn.Module): #初始化函数 def __init__(self,n_feature,n_hidden,n_output): super(Net,self).__init__() ...
2020-03-01 20:09:58
309
原创 pytorch系列(二)：pytorch分类算法简单实现
#该案例主要是做简单节点分类任务的模型训练import torchimport matplotlib.pyplot as plt#数据集构造 都是tensor张良结构n_data=torch.ones(100,2)#数据基本形态 100x2的维度x0=torch.normal(2*n_data,1)#第一种类型的数据,服从为1的正态分布 100x2的维度 横坐标和纵坐标y0=t...
2020-02-24 21:21:18
1039
原创 pytorch系列(1):简单回归算法实现
import torchimport matplotlib.pyplot as plt#torch.unsqueeze()度扩充，将1*100的tensor变为100*1的维度，作为完整数据集一次性喂给网络 还有squeeze正好相反x=torch.unsqueeze(torch.linspace(-1,1,100),dim=1)#训练集-1到1共100个数据y=x.pow(2)+...
2020-02-24 19:13:15
295
原创 windows10 64位+python3.6环境下安装pytorch cpu版本教程记录
一、首先下载安装anaconda，这里不多说，网上教程很多二、换源，将pytorch换成清华的镜像，当然也可以是中科大等别的源，加快下载速度 镜像的网址为镜像conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/三、把一些pytorch依赖包像如n...
2020-02-24 12:34:42
1032
原创 word2vec中的skip-gram模型详解与代码实现(文末附源码)
一、模型效果 给定一个句子，如“I love you very much”。假设中心词是love，通过这个模型可以输出"love"这个单词的上下文"I"和"you"的概率，当然这个上下文的窗口是可以自己指定的； skip-gram模型的基础是神经网络，所以在不断迭代训练的过程中，神经网络中的权重矩阵会不断更新，当训练...
2019-11-29 11:08:01
2498
3
原创 基于内在非负性的矩阵分解模型(INLF)
今天写的是2018年发表在IEEE transactions上的一篇关于矩阵分解的论文。文章链接如下：一种非负性矩阵分解模型（INLF）先上文章的思维导图，除了模型的数学推导部分，其余的重点都囊括在内了。1、该文章的主要创新点是引入一个sigmoid函数，使得矩阵分解出来的两个因子模型中的所有值全为非负的。那sigmoid函数的优势在哪呢？一、值域在[0,1]之间，这就满足了元...
2019-11-09 11:54:46
660
原创 用c语言编程完成两个1000位以内的正整数的加法运算
因为1000位以内的数字相加，所以无法直接定义变量求和，故采用字符串数组存储的方式，然后将字符数字转化成整型数字再按位相加，处理进位情况，如果两个数位数不一致，要单独处理。#include<stdio.h>#include<string.h>#include<stdlib.h>#include<math.h>#include<ct...
2019-03-21 21:40:28
4762
原创 递归求组合数和递推求一般性问题的practice
考新郎Time Limit: 1000 ms Memory Limit: 32768 KiBSubmit Statistic DiscussProblem Description在一场盛大的集体婚礼中,为了使婚礼进行的丰富一些,司仪临时想出了有一个有意思的节目,叫做"考新郎",具体的操作是这样的:首先,给每位新娘打扮得几乎一模一样,并盖上大大的红盖头随机坐成一排;然后,让...
2019-01-04 16:34:08
144
原创 一只小小的爬虫之爬取千千音乐客户端
要爬取的网站入口链接如下:http://music.taihe.com/#songlist/365365950?fr=shoubai&noad=1爬取的简单思路:1、通过抓包分析可以看出每一首歌曲的真实链接主要由三部分组成http://zhangmenshiting.qianqian.com/data2/music/64f52b8d12bfe21117c45f19c4447...
2018-09-05 22:55:09
1393
1
原创 二叉树的基本操作
#include<stdio.h>#include<malloc.h>struct node{ struct node *lc,*rc; int data;};//创建二叉排序树struct node *create_sort_tree(struct node *root,int x){ if(root==NULL){ ...
2018-07-31 15:56:38
169
原创 斗图网爬虫
import urllibfrom urllib import request# from lxml import etreeimport osimport timefrom lxml import etreeimport requests#导入线程 池模块from multiprocessing.dummy import Pool as Treadpoolcount=0 #...
2018-05-14 23:39:20
395
原创 组建IP代理池的简单使用
##实现动态的爬取某网站的代理IP，并通过自己的博客链接测试当前的代理IP是否可用#实现一个IP代理池的维护#import jsonimport requestsfrom lxml import etree#这个网站上的“http://www.mogumiao.com/web”IP是由JSON动态加载的，直接抓到json包即可爬去url="http://www.mogumiao.c...
2018-05-14 23:37:44
2284
原创 本地主机与云服务器主机建立socket套接字进行通信小记
关于本地主机与腾讯云远程主机建立socket套接字进行通信的步骤：1、因为腾讯云远程主机默认是有防火墙，不允许外网对其进行访问的，即我们在本地自己的电脑上尚无法ping通远程主机的IP的所以首先我们将远程主机的防火墙关闭，允许外网对其访问命令行如下: sudo utf disable //utf是UFW（ufw 即uncomplicated firewall的简称，不复杂的防火墙2
2017-11-26 22:08:22
1907
原创 python爬虫抓包爬取NBA中文网近20年球员数据
#爬取NBA中文网近20年的球员数据#因为NBA中文网球员数据是通过json异步加载的，所以需要抓包实现import timeimport requestsimport jsonimport csv#获取json文件里面的内容并提取信息def get_json_content(url): # r_content=requests.get(url).content.d
2017-09-23 19:36:20
2806
3
原创 使用ajax完成python flask前端与后台数据的交互
一、前端页面中html文件中：{% extends 'base.html' %}{% block scripts %} {{ super() }}{# #} $SCRIPT_ROOT = {{ request.script_root|tojson|safe }}; $(function() {
2017-09-14 19:32:55
14026
原创 使用python利器selenium工具模拟浏览器运行并爬取淘宝商品信息
#导入获取浏览器驱动的模块from selenium import webdriver#用于获取网页元素from selenium.webdriver.common.by import By#webdriver.wait库负责循环等待网页加载的时间from selenium.webdriver.support.ui import WebDriverWait#expected_con
2017-09-09 16:04:09
984
原创 windows python3.6下安装scrapy的几点注意事项
1、直接在Windows下命令行pip install scrapy安装时时出现building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visua
2017-08-19 16:00:37
551
原创 一只简单的多线程爬虫，爬取京东网站
#多线程爬取京东页面#-*-encoding:utf-8-*-#导入线程池from multiprocessing.dummy import Pool as Threadpoolimport sys#解决编码问题import requestsimport timefrom lxml import etree#解析网页import jsonimport pymongo#京东手
2017-08-18 20:39:21
2185
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人