DETACH-MENT的博客

原创 记录一次从exe到python源码

找到要解析源码的exe，用7zip解压出来，可以看到打包前的目录（这里并不是所有的exe都可以）。

原创 go与python grpc

python grpc官方文档go grpc官方文档python demohelloworld.protosyntax = "proto3";// The greeting service definition.service Greeter { // Sends a greeting rpc SayHello (HelloRequest) returns (HelloReply) {}}// The request message containing the user's na

原创 分布式笔记

zookeeperZookeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。CAP理论以下截图来自：一致性算法（Paxos、Raft、ZABPaxos使用random时间解决活锁问题另外一个视频截图Raft算法Raf

原创 golang学习（2）

go modules同目录下，不同的go文件不能有不同的package，只能有一个main包的引用使用WaitGroup控制协程控制互斥锁,使用sync.Mutex 的lock和unlock来实现互斥操作package mainimport ( "fmt" "sync")var total intvar wg sync.WaitGroupvar lock sync.Mutex// 互斥锁func add() { defer wg.Done() for i :=0; i

原创 golang学习（1）

Go语言字符串底层数据也是对应的字节数组，但是字符串的只读属性禁止了在程序中对底层字节数组的元素的修改。字符串赋值只是复制了数据地址和对应的长度，而不会导致底层数据的复制。每个字符串的长度虽然也是固定的，但是字符串的长度并不是字符串类型的一部分。字符串结构由两个信息组成：第一个是字符串指向的底层字节数组，第二个是字符串的字节的长度。字符串其实是一个结构体，因此字符串的赋值操作也就是reflect.StringHeader结构体的复制过程，并不会涉及底层字节数组的复制。切片切片的行为更为灵活，

原创 Python知识点（二）

鸭子类型monkey patchpython3改进通过线程锁来确保安全线程安全生成器

原创 Python协程

视频截图来源-B站Python3.7+协程一般的写法Python3.7官方文档用async定义，await + 可等待对象用（协程对象，Future，Task对象），asyncio.run()运行协程单个任务import asyncioasync def a(): print('aaaa') await asyncio.sleep(1) print('end') return 'return'print(asyncio.run(a()))多个任务（使

原创 书签collection

编程类编程电子书Github 文件加速Linux命令大全pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/ # pip 换源Tushare大数据开放社区Learn X by doing y图片Pixabay 图片iStock图库Veer图库Free Images未分类网站模板EasyBCD and UEFIgeogebra 数学Process On 免费在线流程思维导图电

原创 神经网络零碎知识

计算机对词语的理解，其实是计算机对空间及位置的理解-通过词向量，不同文章的都可以用词语的出现频率来表示颜色深的地方，数值越大，文章用向量来表示，投射到空间，他们就有了自己的位置，再空间分散出来，他们之间的距离越近，就越相似，或者根据其他的角度去分类，如夹角。在大量的文本训练中，一些频繁出现的词，如‘他’，‘在’，这些词就可以被计算机分到中心性的范畴训练词向量训练时，我们取一小段文本，取出这些词的向量表示，如下图：取“这是 段训”的整体向量来预测中间的“一”，窗口向前移动一格，预测“段”字。像

原创 tensorflow2.0北大课程笔记（三）

循环核循环核按时间步展开循环计算层：向输出反向生长TF描述循环计算层TF描述循环计算层循环计算过程I随机生成了Why,Whh,Wxh,记忆体个数为3个第一次运算过后输出层RNN预测字母实现代码循环计算过程，连续输入四个字母，预测下一个字母记忆体第一次更新（输入b）第二次更新（输入c）第三次更新（输入d）第四次更新（输入e)最后输出jupyter代码实现embeding课程讲解LSTM表征长期记忆的细胞态Ct,等待存入长期记忆的候选态C

原创 tensorflow2.0北大课程笔记（二）

第四章数据集构建数据增强图片增强ex：读取保存模型参数提取可视化acc/loss模型应用predict的输入是三维的卷积网络卷积计算单通道三通道感受野同样是55的图片经过两层33的卷积核作用和经过一层5*5的卷积核的感受野都是5，他们的提取能力是一样的，但是他们需要训练的参数不一样padding填充TF描述卷积层批标准化池化Dropout（舍弃）卷积是什么？卷积就是特征提取器，就是CBAPD,编写卷积神经网络的八股套

原创 tensorflow2.0基础知识北大课程笔记（一）

北大Tensorflow2.0课程损失函数梯度下降反向传播张量numpy到Tensor随机数生成ex常用函数axis神经网络实现预备知识，常用函数激活函数损失函数与交叉熵结合欠拟合和过拟合L1和L2正则化ex神经网络参数优化器（优化更新参数）优化器SGDSGDM优化器Adagrad优化器RMSProp优化器Adam使用keras搭建神经网络(第三章内容)用Tensorflow API

原创 python实现两线段最短距离并实现线段分簇

思路：线段取n个点，计算两线段线段不同点之间的距离。import matplotlib.pylab as pltimport numpy as npfrom numpy import array, int32from typing import Listfrom itertools import combinationsdef show_lines_data(lines: List, label: str): plt.xlim(200, 650) plt.ylim(160,

原创 基于双目摄像头定位的自动驾驶小车

总体分为两部分硬件树莓派软件部分定位使用双目摄像头进行定位先使用matlab对双目摄像头进行标定参考opencv立体校正函数 stereoRectify()Matlab R2018a 使用自带stereoCameraCalibrator进行相机标定(参数的确定)双目测距理论及其python实现！...

原创 4g-云api文档

4g-云api文档先进行连接，再互相传输数据ip:*，*，*，*，port:8888,type:tcp连接：# from表明是哪一个4g卡{'action':'connect', from': 'A/B/C'}# 响应："connect_success"发送# to 要发送到哪个卡，message：发送的内容{'action':'send', 'to': 'A/B/C', 'message': '***'}# 响应："send_success"心跳包，每30秒下发一次# 下发

原创 python实现协同过滤算法

协同过滤算法常用于商品推荐或者类似的场合，根据用户之间或商品之间的相似性进行精准推荐协同过滤算法分为：基于用户的协同过滤算法（UserCF算法）（适合社交化应用）基于商品的协同过滤算法（ItemCF算法）（适合电子商务、电影） 清华课程 计算用户相似度（UserCF）① 泊松相关系数② 余弦相似度③ 调整余弦相关度...

原创 re表达式仿写模板

标签dd为一个item：完整的dd标签爬取的html匹配排名re封面最终匹配仿写，没有额外的包，可以直接运行# -*- coding: utf-8 -*-import refrom urllib import requestheaders = {'User-Agent': "Mozilla/5.0 (X11; U; Linux i686) Gecko/200711...

原创 二叉树(N叉树)前中后遍历Leetcode超简单Python实现方法

leetcode 颜色记忆方法

原创 动态规划(收纳盒)

B站up主讲解动态规划(第一讲)动态规划(第二讲)动态规划简单地解释就是将下一步所需要上一步的内容,存储起来.用空间复杂度换取时间复杂度leetcode动态规划题集所需要的存储空间,可以是一维,也可以是二维.最重要的一步是找到动态方程(可以用纸和笔尝试着找出后面和前面的联系)...

原创 Python语言知识要点

使用加号(+)可以连接列表 a = [1,2,3] + [4,5] # [1,2,3,4,5]列表的更多操作集合支持一系列标准操作。a = t | s # t与s的并集 b = t & s #t和s的并集 c = t - s # 差集 d = t ^ s # 对称差集(项在t或s中，但不会同时出现在两者中) 集合的更多操作字典：if "SCOX" in prices:...

转载 Scrapy中Downloader Middleware的用法

在middlewares.py添加自己的class。下面的http://127.0.0.1:9743为作者本地开启的代理服务。修改相应的request。然后settings.py取消注释scrapy会输出一些request的信息。修改response错误处理（ex：再一次发起请求）...

转载 Selenium的基本用法

转载 pyquery和BeautifulSoup的基本用法

from pyqery import PyQuery选择器熟悉jquery选择id --> 加#号选择class --> 加.选择标签名 --> 什么都不用加所有的items选择器：价格：Title...

原创 tensorflow_serving的部署

重载模型：导入对应的模型，然后查看张量图import tensorflow as tfwith tf.Session() as sess: saver = tf.train.import_meta_graph('ckp-10000.meta') saver.restore(sess, 'ckp-10000') tensor_list = tf.get_default_...

原创 基于京东手机评论的LSTM/CNN评论分析模型

数据用scrapy进行爬取，scrapy详细代码，数据集格式如下：评论+tab+标签，标签有5,3,2,1分别为【好评，中评，差评，非常差】（一个典型的多分类问题）scrapy存入数据库之后，利用pycharm的Database功能导入tsv文件（利用tab进行隔开）train_data.tsv一共4W条数据，标签均匀分布，test_data.tsv一共8K条，也是均匀分布。数据预处理分词...

原创 tensorflow(神经网络)学习笔记(七)自动机器学习(AutoML)介绍（学习笔记）

神经网络结构搜索算法之一网络结构降低神经网络结构参数如下图，彩色框框为生成单个神经的参数，使用循环神经网络去生成卷积神经网络左边RNN可以生成LSTM的序列表达，然后把序列解析成网络表达结构，得到网络结构的表达，然后计算得到accuracy，然后反馈给RNN，然后再重新生成LSTM的序列表达。ex：单层网络结构参数卷积的高、宽、步长的高和宽，最后一个是chann...

原创 tensorflow(神经网络)学习笔记(六)对抗神经网络(DCGAN)实战（学习笔记）

利用MNIST数据集中的手写数字图像让神经网络学习到手写图片#%%"""1.Data provider a. Image data b. random vector2. Build compute graph a. generator b. discriminator c. DCGAN connect d and g ...

原创 tensorflow(神经网络)学习笔记(六)对抗神经网络(GAN)介绍（笔记）

解决办法：对抗神经网路生成器和判别器，生成器用来生成图像（可以从文字生成图片，也可以图片生成图片），判别器用来判别该图像是否符合该描述对于这样的哲学，不能出现对方比另外一方层次高太多，会导致对方无法进一步地提升DCGAN中间为反卷积操作A为输入矩阵，W为卷积核，B为卷积输出B的第一个输出可以表示成卷积的操作可以看成是下面的矩阵的操作把输入矩阵转化为一...

原创 tensorflow(神经网络)学习笔记(五)图像生成文本之实战（笔记）

模型下载代码：#%%# coding: utf-8 import tensorflow as tfimport osimport tarfileimport requests # inception模型下载地址inception_pretrain_model_url = 'http://download.tensorflow.org/models/image/imagenet...

原创 tensorflow(神经网络)学习笔记(五)图像生成文本之模型介绍（笔记）

解决文本多次出现的方法解决短句子的问题取概率最高的词组成句子：显然句子的平滑度不是很好下面才是最优的的结果n为任意。ex:如下，n取4相关模型Multi-Modal RNNTable Projection 为文字的编码形式右下角的Fully Connected为提取图片的特征值Show and TellShow Attend and Tell...

原创 tensorflow(神经网络)学习笔记(四)卷积图像风格转化（笔记）

卷积神经网络的应用有监督:图像分类,图像识别无监督:图像风格转化,图像修复,换脸,图像超清化,图像翻译,文字生成图像卷积神经网络学到了什么第一层神经网络学到了色彩第二层神经网络学到了边缘信息层次越深,神经网络学到的东西就越多,越来越抽象图像风格转换-V1内容特征:图像输入到CNN得到的某一层的激活值风格特征(图像共性):图像输入到CNN得到的某一层的激活值之...

原创 tensorflow(神经网络)学习笔记(四)之基于LSTM和CNN的新闻分类模型（笔记）

文本处理的前提文本预处理:分词词语 -> id,将词语转化成id表示id矩阵: matrix -> [|V|, embed_size]词语A -> id(5)生成一个字典型的词表label -> id来表示数据集数据处理之后为生成词表:用于测试集中找不到训练集中的词汇...

原创 tensorflow(神经网络)学习笔记(三)之调参数实战（笔记）

tensorboard# 指定目录LOG_DIR = '.'run_label = 'run_vgg_tensorboard_fine_tune'run_dir = os.path.join(LOG_DIR, run_label)if not os.path.join(run_dir): os.mkdir(run_dir)train_log_dir = os.path.jo...

原创 机器学习笔记

百度网盘配速播放videojs.getPlayers("video-player").html5player.tech_.setPlaybackRate(1.5)机器学习与深度学习的关系机器学习有监督学习算法（回归问题、分类问题）K最近邻算法线性模型朴素贝叶斯随机森林决策树核支持向量机深度学习有监督学习是通过现有训练数据集进行建模，再用模型对新的数据样本进行分类或...

原创 tensorflow(神经网络)学习笔记(三)之调参数（笔记）

目录卷积网络调参调整学习率选择不同的激活函数网络初始化批归一化卷积神经网络调参α是对每一个神经元结构来说的.所以对于稀疏的问题来说就更明显了,很难学习到稀疏问题上的信息,然后将学习率α调小,但是又对于稀疏问题来说,还没有学习到足够的信息,使得下降梯度不够大,无法得到收敛变种手动设置各自的优缺点当x<0时,输出一直为0进入死循环....

原创 tensorflow(神经网络)学习笔记(四)之RNN（笔记）

循环神经网络解决的问题:1对多:图片生成描述多对1:文本分类(文本情感分析)多对多:encoding-decoding,机器翻译实时多对多:视频解说简单的例子:(字符语言模型),一开始输入j,预测e,在此基础再预测e,再在前面的基础,预测出p,每一步的输出都依赖上一步的输入,多对一:前面所有输出都为0,最后一步再输出.多对多就每一步都输出反向传播正是因为后面的...

原创 tensorflow(神经网络)学习笔记(二) 卷积神经网络进阶

卷积神经网络进阶AlexNet网络结构AlexNet的特点首次使用Relu2- GPU并行结构1,2,5卷积层后跟随max-pooling层两个全连接层上使用了dropoutdropout(连接输出时随机抛弃一定的连接)为什么用在全连接成上?因为全连接层参数占全部参数数目的大部分,容易过拟合VGGNet28%=(55-23*3)/25使用1通道,可以...

原创 tensorflow(神经网络)学习笔记(一)模型重载与基本卷积

下面的代码进行tensorflow模型的保存with tf.Session() as sess: saver = tf.train.Saver() dir = os.path.dirname(os.path.realpath(__file__)) model_path = dir+'/3-2MNIST/model.ckpt' saver.save(sess=ses...

原创 吴恩达机器学习笔记（四）16章-20章

第十六章 异常检测问题动机异常检测算法红色为数据集，绿色为测试集应用用户欺骗检测制造业检测计算机数据中心检测高斯分布（正态分布）构建检测算法...

原创 Python实现天猫精灵OAuth2.0和语音技能配置

之前用tornado实现tcp server与硬件的client的连接，以便下发指令。基于django/tornado与wifi模块,lora设备的TCP/UDP即时通讯现在考虑到天猫精灵可以语音接入。也就用tornado来实现天猫精灵的OAuth2.0.发了两天空闲的时间去摸索，终于实现成功了。我的参考文章。Java实现Aligenie天猫精灵OAuth2.0认证授权流程重要的还是...