11 qq314000558

尚未进行身份认证

坚持.

等级
TA的排名 16w+

docker-compose搭建私有docker registry

docker hub注册后只可以免费上传一个镜像,不过我们也可以使用其他免费docker仓库,比如腾讯云的免费docker仓库,不受上传限制。当然我们也可以创建我们自己的私有仓库,再也不用担心上传速度受到影响,并且也更加安全。示例说明使用的是win10自带的docker 服务器使用的是centos系统 服务器ip地址以182.61.60.219为例(该IP只是示例,并不可用哦) 仓库端口以8050为例 仓库访问端口以5000为例 仓库UI访问端口以5051为例 本地局域网地址以19..

2020-05-19 20:47:39

js加密技术总结

我们在爬取网站的时候,经常会遇到各种各样类似加密的情形,比如说: 某个网站的 URL 带有一些看不太懂的长串加密参数,要抓取就必须要懂得这些参数是怎么构造的,否则我们连完整的 URL 都构造不出来,更不用说爬取了。 分析某个网站的 Ajax 接口的时候,可以看到接口的一些参数也是加密的,或者 Request Headers 里面也可能带有一些加密参数,如果不知道这些参数的具体构造逻...

2020-05-06 21:26:05

针对主要使用非http协议长链接,但监控支持http协议的抓包分析流程简述

分析1、Charles抓包一开始爬美团外卖App我是直接Charles上手就干的,但我抓了一天都没抓到有用的数据我就开始找资料,遗憾的是网上没有一篇关于美团外卖App抓包分析的文章,我是真的一篇都没看到(这里指的是移动app,不是网页)不过好在在我查找资料的过程也并非无任何收获,我得知美团使用了一种叫 “移动长连接“ 的技术导致我抓不到包;接着我在网上找了关于该名词的解...

2020-05-06 20:57:39

Hive 时间日期处理总结

select day -- 时间 ,date_add(day,1 - dayofweek(day)) ...

2020-03-16 11:28:06

为什么每一个爬虫工程师都应该学习 Kafka

这篇文章不会涉及到Kafka 的具体操作,而是告诉你 Kafka 是什么,以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫,老板给的需求如下:开发爬虫对你来说非常简单,于是三下五除二你就把爬虫开发好了:接下来开始做报警功能,逻辑也非常简单:再来看看统计关键词的功能,这个功能背后有一个网页,会实时显示抓取数据量的变化情况,可以显示每分钟、...

2020-03-11 23:57:53

python 简单元编程

软件开发领域中最经典的口头禅就是“don’t repeat yourself”。 也就是说,任何时候当你的程序中存在高度重复(或者是通过剪切复制)的代码时,都应该想想是否有更好的解决方案。 在Python当中,通常都可以通过元编程来解决这类问题。 简而言之,元编程就是关于创建操作源代码(比如修改、生成或包装原来的代码)的函数和类。 主要技术是使用装饰器、类装饰器和元类。  一、你想在函数...

2020-02-21 11:18:49

Android app反调试与代码保护的一些基本方案

Java:(1)Proguard借助Android studio的proguard工具,对Java代码分别进行压缩(Shrink)、优化(Optimize)、混淆(Obfuscate)、检查(Veirfy)。压缩(Shrink):去掉代码中无用的类、函数方法和字段。优化(Optimize):对Android的可执行文件dex进行优化,去掉无用指令。混淆(Obfuscate):用...

2019-12-30 16:30:01

ARM 指令列表

ARM 指令列表 ADC 带进位的32位数加法 ADD 32位数相加 AND 32位数的逻辑与 B 在32M空间内的相对跳转指令 BEQ 相等则跳转(Branch if EQual) BNE 不相等则跳转(Bran...

2019-12-20 12:42:55

Python 库打包分发(setup.py 编写)

Python 有非常丰富的第三方库可以使用,很多开发者会向pypi上提交自己的 Python 包。要想向 pypi 包仓库提交自己开发的包,首先要将自己的代码打包,才能上传分发。distutils 简介distutils是标准库中负责建立 Python 第三方库的安装器,使用它能够进行 Python 模块的安装和发布。distutils 对于简单的分发很有用,但功能缺少。大部分Pyt...

2019-12-11 11:31:37

互联网那些名词~~~

DAU: daily active user,日活跃用户数量MAU:月活跃用户量ARPU: (Average Revenue Per User)即每用户平均收入,用于衡量电信运营商和互联网公司业务收入的指标。KPI:关键绩效指标法,是企业绩效考核的方法之一,其特点是考核指标 围绕关键成果领域进行选取MOU:平均每户每月通话时间(minutesof usage)OTT: “...

2019-12-03 16:44:16

win10下安装pytorch,torchvision

电脑里以前安装了 tensorflow,现在因为学习需要,需要安装pytorch。还是在原来安装tensorflow的位置安装pytorch。由于采用在线安装太慢了,而且中途还会因为网速不稳定终端!因此,采用离线安装(真的是快啊),先将具体操作记录如下(PS:本文只讲在已经安装CUDA和CUDNN等一系列前提下,进行的)1、首先去清华镜像下载pytorchhttps://mi...

2019-08-17 23:33:34

Matching SM architectures (CUDA arch and CUDA gencode) for various NVIDIA cards

I’ve seen some confusion regarding NVIDIA’s nvcc sm flags and what they’re used for:When compiling with NVCC, the arch flag (‘-arch‘) specifies the name of the NVIDIA GPU architecture that the CUDA f...

2019-06-20 16:42:24

编译报"const void *" is incompatible with parameter of type "const float *",跟gcc版本相关

error :/usr/lib/gcc/x86_64-linux-gnu/5/include/avx512fintrin.h(9220): error: argument of type "const void *" is incompatible with parameter of type "const float *"/usr/lib/gcc/x86_64-linux-gnu/5/i...

2019-06-20 15:57:46

OpenCV两种畸变校正模型源代码分析以及CUDA实现

图像算法中会经常用到摄像机的畸变校正,有必要总结分析OpenCV中畸变校正方法,其中包括普通针孔相机模型和鱼眼相机模型fisheye两种畸变校正方法。普通相机模型畸变校正函数针对OpenCV中的cv::initUndistortRectifyMap(),鱼眼相机模型畸变校正函数对应OpenCV中的cv::fisheye::initUndistortRectifyMap()。两种方法算出映射Ma...

2019-03-21 18:05:16

ASTER :An Attentional Scene Text Recognizer with Flexible Rectification

目录XiangBai——【PAMI2018】ASTER_An Attentional Scene Text Recognizer with Flexible Rectification 作者和论文 方法概述 1. 主要思路 2. 方法框架和流程 3. 文章亮点 方法细节 1. 背景 2. Rectification Network 3. Rec...

2019-03-08 11:21:51

文字检测算法

前言pixel-anchor是云从科技前几天放出来的论文,文章提出了east和Textboxes++的合体模型,通过结合anchor-based和pixel-based的检测方法的特性,达到了SOTA。不过就整个框架而言,创新点虽然不多,但是预感会带起一波检测与分割结合的文字检测方法。文章脉络anchor-based和pixel-based方法的优缺点 网络结构 结果分析 模型分...

2019-03-06 18:28:10

Face-Image-Quality-Assessment

Image Quality Assessment Papershistory reference VeNICE: A very deep neural network approach to no-reference image assessment. 2016ICASSP:Blind image quality assessment formultiply distorted imag...

2019-02-22 16:03:17

图像质量评价 指标PSNR,SSIM,SROCC,PLCC

ssim的计算里面有高斯模糊,为了快速计算,先对每个小块进行计算,然后计算所有块的平均值。可以参考源代码实现,而且代码实现有近似的在里面!matlab中中图像PSNR和SSIM的计算“在实际应用中,可以利用滑动窗将图像分块,令分块总数为N,考虑到窗口形状对分块的影响,采用高斯加权计算每一窗口的均值、方差以及协方差,然后计算对应块的结构相似度SSIM,最后将平均值作为两图像的结构相似性度量,即平...

2019-02-21 18:16:37

mongodb的限制规则

文章翻译自来源:http://docs.mongodb.org/manual/reference/limits/#limit-bson-document-size一、BSON 文档1、BSON文档大小,最大限制为16MB,这种限制是为了确保单个文档不会使用过多的RAM,或者在迁移期间不会占用过多的带宽。为了保存大于该限制的文档,mongodb提供了GridFS当插入的文档大于16MB时...

2019-01-28 19:02:56

cuda和cudnn在linux ubuntu16.04下的安装

系统如果一开始就没有装显卡驱动,那么就不用装了,直接装cuda可以顺带把显卡驱动装了。如果已经装了,那么确保已安装的显卡版本符合cuda版本要求,可以去官网查询。我个人建议直接不管原来的显卡驱动,先卸载了,直接安装cuda中的显卡驱动即可。ps:cuda包比较大,里面已经包含了显卡驱动包cuda安装:准备工作:检查自己机器的gpu信息lspci | grep -i nvidia确认...

2019-01-18 15:05:24

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。