3 liudahai777

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 3k+

火影推荐程序连载55-实战用puppeteer 和puppeteer-cluster 获取某站所有有用链接

谷歌推出的用于操作无头浏览器的nodeJs框架,提供上层API用于直接操作浏览器。该框架适用于爬取web2.0页面,同时对web1.0的支持率也比较高,代码编写也很简单。Puppeteer-cluster池化思想作用于puppeteer的产物,任务分发与调度,让nodejs可以利用自身去实现整个爬虫。在使用该组件之前,我使用java来写爬虫的调度算法,然后用eureka来调用nodejs的页面抓取模块首先需要获取整站的所有页面获取所有页面,并确定当url是pan.baidu.com的时候过.

2020-10-20 14:40:19

火影推荐程序连载54-华为鲲鹏专家解读:90%代码如何移植到鲲鹏平台

Linux环境下跨平台软件移植过程中,需要开发者阅读代码、手工修改、反复编译和调试,移植周期长,效率低,那么如何改进周期长,效率低的问题呢?基于此,来自华为智能计算专家张汝涛带来了“90%代码如何实现自动移植到鲲鹏平台”的主题分享活动,他主要从鲲鹏开发套件实现基于C/C++软件的高效代码移植,加速开发者实现跨平台软件移植两个层面进行分享。以下分享的速记内容:今天要讲的主题是关于软件迁移这一件事,是一个久远的话题。因为但凡是牵扯到切换平台、CPU架构的变化,甚至一些语言版本的升级,我们都可能会面临到一

2020-10-19 17:52:31

火影推荐程序连载53-从Linux源码看Socket(TCP)的bind

笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码,是一件Exciting的事情。 今天笔者就来从Linux源码的角度看下Server端的Socket在进行bind的时候到底做了哪些事情(基于Linux 3.10内核)。一个最简单的Server端例子众所周知,一个Server端Socket的建立,需要socket、bind、listen、accept四个步骤。代码如下:void start_server(){ // server fd int sockfd_serve

2020-10-16 11:25:19

火影推荐程序连载52-什么是Serilog?

上文说到Nlog日志框架,感觉它功能已经很强大,今天给大家介绍一个很不错的日志框架Serilog,根据我的了解,感觉它最大的优势是,结构化日志,它输出的日志是Json的格式,如果你使用的是Mongodb进行存储日志,那就是完美的结合,MongoDB也是文档式数据库,存储的格式很像JSON,也可以它是一个JSON文件,查询数据库快。不扯远了,还是讲讲Serilog的使用吧!一、什么是Serilog?Serilog 是 ASP.NET Core 的一个插件,可以简化日志记录。Serilog 有各种.

2020-10-15 11:20:57

火影推荐程序连载51-如何选择JVM垃圾回收器?

-XX:+UseSerialGC 年轻代和老年代都用串行收集器-XX:+UseParNewGC 年轻代使用ParNew,老年代使用 Serial Old-XX:+UseParallelGC 年轻代使用Paraller Scavenge,老年代使用Serial Old-XX:+UseParallelOldGC 新生代Paraller Scavenge,老年代使用Paraller Old-XX:+UseConcMarkSweepGC,表示年轻代使用ParNew,老年代的用CMS + Serial Old

2020-10-10 11:25:59

火影推荐程序连载50-数据标注与数据校验

数据标注(Data Annotation)是类或类成员添加上下文信息的一种方式,在 C# 通常用特性(Attribute)类来描述。它的用途主要可以分为下面这三类:验证 Validation:向数据添加验证规则 显示 Display:指定数据如何呈现给用户 模型 Modelling:添加关于用法和与其它类的关系信息下面是一个用来验证和展现用户信息的一个 Model:class Kid{ [Range(0, 18)] // 年龄不能超过18岁,不能为负数 public int Age

2020-10-09 11:16:02

火影推荐程序连载49-记一次ElementUI源码修改过程

 最近在研究hashmap的扩容机制,作为一个小白,相信我的理解,对于一些同样是刚刚接触hashmap的白白是有很很大的帮助,毕竟你去看一些已经对数据结构了解透彻的大神谈hashmap的原理等,人家说的很高大上,时不时会夹着稍许的英文你也看不懂是吧,不过这样显得比较有逼格哈哈。在正文之前,我非常有必要给刚刚接触hashmap以及没有学过数据结构(其实数据结构我了解也不多哈哈)的小伙伴普及几个知识,你记住就行了:    1. 对于刚接触hashmap,hashmap你就暂时理解为哈希表(hash表),结.

2020-10-08 10:45:10

火影推荐程序连载48-源发丝分割数据集CelebAHairMask-HQ(国庆献礼)

在这个特别日子里,举国欢庆,什么都可以缺席,大礼包不行。本次开源针对CelebAMask-HQ中发丝部分进行细化的数据集。该数据集可用于发丝分割等方向的研究和探索。在过去的一年时间里,疫情改变很多人的工作和生活,博主自然免不了也成为其中一员,非常有幸成为了一名无业游民。不是别的原因,只是觉得过去近一年过得有点蒙圈,暂时稍微停下来休整一下。过去一年里,大部分精力,扎在一个让人头疼的领域,手机上实时发丝级别语义分割里做研究。真的好南!前期看了半年多的论文和项目资料..

2020-10-02 13:42:24

火影推荐程序连载47-Flask 内置了简单的 Web 环境

Flask 内置了简单的 Web 环境,让我们在开发的时候只需要专注于应用实现,而真正要在生产环境运行时这个简单的 Web 环境就不够用了,还需要一系列操作才能让 Web 应用高效的运行起来。现在记录一下在生产环境部署 Flask 应用的其中一套方案:Nginx + Gunicorn + Supervisor。1. 准备1.1 项目结构我的项目结构类似这样, myapp 包是应用的主要代码,其中的初始化文件 init 提供了创建程序实例的工厂方法 create_app ,主目录下的 .flask

2020-10-01 14:32:49

火影推荐程序连载46-操作系统:x86下内存分页机制

当我们写程序的时候,总是倾向于把一个完整的程序分成最基本的数据段,代码段,栈段。并且普通的分段机制就是在进程所属的LDT中把每一个段给标识出来。但是在实际运用中,大多数进程不会无限地运行下去。当进程结束之后它占有的内存空间也会被释放。但是这样就会出现一个问题:内存碎片导致的内存使用效率低下当进程A准备载入内存的时候,实际上内存的总剩余空间是足够放下的。但是进程A中的蓝色段无法直接放入内存中(假设这一段是代码段)。也就是说我们必须等待内存中的进程被释放的时候才能载入进程A。很明显,等待的工作是非常令人

2020-09-30 13:53:26

火影推荐程序连载44-数据库的选型

对于很多程序员来说,公司选择什么样的数据库,基本不需要你来决定。当你加入一个公司的时候,公司的大部分技术选型已经确认,特别是数据库选型,因为数据库一旦选择,后期迁移的代价还是很大的。随着大数据时代的来临,涌现出了很多新型数据库,在公司遇到数据性能瓶颈,喊去IOE口号或者是想尝鲜时,都会慢慢的使用新型数据库。但是无论是技术选型还是转型,你都不能忽略一个因素:你选的数据库技术你能驾驭吗?我们知道,现在有很多开源数据库可以让我们选择,但是我们有相关的技术人员精通这些数据库吗?比如GreenPlum这款

2020-09-29 13:29:52

火影推荐程序连载44-Spring Boot第二弹,配置文件怎么造?

自从用了Spring Boot,个人最喜欢的就是Spring Boot的配置文件了,和Spring比起,Spring Boot更加灵活,修改的某些配置也是更加得心应手。Spring Boot 官方提供了两种常用的配置文件格式,分别是properties、YML格式。相比于properties来说,YML更加年轻,层级也是更加分明。今天这篇文章就来介绍一下Spring Boot的配置文件的语法以及如何从配置文件中取值。properties格式简介常见的一种配置文件格式,Spring中也是用这种

2020-09-28 13:09:37

火影推荐程序连载43-云与计算生态开发者蓬勃发展

01云与计算生态开发者蓬勃发展联接、计算、云、AI、行业应用这5种技术、5大机会史无前例地汇聚到一起。联接、计算、云和AI技术就像100多年前的电力,而行业应用就像家用电器和工业电气化。放眼未来,决定各行各业竞争力的关键就在于如何驾驭这些数字技术,构建行业应用。开发者无疑是推进这一进程,加速智能升级的核心力量。从2016年至今,华为云与计算领域开发者数量已从2.5万发展到180万,增长超过70倍。2019年,华为发布“沃土计划2.0”,未来五年投资15亿美金发展云与计算开发者。正是开发者们的信任与不

2020-09-27 15:20:42

火影推荐程序连载42-用Docker swarm快速部署Nebula Graph集群

用Docker swarm快速部署Nebula Graph集群一、前言本文介绍如何使用 Docker Swarm 来部署 Nebula Graph 集群。二、nebula集群搭建2.1 环境准备机器准备 ip 内存(Gb) cpu(核数) 192.168.1.166 16 4 ...

2020-09-26 15:14:13

火影推荐程序连载41-有没有异常处理翻车过的,绩效还被打了C

完了,马上季度末打绩效,竟然在这里翻车了,心如刀绞啊。虽然没有影响到用户体验,但是找到问题并解决掉问题是工程师日常追求之一。作为一个优秀的工程师,应该还得加几点:弄清问题本质 总结问题原因 举一反三,防止出现类似错误异常处理,对于每个开发者来说一点不陌生。有人这样描述,“一个开发者90%的时间都是在处理程序异常”。这样说也不算是什么过错,毕竟正常的逻辑总是轻松容易的写完,异常处理往往会占据开发者大多数时间。既然这么占据我们的开发时间,何不主动花点时间去了解他,熟悉他,切莫让他成

2020-09-25 09:05:02

火影推荐程序连载40-python自动保存百度网盘资源,一定要看

一个导入导出通用库,支持Dto导入导出以及动态导出,支持Excel、Word、Pdf、Csv和Html。在本篇教程,笔者将讲述如何使用Magicodes.IE的导入导出筛选器。在开始之前,我们需要先了解Magicodes.IE目前支持的筛选器:接口 说明 IImportResultFilter 导入结果筛选器,可以修改导入结果包括验证错误信息(比如动态修改错误标注) IImportHeaderFilter 导入列头筛选器,可以修改列名、值映射集合等等 IExporterHe

2020-09-24 14:59:08

火影推荐程序连载39-laravel关于错误和异常的部分源码

第一部分:laravel关于错误和异常的部分源码第二部分:自定义异常的使用(结合serviceprovider monolog elasticsearch)过程中涉及到的重要函数请自行查看手册error_reporting set_error_handler set_exception_handler register_shutdown_function error_get_lastlaravel v6.18.40源码部分我们来到http kernel文件,处理请求部分可以.

2020-09-23 15:16:14

别写秒杀系统了,我告诉你消息管理平台实现原理吧

没错,我又给自己挖了个坑。为什么想写项目相关的文章呢?原因有以下: 当我还没正式开始工作时,我经常会想:”网上的视频项目我是看过了,但真正的商业项目究竟长什么样?会不会很难?“我是挺想知道真正的商业项目跟自己练习的项目区别在哪。我估摸还没工作的同学应该也有跟我类似的思考吧? 变相推动自己持续输出,在这个过程中学习和成长。关注我可能有小白,也可能有跟我做同一领域的大佬。我把我所了解的写下来:可能我这边的实现方案被大佬们唾弃,交流和学习后,改善了我系统的实现方案。也有可能给正准备踏进该领域的

2020-09-22 09:33:20

火影推荐程序连载38-java安全编码指南之:输入校验

为了保证java程序的安全,任何外部用户的输入我们都认为是可能有恶意攻击意图,我们需要对所有的用户输入都进行一定程度的校验。本文将带领大家探讨一下用户输入校验的一些场景。一起来看看吧。在字符串标准化之后进行校验通常我们在进行字符串校验的时候需要对一些特殊字符进行过滤,过滤之后再进行字符串的校验。我们知道在java中字符是基于Unicode进行编码的。但是在Unicode中,同一个字符可能有不同的表示形式。所以我们需要对字符进行标准化。java中有一个专门的类Normalizer来负责处理

2020-09-21 10:46:58

火影推荐程序连载37-URL及日期等特殊数据格式处理-JSON框架Jackson精解第2篇

Jackson是Spring Boot默认的JSON数据处理框架,但是其并不依赖于任何的Spring 库。有的小伙伴以为Jackson只能在Spring框架内使用,其实不是的,没有这种限制。它提供了很多的JSON数据处理方法、注解,也包括流式API、树模型、数据绑定,以及复杂数据类型转换等功能。它虽然简单易用,但绝对不是小玩具,本节为大家介绍Jackson的基础核心用法,更多的内容我会写成一个系列,5-10篇文章,请您继续关注我。在也就是上一篇中,为大家介绍了这些内容 一、基础准备 二、序列化..

2020-09-20 10:23:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。