4 jiangshanwe

尚未进行身份认证

我要认证

ERP,CRM,SRM,OA,SAP

等级
TA的排名 5w+

python3通过scrapy爬取CSDN指定博主的文章

需求背景CSDN今年上线了“数据观星”的功能,可以看到最多30天的日访问量趋势。现在想看每一篇文章的日访问情况,只能自己想办法了。于是想到用python来实现这个需求。每天定时抓取每一篇文章的信息,和前一天阅读数相比,可以计算出前一天的阅读数量,然后存到MySQL数据中,进行下一步的分析。项目结构Spider代码import reimport scrapyfrom my_blog.items import MyBlogItemclass CsdnSpiderSpider(scr

2020-08-05 17:06:02

Oracle转换为MySQL-使用Oracle脚本的方式

需求背景最近有个项目需要将Oracle的数据库转换为MySQL,并且要求把Oracle的数据也要迁移到MySQL中。ORM框架用的是Hibernate。试了多种办法:Navicat Premium 数据传输功能传输失败DB Convert Studio 主从复制功能基本可以成功,问题很多:速度非常慢;需要定制化,处理相互依赖的外键特殊字段类型:Oracle的Number(19)会转换为MySQL的Decimal类型,其实在Java实体类中是Long类型,后续新的实体类自动创建会对应MyS

2020-06-04 11:32:54

Oracle dbms_sql.describe_columns ORA-06502异常

Oracle中通过dbms_sql.describe_columns来获取列的明细,出现ORA-06502的异常。最终发现是因为列名超出32位。可以通过以下SQL语句来查找超出的列名(字段名)。select table_name, column_name, length(column_name)from all_tab_columnswhere owner = 'YOUR_OWNER_HERE'ORDER BY length(COLUMN_NAME) DESC;...

2020-06-03 18:16:35

centos yum安装MySQL出现 正在尝试其它镜像

前序步骤wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpmsudo rpm -ivh mysql57-community-release-el7-9.noarch.rpm镜像问题sudo yum install mysql-server如果直接执行上面的安装命令,由于网络原因,大概率出现...

2020-03-04 11:32:15

kafka启动报错Native memory allocation (mmap) failed to map 1073741824 bytes for

环境说明使用了腾讯云的免费试用的1CPU/1GB服务器,通过bin/kafka-server-start.sh config/server.properties命令启动kafka服务,出现以下错误:OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, the...

2020-02-02 15:06:06

spring hibernate 启动异常 SQLServerException: 数据库中已存在名为**的对象

1.故障描述项目使用spring boot启动,application.yml配置如下: jpa: database-platform: org.hibernate.dialect.SQLServer2012Dialect database: SQL_SERVER show-sql: true open-in-view: true hibernate:...

2019-06-13 18:36:33

Angular 生产打包 清除控制台打印console语句

开发过程中为了调试方便,开发者会在代码中增加很多console语句。在ng build --prod打包后,如果不希望这些语句展示到最终客户的浏览器。可以通过在main.ts中增加如下代码,达到效果:if (environment.production) { enableProdMode(); if(window) { window.console.log = function...

2019-02-01 10:49:42

nginx 配置监听端口出现 nginx: [emerg] bind() to 0.0.0.0:8081 failed (13: permission denied) SELinux

场景nginx配置8081端口监听,通过查看日志,出现nginx: [emerg] bind() to 0.0.0.0:8081 failed (13: permission denied)异常。但是其它端口监听/访问正常。解决方案检查已开放端口sudo semanage port -l | grep http_port_t如果8081端口未出现在列表中,则执行:sudo seman...

2019-01-24 10:19:03

Vue Cannot read property 'xxx' of undefined解决办法

问题场景使用{{}}文本插值方式,通过.级联显示内容。如下代码,foo通过后端接口返回。后端内容返回之前,控制台会Cannot read property ‘xxx’ of undefined的错误。<div> <h1>{{ foo.title }}</h1> <p>{{ foo.description }}</p>&lt...

2019-01-15 21:55:32

Tomcat启动出现ContainerBase.addChild//java.lang.StackOverflowError/springfox异常

场景使用Spring Boot开发,idea启动正常。war在Tomcat 8中启动出现异常:[localhost-startStop-1] org.apache.catalina.core.ContainerBase.addChildInternal ContainerBase.addChild: start: org.apache.catalina.LifecycleException...

2019-01-06 16:02:01

Jenkins使用/etc/profile中环境变量异常

问题描述Jenkins构建任务任务时需要执行sh脚本,在/ect/profile中export的环境变量无法被识别解决办法方法1:Jenkins构建步骤中,第一行增加source /etc/profile命令方法2:在Jenkins配置系统配置文件:/etc/sysconfig/jenkins末尾增加source /etc/profile,然后重启Jenkins服务即可参考http...

2019-01-04 16:59:56

nginx配置proxy_pass出现502/13: Permission denied问题解决

场景centos 7 :nginx配置监听80端口,并将请求转发到Tomcat 8080端口。浏览器访问域名,出现502错误。通过查看nginx日志:connect() to 127.0.0.1:9090 failed (13: Permission denied) while connecting to upstream, client解决方案查看系统httpd配置:getseb...

2019-01-04 13:49:09

往日不忆,来日可追-你好,2019!

高考作文写完以后,似乎对文字的掌控能力越来越弱。老板要求的年终总结PPT硬是熬了3个半天才出来个大概。因此,18年的个人总结要等到现在才坐下来慢慢思考。有些朋友看了我去年的文字(写在2017年末),吐槽说很符合摩羯座/程序员的风格,还有朋友模仿我的格式写就了公司要求的年终总结。考虑到去年立的Flag基本都没有完全实现,今年不列CheckList了,避免再次打脸。书桌上的书,也很少去翻动了。锅碗...

2019-01-01 19:50:52

Angular build 压缩js文件

ng build –prod使用ng build --prod进行生产环境打包,会自动使用UglifyJS进行js文件压缩,减轻网络加载。使用UglifyJS压缩由于各种原因(prod检查非常严格),ng build –prod命令可能无法成功。 这种情况下,可以使用UglifyJS来手工压缩文件较大的文件。例如可以压缩dist下文件最大的两个js文件,压缩后的文件名保持不变:...

2018-08-25 23:10:40

Angular 5 build 避免浏览器缓存

ng build –prod使用ng build --prod即可完成生产环境构建。观察dist文件夹,发现所有js文件名中间都会加上文件的hash值,从而避免浏览器缓存导致发布无效。ng build –output-hashing=all由于各种原因(prod检查非常严格),ng build --prod命令可能无法成功。 使用--output-hashing=all参数即可。...

2018-08-25 22:55:59

Angular 4/5 实现七牛云上传

利用Angular的组件式开发,将附件上传功能做成独立的一个模块,在其他功能中可以共用这个组件。 本示例只实现单文件上传功能。hmtl代码<div class="col-sm-12 uploadBody"> <div class="uploadHeader"> <span>上传文件</span> <

2018-07-28 12:06:18

Vue子组件传值 Expected String, got Function.异常

现象父组件引入子组件,子组件props中有title属性,这个title需要通过http请求确定。父组件中data定义:data: function () { return { title: String } }子组件定义:<p-table v-bind:title="$data.title"></p-table>解决...

2018-07-25 23:03:05

spring boot tomcat 产生大量jndi日志

现象spring boot编译出war包,在tomcat下启动后,tomcat/logs文件夹下会产生大量日志(每天10G级别)。观察日志文件可以发现,绝大数是jndi相关日志解决方案在resource文件夹下新建spring.properties文件,文件内容: spring.jndi.ignore=true参考https://jira.spring.io/brow...

2018-07-24 22:05:39

Angular 4/5 form表单select初始化选中(简单string和复杂对象)

1.问题场景管理员增删改查中的“改”操作。管理员有性别(sex)和岗位(position)属性。其中,性别在后端为枚举类型,position为类。 要求进入管理员修改页时,自动选择性别,通过接口获取所有岗位,并自动选中当前管理员的岗位。2.实现思路在组件的ngOnInit()方法中,首先使用FormBuilder构建表单。然后分别通过管理员查询接口和岗位列表查询接口,获取当前管理员的...

2018-05-29 17:21:16

Windows服务器Jenkins部署Angular项目执行npm ng 命令异常

场景描述构建一个自由风格的软件项目,选择对应的源码管理。每次构建时,Jenkins自动将最新的代码更新到workspace。然后通过增加构建步骤,执行npm install和ng build等命令,完成自动发布工作。问题描述增加构建步骤,选择“Execute Windows batch command”,增加npm install命令。构建时出错如下: C:\Jenkins\w...

2018-05-05 15:40:32

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。