- 博客(60)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 pyinstaller打包py文件的一些问题记录
打包了一个django网站,折腾了一天才弄好,这里记录下遇到的一些问题及相应的解决办法(pyinstaller的安装及使用方法可自行百度 ):打包环境: django==1.8 win7 64位 python==2.7.12 pyinstaller==3.3.1项目结构(简化):pro templates views u...
2018-07-27 15:14:11
2825
原创 python 协程的一些测试
最近项目要用到协程,以前的都忘了大半了,现在从新捡起来测试下,这里做下记录(机器是centos6.9 2G2核, python2.7.12):1.简单应用:import geventimport gevent.monkeygevent.monkey.patch_all()def call(x): time.sleep(3) return xclass Te...
2018-07-26 16:10:43
427
原创 记一次spark任务调优过程
最近跑了一个spark任务(逻辑回归训练建模的),数据量是3000多万左右,在跑的过程中出现了各种错误,跑了8h左右,结果还是错了.最后下载了日志,分析之后,做了些修改,最终跑成功了,而且只用了0.8h,这里记录下:1.maven打包失败问题: 我的项目是用maven管理的,在打包时,因为之前的target没有删除干净,结果导致打包失败.改用如下命令后成功:mvn clean...
2018-07-23 11:14:20
2024
原创 phpmyadmin4.7.1 关闭gzip网页压缩传输的实现
目前项目有个需求,就是要关闭phpmyadmin 网站 gzip传输的功能,一开始是百度了,绝大部分是开启这个功能的文章,而且还是通过apache2 来实现的. 弄了半天后,偶然发现phpmyadmin是默认自带开启这个功能的,这个好办了,直接修改配置文件就好了.1.在网站目录下,比如/var/www/html/libraries, 修改 两个文件:a.config.default.php,修改为
2018-01-18 10:41:23
375
原创 python 好用的日志模块
大神同事提供的一个python 日志模块,就是日志文件最大20M,超过时就会覆盖之前的,很不错,代码如下:import osimport loggingimport logging.handlersdef init_logger(log_file): dir_path = os.path.dirname(log_file) try: if not o
2017-12-14 11:24:45
3014
4
原创 django 数据处理项目总结
最近做了一个检测数据的项目.总的来说,很简单,就是一个不停运行的脚本,监控数据源,有新数据时就检测,并及时将检测结果在前端展示出来.虽然说的很简单,但是在真正的实施过程中遇到了很多的坑,所以,这里总结下:1.supersivor使用的问题:(1)检测脚本是用supervisor监控的,挂掉了就会重启,这很方便.但因为脚本里面我单独调用了django 的orm,并且通过cx_Oracle连接
2017-12-14 10:51:55
877
原创 xtrabackup恢复备份后,mysql无法启动,报Job failed to start
今天测试 mysql的备份与备份恢复,因为数据量比较大,所以选用的xtrabackup.之前打算用binlog2sql,后来看到不支持建表等其他操作,就选用xtrabackup.这里记录下使用过程中遇到的坑:1.要先停止数据库.本来是直接运行:innobackupex--copy-back /extrabackup/2016-04-27_07-30-48/结果报错,说是
2017-11-24 17:01:18
1667
原创 django 1.11 设置点击浏览器后退按钮时自动刷新
目前项目有个需求,如标题所说,之前百度了google了一些js方法,都不行.后来还是在大神同事的帮助下才解决的.因为浏览器是有缓存的,后退时都是读取缓存的.所以应该设置该页无缓存.在django中可以通过设置响应头来实现浏览器器禁止缓存.先确定该页的Cache-Control,Expires,Pragma是否已经设置过了,可以通过按浏览器F12来查看.若已经设置过了,可以在django
2017-11-02 18:15:15
1504
原创 django 大数据检测网站制作总结
最近的一个项目,用django做的一个检测网站,主要是检测网络流量的,月均10多亿的数据.这对表的设计和数据库查询有很大的要求,路上踩了很多坑,这里总结下.具体代码就不贴了,事关公司机密,这里主要写下思路.1.表设计因为有20多个字段,一开始是用mysql 3张表来存储,之间通过外键相连,便于前端展示,后来实际检测的时候,发现慢的要死,2W多数据就要1min,这还了得.后来全部重新设计了,
2017-10-17 19:41:34
1223
原创 nginx 配置模板
今天一个群里的小伙伴(福建－硕) 分享了nginx 的配置模板,写的挺详细的,这里记录一下:nginx_conf.txt:user root; #使用nginx用户启动进程worker_processes 8; #这里一般为cpu核数pid logs/nginx.pid; #pid文件存储路径ev
2017-09-29 14:36:26
3016
原创 jquery each函数参数传递的问题
都知道each函数是一个很好的遍历方法,但有些时候需要传递些参数进去,这时就出现问题来了.1.传递数组.varobj = { one:1, two:2, three:3}; each(obj,function(key, val) { alert(key);alert(val);});其中, obj是我们要传递的参数数组,
2017-09-27 09:33:25
5155
原创 ajax获取后台数据并插入到tr中 的功能实现
目前项目有个需求:tr是后台动态生成的,当点击其中一个tr时,获取相应的数据,并在该tr下以新的tr形式展开数据,这时可能会有多个新的tr生成,当再次点击旧的tr时,这些新的tr全部折叠起来.因为对js不是太熟练,在加上url配置错误了,弄得我花了半天时间才弄好,这里记录一下.js代码:$(document).ready(function() { var aa =
2017-09-25 19:40:03
1855
原创 <python数据分析与挖掘实战>第10章 训练多层神经网络的错误解决
我用的是win7 py36,在学习这本书第10章时,运行书中的源代码老是出错,这里记录一下.书中源代码是:import numpy as npimport pandas as pdfrom pandas import DataFramefrom pandas import Seriesfrom numpy import nan as NAdatafile = 'D:\da
2017-09-07 14:49:03
1114
原创 jquery 实现列表点击折叠与展开的功能
需求是点击列表,展开折叠的内容,再次点击后折叠列表,还要给数据打上已查看的标记,折叠列表后页面刷新,有已查看标记的数据就不会显示.jquery代码: $(function (){ var aa = 0; $(".gradeX").click(function(){ $(this).toggleClass("selected"); var b = $(this)
2017-09-05 13:43:25
8709
1
原创 net start MongoDB 服务名无效错误解决
今天在win7 64位上安装了mongodb,是按照http://blog.csdn.net/qq_27093465/article/details/54574948这一篇文章的步骤来做的,在最后出现个问题,就是启动服务时报错:服务名无效.看了几篇文章后,终于解决了.步骤如下:1.将data目录下的所有文件都删除;2.以管理员模式打开cmd,cd到mongodb bin目录
2017-09-05 10:12:46
20011
6
原创 echarts 引入报错问题的解决
要用echarts画一个世界地图,遇到了很多问题,这里记录一下:1. XXX is not a function 或者 XXX is not defined 报错解决思路: 一开始是用required 设置path引入的,结果报错:required is not defined,改成标签形式引入,结果报 XXX is not a function,搜索后发现是echarts.js 版本
2017-08-28 11:16:43
44723
原创 JS td 动态事件的处理
django 写了个网站,在HTML上动态生成了许多tr和td,目前一个需求就是鼠标移到某个tr上就弹出相应的td的内容,一开始是用js on和live方法给全部tr绑定动态事件,后来发现没效果,最后用each 遍历全部tr 才搞好的代码如下:var edn = ''; $('.gradeX #image').each(function () { $(this)
2017-08-24 13:48:17
1658
原创 python获取网页源代码后在网站上显示
最近一个项目,要求利用header和cookie爬取网站的页面,然后在自己的网站页面上显示出来.思考了很多方法,比如jsonp跨域,script等等,但发现传回来的都是网页源代码,而我们的要求是打开这个页面,后来又利用了python的webbroswer,js的弹窗,又发现不能设置header和利用cookie登录,真是麻烦.最后,直接简单粗暴的利用requests库解决了这个问题
2017-08-21 12:06:55
1330
原创 ORA-00932: inconsistent datatypes: expected - got NCLOB
在一个项目中,要使用oracle 11g, 在去重复查询操作中出现上面的问题,查找官方文档后发现是oracle 的一个bug, 在字段长度超过2000时就会出现上面的问题,悲催呀.解决办法: 升级oralce,或者重新优化表结构和字段吧.
2017-08-14 17:05:33
4820
原创 django 使用 oracle 数据库的问题
最近因项目需要,一定要使用oracle数据库,出现了很多坑,现在记录下来(其实oracle数据库就是那么的难用,其他框架用它也同样很多问题,不过最近django用的比较多,所以就专门下了下django下面的用法)1.配置:DATABASES = { 'default': { 'ENGINE': 'django.db.backends.oracle',
2017-08-10 11:26:23
1654
原创 linux 部署django项目时出错: WebSocket connection,Unexpected response code: 200"
在这个项目中用到了dwebsocket,而部署是利用nginx和uwsgi,在Windows下是正常的,但一移植到linux下就报上面的错误,其实解决方法很简单:nginx配置:location /{ include uwsgi_params; uwsgi_pass 127.0.0.1:8080; uwsg
2017-08-04 12:04:16
1817
2
原创 websocket 利用json 传递多个参数
目前情况是页面加载完后要从后台获取多个信息,而信息是动态的,这要求我们前端也要动态的显示,查了很多资料,利用websocket终于解决了.其实主要注意一点,websocket的参数是以二进制来传递的,在编写代码时注意编码与解码,就行了.JS代码:$(document).ready(function () { if (window.s) { win
2017-08-03 14:53:12
31047
9
原创 js,python正则表达式对特殊字符的处理
有些时候可能要对一些特殊字符进行一些处理,这里总结下python和js各自的处理方法:1.js: 特殊字符: +空格/?%&=#处理方法:function change(aa) { var elem = document.createElement('div'); var
2017-08-03 11:24:53
404
原创 html加載css,js文件后沒有效果
最近在做一個網站的項目,發現有些html裡面的css和js文件加載后完全沒有效果,可以確定是加載成功了,而且沒有報錯.搗鼓了很久,最後搞好了,來總結下:1.修改完后刷新2.清除瀏覽器緩存后刷新3.css和js文件的加載順序,比如說a要引用b,那麼b一定要在a之前加載4.css或者js文件錯誤,或者不完整.以上4個步驟幾乎可以解決大部分加載
2017-07-26 13:49:30
1029
原创 uwsgi部署web项目时的问题
在LINUX下部署Nginx、uwsgi、django时，出现问题：django.core.exceptions.ImproperlyConfigured: Error loading cx_Oracle module: libclntsh.so.11.1: cannot open shared object file: No such file or directoryunable to
2017-07-25 17:20:40
12741
2
原创 django 1.11 自定义分页功能的实现
在WEB中很多时候是免不了要分页的，如果我们的数据太多了，分出来6000多页或者更多的时候，用django自带的分页功能就不好看了，所以我们来自定义一下。我是参考http://www.cnblogs.com/nulige/p/6558207.html这篇文章的，不过如果照着抄的话，会报错的，我修改了几个地方，实现效果如下图：最后代码：urls.py的代码就不写了
2017-07-13 10:55:57
1070
2
原创 django 1.10 ORM单独使用的问题
有些情况下，我们可能要对数据库进行操作，但是不想用sql语句的话，可以单独使用django的orm模块，方法非常简单，3行代码就行了：import os,djangoos.environ.setdefault('DJANGO_SETTINGS_MODULE', 'web.settings') #web为你项目的名字django.setup()from webshell.
2017-07-06 16:28:17
616
原创 Pycharm中使用django-redis 的问题
django-redis因为更新了，很多模块都移除了，所以老是弄的各种问题。首先，CACHESDK路劲：CACHES = { 'default': { 'BACKEND': 'django_redis.cache.RedisCache', 'LOCATION': '127.0.0.1:6379', },}REDIS_TIMEOUT=7
2017-06-14 15:21:33
1471
原创 django 中验证码登录验证的实现
django中有关于登录验证的第三方模块，大家可以自己去搜搜，这里说一下自定义验证码登录的情况（可以参考http://www.cnblogs.com/alex3714/articles/6662365.html这篇文章）。我们生成的验证码图片在发送给html前要先存放，可以有两种地方：1.内存中，我们开发环境下时可以这样用，但是在生产时最好别这样，因为访问量太高的话，你内存就等着爆吧；
2017-06-12 17:08:12
4714
1
原创 Python 基础算法
算法是指解题方案的准确和描述，那么衡量一个算法的优劣可以用时间复杂度和空间复杂度来表示。1.时间复杂度：O（1），O（n），O（n^2）,O(n^3),O(log2n),O(nlog2n),O(n!)等等比如说： a = 2 是O（1）O(n^2)交换i和j的内容 sum=0； （一次） for(i=1;i
2017-06-11 11:03:04
916
转载 python3 二叉树及单链表
看了http://blog.csdn.net/qq_14959801/article/details/52988861及http://blog.csdn.net/hongwing/article/details/52433933的博客，写的挺好的，就自己记录了单链表：class Node(): def __init__(self, value, next=None):
2017-06-08 11:15:39
1796
转载 django WEB聊天室项目
强烈推荐这位大神的文章http://www.cnblogs.com/zhming26/p/5920642.html挺全面的
2017-06-06 10:19:05
3531
原创 django 分页功能的实现
我是参考了这位大神（http://www.cnblogs.com/kongzhagen/p/6640975.html）的文章后自己写的，因为大神的文章中url没有写，另外在写完后页面虽然分页了，但是没有数据显示，那分页了就没什么用了，所以自己弄了下，将这两个问题都搞好了views 代码：from django.core.paginator import Paginator, Empty
2017-06-05 14:53:50
6020
2
原创 django ajax提交评论并自动刷新功能的实现
在试了很多次了，终于搞定了，上代码吧。（我用的是jquery的ajax，不是原生的）js代码：script> $(document).ready(function () { getcomment(); $('.comment-box button').click(function () { var comment_text
2017-06-04 16:22:10
4118
1
原创 django 中ajax、session、cache的使用
1.ajax登录验证的使用html：p>Username:input type="text" id="username">p>p>Password:input type="text" id="password">p>button onclick="tijiao1();">Submitbutton>span id="status">span>>js：function
2017-06-02 16:07:59
1187
原创 Django cms项目之views.py（3）
设置各种视图函数from django.shortcuts import render, get_object_or_404,HttpResponseRedirectfrom .models import Article, Comment, Poll, NewUserfrom .forms import CommentForm, PostFormfrom django.contrib
2017-06-01 20:39:11
486
原创 Django cms项目之models.py,admin.py,forms.py(2)
1.models.py设置from django.db import modelsfrom django.contrib.auth.models import Userfrom django.contrib.auth.models import AbstractUser（1）自定义Userclass NewUser(AbstractUser): profile
2017-06-01 20:28:28
611
原创 Django cms项目之setting.py(1)
这是我参考了虫师和D-Roger（http://d-roger.com/2016/06/27/hvae/）的文章后自己写的一个cms项目，源码已经上传至GitHub上了，这里写下来总结下：1.我用的是mysql，所以在站点__init__.py下添加pymysql接口：import pymysqlpymysql.install_as_MySQLdb()2.mysql数
2017-06-01 20:19:26
575
原创 pymysql、mysqll、django的使用
1.操作import pymysql.cursorsconfig = { 'host':'127.0.0.1', 'port':3306, 'user':'root', 'password':'1234', 'db':'test', 'charse
2017-06-01 16:02:20
664
空空如也
mininet 自定义创建的拓扑如何移植到真实的生产环境当中
2017-11-14
mysql 大数据量查询优化
2017-11-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人