• 等级
  • 242935 访问
  • 889 原创
  • 0 转发
  • 4878 排名
  • 74 评论
  • 40 获赞

peewee.OperationalError: too many SQL variables

使用peewee+sqlite批量插入数据报错 peewee.OperationalError: too many SQL variables sqlite 每次插入有数量限制,不能插入太多,资料显示999,不过我设置为500就报错了 peewee提供了一个方式,分次插入,两种方式等价 from peewee import chunked # Insert rows 100 at a time...

2018-12-10 11:02:08

Jinja2循环计数内置变量

变量 内容 loop.index 循环迭代计数(从1开始) loop.index0 循环迭代计数(从0开始) loop.revindex 循环迭代倒序计数(从len开始,到1结束) loop.revindex0 循环迭代倒序计数(从len-1开始,到0结束) loop.first 是否为循环的第一个元素 loop.last 是否为循环的最后一个元素 loop...

2018-12-09 15:29:01

Python编程:fnmatch匹配文件名

fnmatch提供了一种类似 Unix shell-style 风格的文件名匹配方式 匹配模式 * 匹配任何字符 ? 匹配一个字符 [seq] 匹配在集合seq 中的任意字符 [!seq] 匹配不在集合seq 中的任意字符 代码示例 import fnmatch filenames = [ "China.txt", "Japan.txt", "America.py",...

2018-12-09 14:44:29

Scrapy可视化管理管理工具总结

本文总结了与Scrapy框架相关的一些开源工具 scrapyd 项目地址:https://github.com/scrapy/scrapyd Scrapyd 是一个运行 Scrapy 爬虫程序的服务 pip install scrapyd scrapyd # 启动服务 环境测试: http://localhost:6800/ ScrapydAPI 项目地址:https://github.c...

2018-12-09 12:46:18

通过sqoop将mysql数据导入到hive中进行计算示例

hive计算示例 先将数据通过sqoop从mysql导入hive,在hive执行mysql的查询语句,得到与mysql一样的执行结果 步骤: mysql数据准备 account账号表 detail收支数据表 CREATE TABLE `account` ( `id` int(11) PRIMARY KEY AUTO_INCREMENT, `account` varchar(20),...

2018-12-05 23:44:42

Python编程:使用money对货币进行计算

money模块对货币进行简单的包装,实现简单的货币计算 安装 pip install money 代码示例 from money import Money m1 = Money("2.0", "RMB") print(m1) # RMB 2.00 print(m1.amount) # 2.0 print(m1.currency) # RMB m2 = Money("1.0", "RMB...

2018-12-05 10:45:15

Python编程:使用decimal定点数计算0.1+0.2

浮点型加法 0.1+0.2 Out[15]: 0.30000000000000004 decimal定点数加法 import decimal decimal.Decimal(0.1) + decimal.Decimal(0.2) Out[17]: Decimal('0.3000000000000000166533453694') # 设置精度 decimal.getcontext().pre...

2018-12-05 10:32:32

设置linux断开时长

修改文件 vim /etc/ssh/sshd_config # ClientAliveInterval 0 # ClientAliveCountMax 3 ClientAliveInterval 60 ClientAliveCountMax 3 解释: ClientAliveInterval指定了服务器端向客户端请求消息 的时间间隔, 默认是0, 不发送. ClientAliveInterv...

2018-12-04 23:37:02

Can't connect to local MySQL server through socket '/tmp/mysql.sock'

跟着linux安装MySQL教程做的时候,执行到 ./bin/mysqladmin -u root password 123456 mysql报错 错误:'Can't connect to local MySQL server through socket '/tmp/mysql.sock' 通过本地ip直接回车可以登录 mysql -uroot -h 127.0.0.1 -p 网上查找资料...

2018-12-02 16:20:03

Python实现一个最简单的MapReduce编程模型WordCount

MapReduce编程模型: Map:映射过程 Reduce:合并过程 import operator from functools import reduce # 需要处理的数据 lst = [ "Tom", "Jack", "Mimi", "Jiji", "GoodMan" ] # map过程:对每个数据进行处理,映射为字符串长度 lst = ...

2018-11-29 22:25:19

中文计数法亿兆京垓秭穰沟涧正载

个、十、百、千、万、 亿yì、兆zhào、京jīng、垓gāi、秭zǐ、 穰rǎng、沟gōu、涧jiàn、正zhèng、载zǎi 读音各异,不做深入探究了, wiki上是这样的 https://zh-classical.wikipedia.org/wiki/表數法 从小到大表示: 个 十 百 千 万 十万 百万 千万 亿 十亿 百亿 千亿 兆 十兆 百兆 千兆 京 十京 百京 千京 垓 十垓...

2018-11-29 18:43:34

Python编程:zope.interface实现接口

pypi : https://pypi.org/project/zope.interface/ 文档:https://zopeinterface.readthedocs.io/en/latest/index.html 面向对象中接口负责定义规则,具体实现类来实现规则 安装 pip install zope.interface 代码示例 from zope.interface import In...

2018-11-28 16:47:25

配置Pycharm的Scrapy爬虫Spider子类通用模板

# -*- encoding: utf-8 -*- """ @Date : ${YEAR}-${MONTH}-${DAY} @Author : xxx """ from scrapy import ( Spider, Request, cmdline ) class XXXSpider(Spider): name = "${NAME

2018-11-27 13:54:57

使用MapReduce计算用户流量使用情况

mapreduce任务调度 理解map和reduce的数据流的数据结构 项目地址:https://github.com/mouday/MapReduceDemo 参考 使用Intellij Idea打包java为可执行jar包 Idea打包Jar文件 idea创建普通java工程,添加jar包,打包jar包 ...

2018-11-27 00:43:59

java:MapReduce原理及入门实例:wordcount

MapReduce原理 MapperTask -> Shuffle(分区排序分组) -> ReducerTask MapReduce执行步骤 Map处理任务 读取文件每一行,解析成<key、value>,调用map函数 处理逻辑对key、value处理,行成新的key、value 数据分区 Reduce处理任务 拷贝map任务输出到reduce节点,对map任务...

2018-11-26 00:14:18

程序员如何选择编程语言

很多人关心这个问题,其实一张图足以说明每个语言的位置 没有最好的语言,只有最适合的应用场景 参考: c#,c++,Java,Python选择哪个好?

2018-11-24 13:57:53

Java: Hadoop文件系统的读写操作

所需jar包路径: hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin java代码实例 import org.apache.hadoop.conf.Configuration...

2018-11-24 00:04:32

TypeError: 'encoding' is an invalid keyword argument for this function

python 2.7版本 data_file = open("data.txt", "r", encoding='utf-8') 运行的时候报错: TypeError: 'encoding' is an invalid keyword argument for this function 解决: import io data_file = io.open("data.txt", "r", e...

2018-11-23 18:03:27

一图看懂ADSL拨号服务器

基本原理就是: 拨号主机(多台)负责切换ip 固定主机(一台)负责收集ip 爬虫主机(多台)负责使用ip 参考 使用Tornado+Redis维护ADSL拨号服务器代理池 ...

2018-11-22 19:23:59

linux直接下载java

网上的教程好多是下载到本地,再拷贝到服务器上 因为Oracle官网下载java需要点击接受按钮,如果不接受就会被跳转 参考了一些文章之后,发现: 只要把点击确定后的的cookie复制下来,加到下载请求头里边就行,例如: wget --no-cookies --no-check-certificate --header "Cookie: <xxx>" <url> 解释: &am

2018-11-19 23:01:40

彭世瑜

要成为程序员的男人,个人主页:www.pengsh iyu.com ...展开 收起
关注
  • 计算机软件
  • 中国 北京 朝阳区
奖章
  • 专栏达人
  • 持之以恒
  • 1024勋章