不负长风

原创 es查询时同时指定多个字段

【代码】es查询时同时指定多个字段。

原创 python将“{‘a‘:1}“和‘{“a“:None}‘转化为dict

-----------------------------------------------------分割线------------------------------------------------------------------包裹的json字符串，使用以下代码转化为dict会报错。使用以下代码转化为dict会报错。转化为d办法同样是使用eval。包裹的json字符串，一种可行的转化方法是。

原创 python定义三层defaultdict

使用如下代码定义三层defaultdict。

原创 python中for循环的几个现象

【代码】python中for循环的几个现象。

原创 flask分页宏增加更多参数

背景：我正在开发一个博客，核心的两个model是文章和文章类别。现在想要实现的功能是：点击一个文章类别，以分页的形式显示这个文章类别下的所有文章，类似这种效果。参考的书中分页宏只接受页数这一个参数，经过尝试，成功给分页宏添加了文章类别参数，实现了上述功能。关键代码。

原创 一文详解pyspark中sql的join

我们是通过学生表的sclass和班级表的cid将两张表关联在一起，所以定义join表达式如下。

原创 分享一个学习git的网站

Learn Git Branching

原创 查看docker容器内的pid和宿主机中pid的映射关系

从返回信息中可以看到容器内进程号和宿主机中进程号的对应关系，示例如下。注：Linux内核版本小于4.1用此方法。进入对应的容器，执行。

原创 ModuleNotFoundError: No module named ‘wtforms.ext‘

【代码】ModuleNotFoundError: No module named ‘wtforms.ext‘

原创 {‘type‘: ‘illegal_argument_exception‘, ‘reason‘: ‘Limit of total fields [1000] has been exceeded‘}

【代码】{‘type‘: ‘illegal_argument_exception‘, ‘reason‘: ‘Limit of total fields [1000] has been exceeded‘}

原创 docker容器内运行python多进程卡住

【代码】docker容器内运行python多进程卡住。

原创 python装饰器

语言的标准特性，可以使用不同的方式修改函数的行为。

原创 python中的//

在处理整数和浮点数时的行为是不同的。对于两个整数的整除运算，结果将保持为整数类型。而如果至少有一个操作数是浮点数，则结果将为浮点数类型。，即 10 除以 3，结果为 3.33333。但由于使用了整除运算符。，所以结果被向下取整为 3。表示整除运算符，用于将。并向下取整得到商的结果。

原创 一文详解pyspark常用算子与API

对rdd的数据进行嵌套，嵌套按照分区来进行输出：[[1,2,3,4],[5,6,7,8,9]]

原创 使用C语言实现多线程DES算法、CPC密码和vigenere算法

【代码】使用C语言实现多线程DES算法、CPC密码和vigenere算法。

原创 使用c语言实现DH秘钥分配算法

使用c语言实现DH秘钥分配算法。

原创 C语言实现RSA算法加解密

使用c语言实现了RSA加解密算法，可以加解密文件和字符串。

原创 git将其他分支的提交合并到当前分支

或者，如果您想取消 cherry-pick 操作并回到操作之前的状态，可以使用以下命令。Git 将在当前分支上应用与指定 commit 相同的更改。替换为要合并的 commit 的实际哈希值。2. 如果存在冲突，请解决冲突并使用。命令将修改后的文件添加到暂存区。

原创 np.where多个筛选条件

想要筛选出“大于等于2并且小于等于4”的数字下标，首先尝试了如下写法。还有另外一种写法，使用np.logical_and来实现。给每个条件加上括号即可。

原创 spark从表中采样（随机选取）一定数量的行

Spark会对表的每个分区进行采样，并根据采样结果计算总体的采样比例，然后从每个分区中选择相应比例的数据。使用一种伪随机函数或随机算法来选择采样的数据。然后，根据指定的采样比例或行数，从随机数序列中选择相应数量的随机数，并返回与这些随机数关联的行。通过使用随机算法和利用分布和分区信息来提供高效的随机采样功能。这种方法可以在大型数据集上提供快速的近似查询结果，同时减少了数据的传输和处理开销。是一种用于在数据库中进行随机采样的方法。它可以通过不同的策略从表中选择一部分数据进行查询，而无需扫描整个表。

原创 python多进程编程

是Python标准库中模块中的一个类，用于实现进程间的信号量。信号量是一种同步原语，用于控制同时访问共享资源的进程或线程数量。它可以帮助避免竞争条件和死锁等问题。在模块中，Semaphore类是通过计数器实现的。blockingrelease()以下是一个使用在这个示例中，我们首先创建一个，表示最多允许2个进程同时访问临界区。然后定义了一个worker函数，在函数中将首先请求获取信号量，执行一些工作（这里使用模拟），然后释放信号量。接下来，我们创建了5个进程，并让它们调用worker函数进行工作。

原创 使用HTTP请求操作elastic search

创建索引获取索引相关信息查看所有索引删除索引向指定索引添加文档创建文档时指定id根据id查询doc查询一个doc下的所有文档

原创 spark-08：udf函数、开窗函数

学习视频：黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程_哔哩哔哩_bilibili

原创 spark-07：dataframe操作

【代码】spark-07。

原创 spark-06：任务调度、dataframe创建

原创 spark-05：并行度、DAG、宽窄依赖

原创 spark-04-常用算子：filter、distinct、union、join、intersection、glom、groupByKey、sort、reduce等

如果要全局有序，排序分区数要设置为1。union算子不会去重。

原创 spark-03：RDD、map算子、flatMap算子、reduceByKey算子、mapValues算子、groupBy算子

RDD是抽象概念，分区是物理概念。

原创 spark-02：WordCount代码，pyspark原理

原创 spark-01：spark StandAlone模式

原创 pandas-03

原创 pandas-02

原创 pandas-01

【代码】pandas-01。

原创 pandas-00

原创 numpy-02

原创 numpy-01

【代码】numpy-01。

原创 numpy-00

numpy。

原创 python技巧-迭代器和生成器

迭代器是访问集合内元素的一种方式，一般用来遍历数据__iter__方法__next__方法。

原创 python技巧-02

在 Python 中，函数参数传递采用的是浅拷贝。这意味着，如果函数参数是一个可变对象（如列表或字典），则在函数内部对该对象的修改会影响到原始对象。需要注意的是，浅拷贝只适用于可变对象。对于不可变对象（如整数、浮点数、字符串和元组），无论是浅拷贝还是深拷贝，都不会影响到原始对象。方法向该列表添加了一个元素。由于 Python 采用的是浅拷贝，因此这个操作会影响到原始列表。，然后在该函数内部通过。，所以在函数调用结束后，

原创 python技巧-01

【代码】python技巧-01。