- 博客(4)
- 收藏
- 关注
RSS订阅翻译 单机上使用dask
默认的Dask调度程序通过使用线程或进程在一台机器上提供并行性。这是Dask使用的默认选项，因为它不需要设置。使用此调度程序不需要做任何选择或设置任何东西。但是，您可以在线程和进程之间进行选择:多线程:在同一个进程中使用多个线程。这个选项适用于释放GIL的数字代码(如NumPy、Panda、Scikit-Learn、Numba等)，因为数据在线程间共享。dask默认支持的调度程序有dask....
2019-06-25 08:41:00
1295
2
翻译 dask安装环境说明
本章描述了在不同的硬件上设置Dask的各种方法，无论是在本地机器上还是在分布式集群上。如果您刚刚开始使用dask，那么这一章节是不必要的。如果您只想在一台计算机上使用Dask，则不需要任何设置。DASK有两个任务调度程序系列：单机调度器：该调度器在本地进程或线程池上提供基本特性。这个调度程序是首先默认创建的。它使用简单、便宜。它只能在一台机器上使用，不能分布式上使用。 分布式调度程序：这...
2019-06-25 08:39:22
1860
翻译 Dask的最佳实践
开始使用DASK的API是很容易的，但是很好地使用它们需要一些经验。下面重点说一下最佳实践的建议，以及常见问题的解决方案。这里专门关注在所有DASK的API之间共同的最佳实践。如果想研究一个特定API的最佳实践，可以看以下文档。Arrays DataFrames Delayed从小处着眼并行性带来了额外的复杂性和开销。通常认为对于处理大的问题是必要的，但并非如此。在将dask并行...
2019-06-23 11:44:04
2719
翻译 我们为什么需要Dask？
该文件为人们选择DASK提供了高层次的动机。python在数据科学中的作用python已经成为数据分析和通用编程领域的主导语言：首先由于numpy、pandas和scikit learn等计算库和大量可视化、交互式notebook、协作库等推动了python发展。然而，这些包并不是为了多台机器设计的。DASK的开发是为了扩展这些包和周围的生态系统。它与现有的python生态系统...
2019-06-23 09:41:27
741
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人