更新日志

更新日志¶

注意

Distributed 的更新日志条目现已包含在Dask 更新日志中。

2023.9.3¶

发布于 2023 年 9 月 29 日

重点改进¶

减少合并和混洗图优化期间的内存消耗¶

此前，在优化用于混洗和合并操作的任务图时会出现较大的内存峰值（参见GH#8196获取示例）。本次发布移除了该内存峰值。

更多详情请参阅 GH#8197，由 Patrick Hoefler 贡献。

安静地关闭 JupyterLab¶

此前，在调度器上运行 Jupyter 时（例如使用 --jupyter CLI 标志），从 Web 应用程序关闭笔记本服务器时会引发错误。本次发布确保不再引发错误，并使关闭过程干净。

详情请参阅 GH#8220，由 Thomas Grainger 贡献。

2023.9.2¶

发布于 2023 年 9 月 15 日

重点改进¶

减少点对点 (P2P) 混洗的内存占用¶

显著降低了 P2P 混洗使用的峰值和平均内存（最高可降低 2 倍）。此更改还将 P2P 支持的 pyarrow 最低版本提高到 pyarrow=12。

详情请参阅 GH#8157，由 Hendrik Makait 贡献。

改进的插件 API¶

引入了两项插件更改，以提供更一致、更便捷的插件用户体验

插件现在必须继承自 WorkerPlugin、SchedulerPlugin 或 NannyPlugin 基类。不继承基类的旧式插件仍可工作，但会发出弃用警告。
引入了新的 Client.register_plugin() 方法，以取代先前的 Client.register_worker_plugin() 和 Client.register_scheduler_plugin() 方法。现在所有插件都应使用集中的 Client.register_plugin() 方法注册。

from dask.distributed import WorkerPlugin, SchedulerPlugin

class MySchedulerPlugin(SchedulerPlugin):      # Inherits from SchedulerPlugin
    def start(self, scheduler):
        print("Hello from the scheduler!")

class MyWorkerPlugin(WorkerPlugin):            # Inherits from WorkerPlugin
    def setup(self, worker):
        print(f"Hello from Worker {worker}!")

client.register_plugin(MySchedulerPlugin())    # Single method to register both types of plugins
client.register_plugin(MyWorkerPlugin())

详情请参阅 GH#8169 和 GH#8150，由 Hendrik Makait 贡献。

针对配置选项的重命名发出弃用警告¶

当使用已重命名的 Dask 配置选项时，用户现在会收到一个弃用警告，指示其新的名称。

详情请参阅 GH#8179，由 crusaderky 贡献。

2023.9.1¶

发布于 2023 年 9 月 6 日

增强功能¶

如果在 P2P 中 column 的 dtype 错误则引发异常 (GH#8167) Hendrik Makait
自动使依赖项大于工作节点内存的任务失败 (GH#8135) crusaderky
使工作节点表格可排序 (GH#8153) Jacob Tomlinson
支持取消设置环境变量 (GH#8144) crusaderky

弃用¶

弃用异步 Listener.stop() (GH#8151) Hendrik Makait

维护¶

Dask 键类型更改后的初步调整 (GH#8162) crusaderky
将 actions/checkout 从 3.6.0 升级到 4.0.0 (GH#8159)
修复不稳定的 test_worker_metrics (GH#8154) crusaderky

2023.9.0¶

发布于 2023 年 9 月 1 日

增强功能¶

不要在代码中捕获 functools 帧 (GH#8146) crusaderky
抓取代码时忽略 asyncio (GH#8122) Matthew Rocklin
移除字符串化 (GH#8083) Florian Jetter

错误修复¶

确保始终安装 NannyPlugin (GH#8107) Florian Jetter
不要使用异常钩子缩短回溯信息 (GH#8127) crusaderky
修复 LocalCluster(..., processes=False) 时的 P2P 混洗问题 (GH#8125) Hendrik Makait
如果 left_index 或 right_index 为 True，则与 P2P 混洗的合并会失败 (GH#8121) Patrick Hoefler

文档¶

不推荐使用 @span 装饰器 (GH#8120) crusaderky

维护¶

在 P2P 测试中断言 DF 相等 (GH#8117) Hendrik Makait
修复 pandas=2.1.0 引起的警告 (GH#8145) Patrick Hoefler
在 P2P 混洗早期强制执行 dtypes (GH#8131) Hendrik Makait
将 actions/checkout 从 3.5.3 升级到 3.6.0 (GH#8139)
修复 test_spans 中的不稳定性 (GH#8132) crusaderky
移除 Server.close、Nanny.close 和 Server.stop 中重复的清理逻辑 (GH#8129) David Gold
修复不稳定的 test_task_counter (GH#8134) crusaderky
在 ConnectionPool 中使用可用的 asyncio.timeout() (GH#8109) Thomas Grainger

2023.8.1¶

发布于 2023 年 8 月 18 日

新功能¶

添加 memray 集成 (GH#8044) Florian Jetter

增强功能¶

在 Worker.close 中等待 async listener.stop (GH#8118) Hendrik Makait
修复 memray 中的小问题 (GH#8113) Florian Jetter
为 dask-cudf 启用基本 p2p 混洗 (GH#7743) Richard (Rick) Zamora
在 gather() 时不要关闭无响应的工作节点 (GH#8101) crusaderky
在 gather_from_workers 中传播 CancelledError (GH#8089) crusaderky
改进异常任务终止的日志记录 (GH#8082) crusaderky

错误修复¶

处理 P2P 混洗中的 null 分区 (GH#8116) Hendrik Makait
在 ConnectionPool 中正确处理 CancelledError (GH#8110) Florian Jetter
修复可能导致 P2P 重启死锁的额外竞态条件 (GH#8094) Hendrik Makait
确保绘制时 x 轴均匀 (GH#8093) Florian Jetter
修复 P2P 重启中的死锁 (GH#8091) Hendrik Makait

文档¶

将 memray 集成添加到 API 文档 (GH#8115) James Bourbeau
修复 LocalCluster 的 scheduler_port 描述中的默认值 (GH#8073) Danferno

维护¶

移除 types_mapper 参数，现已在 from_pyarrow_table_dispatch 中捕获 (GH#8114) Richard (Rick) Zamora
使 P2P 混洗可扩展 (GH#8096) Hendrik Makait
使 PreloadManager 成为一个 Sequence (GH#8112) Hendrik Makait
引入 PreloadManager 以处理预加载设置/清理中的失败 (GH#8078) Hendrik Makait
重构 P2P 代码 (GH#8098) Hendrik Makait
使 ToPickle 成为一个 Generic (GH#8097) Hendrik Makait
为 memray 测试设立专用任务 (GH#8104) Florian Jetter
再次修复 test_task_groups_update_start_stop (GH#8102) crusaderky
移除 dumps_task (GH#8067) Florian Jetter
简化 nanny 中队列的使用 (GH#6655) Florian Jetter
修复由 WindowsTime 引起的测试不稳定性 (GH#8087) crusaderky
重做 gather() (GH#7997) crusaderky
修复不稳定的 test_asyncprocess.py::test_simple (GH#8085) crusaderky
在 Mac OS 上跳过 test_client.py::test_file_descriptors_dont_leak (GH#8080) Hendrik Makait
调整 Worker.close 中的操作顺序 (GH#8076) Hendrik Makait

2023.8.0¶

发布于 2023 年 8 月 4 日

增强功能¶

卸载更新图的 CPU 密集型部分，以解除事件循环阻塞 (GH#8049) Florian Jetter
在事件中记录工作节点关闭原因 (GH#8042) Florian Jetter
将通信握手排除在连接超时之外 (GH#7698) Florian Jetter
当输出工作节点离开时自动重启 P2P 混洗 (GH#7970) Hendrik Makait
添加 Client.unregister_scheduler_plugin 方法 (GH#7968) Brian Phillips
修复日志消息 (GH#8029) Hendrik Makait
在 P2P rechunking 中按输入块分组发送分片 (GH#8010) Hendrik Makait

错误修复¶

在 Worker.close 中首先关闭状态机和附加项 (GH#8066) Hendrik Makait
修复 decide_worker 选择正在关闭的工作节点的问题 (GH#8032) crusaderky
在 get_stream_address 中引发 CommClosedError (GH#8020) jochenott
在自适应调度中尊重平均 nthreads (GH#8041) Matthew Rocklin
在自适应目标中使用排队任务 (GH#8037) Matthew Rocklin
恢复对 yield 不安全 Client 上下文管理器的支持并弃用该支持 (GH#7987) Thomas Grainger

文档¶

在文档中将 worker_saturation 默认值更改为 1.1 (GH#8040) minhnguyenxuan60
澄清了 client.rst 中的 concurrent.futures 部分 (GH#8048) mercyo12

维护¶

修复不稳定的 test_worker_metrics (GH#8069) crusaderky
在 license 元数据中使用 SPDX (GH#8065) jakirkham
重新平衡 ci1 标记 (GH#8061) Florian Jetter
确保流消息始终有序 (GH#8059) Florian Jetter
简化更新图 (GH#8047) Florian Jetter
捕获到信号时提供关闭原因 (GH#8045) Florian Jetter
允许测试中存在未关闭的通信 (GH#8057) Florian Jetter
对 adaptive_target 进行外观调整 (GH#8052) crusaderky
修复 linting 问题 (GH#8046) Florian Jetter
将 gpuCI RAPIDS_VER 更新到 23.10 (GH#8033)
针对更新的 pyarrow 版本进行测试 (GH#8021) James Bourbeau
添加一个针对包含 scatter 的 GraphLayout 的测试 (GH#8025) Irina Truong
修复兼容性变量命名问题 (GH#8030) Hendrik Makait

2023.7.1¶

发布于 2023 年 7 月 20 日

增强功能¶

gather_dep 应处理 CancelledError (GH#8013) crusaderky
将 stimulus_id 传递给 SchedulerPlugin.remove_worker 和 SchedulerPlugin.transition (GH#7974) Hendrik Makait
在 retire_worker 中记录 stimulus_id (GH#8003) crusaderky
在 P2P 中使用 BufferOutputStream (GH#7991) Florian Jetter
将 Coiled 添加到代码嗅探的忽略模块 (GH#7986) Matthew Rocklin
进度条可以按 span 分组任务 (GH#7952) Irina Truong
改进了 P2P 混洗的错误消息 (GH#7979) Hendrik Makait
将移除通信的日志级别降低到 debug 级别 (GH#7972) Florian Jetter

错误修复¶

修复 graph dashboard 中 TypeError: '<' not supported 的问题 (GH#8017) Irina Truong
修复混洗代码使其与 pyarrow 13 兼容 (GH#8009) Joris Van den Bossche

文档¶

为 p2p rechunking 代码添加一些顶层解释 (GH#7978) Lawrence Mitchell

维护¶

在 set_index 中，当不对 p2p 进行 repartitioning 时添加测试 (GH#8016) Patrick Hoefler
将 JamesIves/github-pages-deploy-action 从 4.4.2 升级到 4.4.3 (GH#8008)
使用 loop_factory 关键字参数配置 asyncio 循环，而不是使用 set_event_loop_policy (GH#7969) Thomas Grainger
修复 P2P 工作节点清理问题 (GH#7981) Hendrik Makait
跳过 mypy pre-commit 钩子中的 click v8.1.4 (GH#7989) Thomas Grainger
移除将 pyarrow Table 转换为 pandas 时意外重复的转换 (GH#7983) Joris Van den Bossche

2023.7.0¶

发布于 2023 年 7 月 7 日

增强功能¶

将 spans 传播到任务 (GH#7898) crusaderky
使精细性能指标条形图水平显示 (GH#7966) crusaderky
不要堆积 context_meter 回调 (GH#7961) crusaderky
优化精细性能指标图 (GH#7963) crusaderky
用 run_id 标记 task-erred 并拒绝过时响应 (GH#7933) Hendrik Makait
进入 ctx 时设置 Client.as_current (GH#6527) Florian Jetter
在 ComputeTaskEvent 上重新运行出错任务 (GH#7967) Hendrik Makait

错误修复¶

修复 `time()` 非单调时 spans 中的崩溃 (GH#7960) crusaderky

文档¶

关于精细性能指标和 Spans 的文档 (GH#7945) crusaderky
更新 client.py 使其与 docstring 保持一致 (GH#7705) Sultan Orazbayev

维护¶

在 test_close_async_task_handles_cancellation 中使用 distributed.wait_for (GH#7955) Thomas Grainger
修复不稳定的 UCX 测试 (GH#7950) Peter Andreas Entschev

2023.6.1¶

发布于 2023 年 6 月 26 日

增强功能¶

为精细性能指标添加空闲时间 (GH#7938) crusaderky
Spans: 捕获代码片段 (GH#7930) crusaderky
改进 P2P rechunking 的内存占用 (GH#7897) Hendrik Makait
改进 _handle_remove_replicas 中无效状态时的错误消息 (GH#7920) Hendrik Makait
使 ShuffleSchedulerExtension.remove_worker 更健壮 (GH#7921) Hendrik Makait
如果 occupancy 降至零以下，提供更多信息 (GH#7924) Hendrik Makait
改进 P2P shuffling 中 pyarrow 和 pandas 之间的转换 (GH#7896) Hendrik Makait

错误修复¶

添加 Cluster.called_from_running_loop 并修复 Cluster.asynchronous (GH#7941) Jacob Tomlinson
修复 annotations 和 spans 在线程间泄漏的问题 (GH#7935) Irina Truong
处理 P2P shuffling 中的 null 分区 (GH#7922) Jonathan De Troye
修复精细性能指标同步中的竞态条件 (GH#7927) crusaderky
通过将 run_id 从 1 开始避免 (GH#7923) (GH#7925) Hendrik Makait
修复精细性能指标堆叠图中的故障 (GH#7919) crusaderky

维护¶

在 (GH#7935) 后清除缓存 (GH#7946) crusaderky
移除 gen_cluster 中未关闭 comms 的宽限期 (GH#7937) Thomas Grainger
raise pytest.skip 是冗余的 (GH#7939) crusaderky
修复 CI 上 test_rechunk_with_{fully|partially}_unknown_dimension 的问题 (GH#7934) Hendrik Makait
修复与 numpy 1.25 的兼容性问题 (GH#7932) crusaderky
Spans: 重构映射求和 (GH#7918) crusaderky
修复不稳定的 test_send_metrics_to_scheduler (GH#7931) crusaderky
在 LoopRunner 中使用 asyncio.run 避免调用 make_current() 和 make_clear() (GH#7467) Thomas Grainger
为 re/opened 的 PR 和 issues 添加 needs triage 标签 (GH#7916) Miles
从 scheduler 上的全局指标中移除 span_id (GH#7917) crusaderky
为精细性能指标 bokeh dashboard 添加 spans (GH#7911) crusaderky
FinePerformanceMetrics dashboard 大修 (GH#7910) crusaderky
检查 skip-caching 标签 (GH#7907) Miles
修复 (GH#7902) 导致的 CI 更改 (GH#7905) Hendrik Makait
将 get_default_shuffle_algorithm 重命名为 get_default_shuffle_method (GH#7902) Hendrik Makait
将 actions/checkout 从 3.5.2 更新到 3.5.3 (GH#7904)
重构 P2P rechunk validation (GH#7890) Hendrik Makait

2023.6.0¶

发布于 2023 年 6 月 9 日

增强功能¶

将精细性能指标发布到 spans (GH#7885) crusaderky
独特的 Spans (GH#7882) crusaderky
为 client.as_completed 添加 timeout，与 concurrent.futures.as_completed timeout 镜像 (GH#7811) Thomas Grainger
在 P2P shuffle 中强制执行 dtypes (GH#7879) Hendrik Makait
支持 Client.upload_file 的 load= 关键字参数 (GH#7873) James Bourbeau
支持在异步任务中使用 get_worker() 和 worker_client() (GH#7844) Thomas Grainger
捕获代码帧的行号 (GH#7786) Miles

错误修复¶

避免 P2P shuffle 中的元数据往返 (GH#7895) Hendrik Makait
修复精细性能指标中 ColumnData 长度错位的问题 (GH#7893) Miles
修复精细性能指标 spilling 崩溃问题 (GH#7878) Miles
修复当 scatter 或 client_desires_new_key 创建任务时 spans 出现的错误 (GH#7886) crusaderky
修复 Fine Performance Metrics w/ Bokeh 3 (GH#7874) Miles
TaskGroup.start 可以向后移动 (GH#7867) crusaderky
使用正确导入的 MatDescriptor 进行 cupy 调度注册 (GH#7868) Charles Blackmon-Luca
确保如果 AMM 扩展未加载，retire_workers 也能工作 (GH#7863) crusaderky

维护¶

审查用户定义的精细性能指标 (GH#7894) crusaderky
修复禁用 shuffle 扩展的测试 (GH#7883) crusaderky
重构 Scheduler.is_idle (GH#7881) crusaderky
将 TaskGroups 链接到 Spans (GH#7869) crusaderky
Spans 骨架 (GH#7862) crusaderky
将 gpuCI RAPIDS_VER 更新到 23.08 (GH#7855)
将 JamesIves/github-pages-deploy-action 从 4.4.1 更新到 4.4.2 (GH#7865)

2023.5.1¶

发布于 2023 年 5 月 26 日

注意

此版本放弃对 Python 3.8 的支持。从本版本开始，Dask 支持 Python 3.9、3.10 和 3.11。更多详情请参阅此社区议题。

增强功能¶

从计算中排除 IPython 代码 (GH#7788) Miles
放弃 Python 3.8 支持 (GH#7840) Thomas Grainger
为 performance_report 添加 storage_options (GH#7636) ypogorelova
不对 msgpack 不匹配发出警告 (GH#7839) Irina Truong
在 Server 关闭时清理 sys.path (GH#7838) James Bourbeau
Dashboard: 精细性能指标 (GH#7725) Miles

错误修复¶

正确处理 P2P rechunking 中未知的 chunk 大小 (GH#7856) Hendrik Makait
最小化更改以解决 (GH#7726) / 支持 UCX (GH#7851) Benjamin Zaitlen
在 cluster 真正空闲之前不要结束计算 (GH#7790) crusaderky

维护¶

上传 conda nightly 时，从 conda-forge 显式安装 anaconda-client (GH#7861) Charles Blackmon-Luca
修复 is_idle 文档构建 (GH#7854) James Bourbeau
添加 P2P barrier fusion 的测试 (GH#7845) Hendrik Makait
避免 cupy 调度注册中的 DeprecationWarning (GH#7836) Lawrence Mitchell

2023.5.0¶

发布于 2023 年 5 月 12 日

增强功能¶

Client.upload_file 发送到 Workers 和 Scheduler，并重命名临时目录 (GH#7802) Miles
允许 dashboard 与 bokeh prereleases 一起使用 (GH#7814) James Bourbeau

错误修复¶

确保非 msgpack 可序列化对象的 log_event 不会终止服务器 (GH#7472) Florian Jetter
修复 test_nanny.py 重复的 pytestmark 定义 (GH#7819) Thomas Grainger
修复不稳定的 test_dask_worker.py::test_single_executable_deprecated (GH#7817) Thomas Grainger

维护¶

无 annotations 的 P2P shuffling (GH#7801) Hendrik Makait
修复 client.map 中 batch_size 的 docstring (GH#7833) David Chudzicki
重构 test_protocol.py (GH#7829) crusaderky
Lint #6496 (GH#7828) crusaderky
移除硬编码的 60s 超时 (GH#6496) Florian Jetter
为 template 和 static 目录添加 __init__.py 文件 (GH#7809) Thomas Grainger
禁用快速 comms 的压缩功能 (GH#7768) crusaderky
避免使用已废弃的 pd.api.types.is_sparse (GH#7813) James Bourbeau
将 gpuCI PYTHON_VER 从 3.8 更新到 3.9 (GH#7812) Charles Blackmon-Luca

2023.4.1¶

发布于 2023 年 4 月 28 日

增强功能¶

安装 gilknocker 时启用 GIL 监控 (GH#7730) Miles
默认情况下，仅在未设置其他处理程序时设置日志处理程序，以避免重复日志记录 (GH#7750) Thomas Grainger
Cluster 等待 (GH#6700) Iain Dorrington
为 SystemMonitor.last_time 添加 Prometheus 计数器 (GH#7785) Miles

错误修复¶

部分回退 defaultclient config 设置 (GH#7803) Florian Jetter
延迟等待异步 SchedulerPlugin.{add|remove}_worker 钩子，以便立即执行所有同步钩子 (GH#7799) Hendrik Makait
修复如果 idleness 没有改变时 check_idle 不返回正确值的问题 (GH#7781) Jacob Tomlinson

维护¶

未安装 gilknocker 时避免警告 (GH#7808) James Bourbeau
仅当 worker/nanny 处于 Status.init 状态时，才将其设置为 Status.running (GH#7773) Thomas Grainger
添加 --cov-config=pyproject.toml，以便 pytest-cov 始终正确加载配置 (GH#7793) Thomas Grainger
从 conda-forge 获取 gilknocker (GH#7791) James Bourbeau
少量 zict 清理 (GH#7783) crusaderky
将 actions/checkout 从 3.5.0 更新到 3.5.2 (GH#7784)
修复类型，因为代码现在是帧元组 (GH#7778) Nat Tabris

2023.4.0¶

发布于 2023 年 4 月 14 日

注意

在此版本中，我们进行了一项更改，要求 Dask scheduler 具有与客户端和 workers 一致的软件和硬件能力。

一直以来都建议您的客户端和 workers 具有一致的软件和硬件环境，以便可以在它们之间进行数据结构和依赖项的 pickle 化和传递。然而，Dask scheduler 的最近更改意味着我们现在也要求您的 scheduler 与其他所有部分具有相同的统一环境。

增强功能¶

对 offload executor 的队列时间进行计量 (GH#7758) crusaderky
向 Prometheus 添加 GIL 争用指标 (GH#7651) Miles
添加方法 Client.forward_logging() 和 Client.unforward_logging()。 (GH#7276) Max Bane
可选地在计算中捕获更多帧 (GH#7656) Gabe Joseph
在空闲超时中考虑 Jupyter 活动 (GH#7687) Gabe Joseph
添加一个显示 RMM 内存的 dashboard 组件 (GH#7718) Peter Andreas Entschev
改进如果 shuffle/rechunk 丢失 annotations 时的错误消息 (GH#7707) Hendrik Makait
P2P shuffling 中的异常链 (GH#7706) Hendrik Makait
使用 pickle 从客户端向 scheduler 提交图 (GH#7564) Florian Jetter

错误修复¶

修复 dashboard 链接格式化中缺少环境变量时的崩溃 (GH#7729) Miles
修复 Python 3.8 上的 randbytes() (GH#7771) crusaderky
在子进程中运行 SubprocessCluster 的 scheduler (GH#7727) Hendrik Makait
从 RMM dashboard 组件中删除 id (GH#7739) James Bourbeau

维护¶

将 peter-evans/create-pull-request 从 4 更新到 5 (GH#7766)
修复 CI 中不稳定的 test_malloc_trim_threshold (GH#7764) crusaderky
在 spill 和 worker_memory_manager 中进行少量优化 (GH#7752) crusaderky
合并相同的 tool.mypy.overrides 部分 (GH#7749) Thomas Grainger
为 2023.3.2.1 添加 changelog 部分 (GH#7755) Charles Blackmon-Luca
在 test_processing_chain 中显式指定 ts 分辨率 (GH#7744) Patrick Hoefler
不再忽略 Sphinx ref.python (GH#7713) Thomas Grainger
使用 pandas 2.0 修复 test_merge_by_multiple_columns 的临时措施 (GH#7747) James Bourbeau
从 gpuCI 更新审查人中移除 dask/gpu (GH#7741) Charles Blackmon-Luca
将 gpuCI RAPIDS_VER 更新到 23.06 (GH#7728)
移除 DataFrame.to_hdf 的测试 (GH#7735) Hendrik Makait
使用 DataFrame.to_hdf 测试 P2P shuffling (GH#7720) Hendrik Makait
scheduler.py 类型标注 - 移除 allow_incomplete_defs (GH#7721) Florian Jetter
移除 bokeh 上限 (GH#7413) James Bourbeau
使用声明式 setuptools (GH#7629) Thomas Grainger
将性能指标存储在 scheduler 上 (GH#7701) Miles
将 readthedocs 配置升级到 ubuntu 22.04 和 Python 3.11 (GH#7722) Thomas Grainger
清理 worker 重连中的遗留代码 (GH#7712) crusaderky
将 actions/checkout 从 3.4.0 更新到 3.5.0 (GH#7711)
放弃支持 zict < 2.1.0 (GH#7709) crusaderky
修复 test_client.py 中的 mypy 警告 (GH#7710) crusaderky
使用 DataFrame.categorize 测试 P2P shuffling (GH#7708) Hendrik Makait

2023.3.2.1¶

发布于 2023 年 4 月 5 日

错误修复¶

在 Distributed 处理程序之前注册 atexit 处理程序以解除挂起的 UCX clusters Lawrence Mitchell Ben Zaitlen

2023.3.2¶

发布于 2023 年 3 月 24 日

增强功能¶

增强了 zict.File 的线程安全性 (GH#7691) crusaderky
在没有客户端上下文的情况下安全地反序列化 Future、Events、Variables、Queues 和 Semaphore (GH#7580) Florian Jetter
支持调整 GIL 监控间隔 (GH#7650) Miles
如果在运行中，优雅地停止 GIL 监控 (GH#7652) Miles
用于 execute, gather_dep 等的精细性能指标 (GH#7586) crusaderky
向 dashboard 添加 GIL 指标 (GH#7646) Miles
通过 RPC 和 HTTP API 公开 scheduler 空闲状态 (GH#7642) Jacob Tomlinson
在 scheduler 日志中添加完整的 dashboard 链接 (GH#7631) Miles

错误修复¶

告知 workers 他们的对等方已离开（以便他们不会在从中获取数据时挂起） (GH#7574) Thomas Grainger
修复 (GH#7586) 后的 dashboard 回归 (GH#7683) crusaderky
修复 Cluster._sync_cluster_info() 中的 OverflowError (GH#7648) Hendrik Makait
确保正确测量序列化数据 (GH#7593) Florian Jetter

文档¶

修复 Client.cancel docstring 中意外的缩进 (GH#7694) Thomas Grainger
改进 plugin API 文档 (GH#7653) Florian Jetter

维护¶

将 sphinx 警告配置为错误 (GH#7697) Thomas Grainger
修复 test-report 工作流脚本中的命名比较 (GH#7695) Miles
暂时限制 ipywidgets<8.0.5 (GH#7693) crusaderky
将 actions/checkout 从 3.3.0 更新到 3.4.0 (GH#7685)
暂时限制 ipykernel<6.22.0 (GH#7689) James Bourbeau
修复 CODEOWNERS 中的拼写错误 (GH#7670) Hendrik Makait
在 @gen_cluster 中避免出现 `bool` 对象没有 `close` 属性的错误 (GH#7657) Thomas Grainger
修复失败的 test_server_close_stops_gil_monitoring (GH#7659) James Bourbeau
添加 CODEOWNERS 文件 (GH#7645) Jacob Tomlinson
移除 Offload Executor 的 weakref finalizer (GH#7644) Florian Jetter

2023.3.1¶

发布于 2023 年 3 月 10 日

增强功能¶

如果设置了 --jupyter 标志，则向 dashboard 菜单添加 Jupyter 链接 (GH#7638) Jacob Tomlinson
将 click 的最低版本从 7.0 提升到 8.0 (GH#7637) Miles
扩展 dask metapackage 依赖项 (GH#7630) James Bourbeau
进一步改进 Client.restart_workers (GH#7620) Miles
P2P offload get_output_partition (GH#7587) Florian Jetter
初步集成 GIL 争用指标 (GH#7624) Miles
添加 dashboard 文档链接 (GH#7610) Miles
将 shuffle/rechunk 配置选项/关键字参数重命名为 method (GH#7623) Hendrik Makait
在 restart_workers 中返回结果 (GH#7606) Miles
确保客户端密钥取消使用有序消息 (GH#7583) Florian Jetter

错误修复¶

修复未定义的 async_wait_for -> async_poll_for (GH#7627) Miles
在没有 scheduler_comm 的情况下不发送客户端心跳 (GH#7612) James Bourbeau
在 free-keys 时不进行 unspill (GH#7607) crusaderky

文档¶

为 Client.submit, Client.map 和 Client.scatter 添加注释，说明当前任务图解析算法的限制 (GH#7588) Eugene Druzhynin

维护¶

使用 range 和 pickle protocol 版本 (GH#7635) jakirkham
在 P2P shuffle 运行中共享线程池 (GH#7621) Hendrik Makait
在 test_failing_worker_with_additional_replicas_on_cluster 中用 BlockedGatherDep 替换 psutil suspend (GH#7633) Thomas Grainger
忽略 mindeps 的 pkg_resources DeprecationWarning (GH#7626) Miles
在 3.11 上使用 asyncio.timeout() 实现 wait_for (GH#7571) Thomas Grainger
使用 tmp_path fixture 而非过时的 tmpdir fixture (GH#7582) ypogorelova
只触发一个 crick 回调 (GH#7614) crusaderky
向 tests CI 添加 mindeps + numpy job (GH#7609) Miles
不要因为 (GH#6705) 而 xfail 整个测试 (GH#7611) crusaderky

2023.3.0¶

发布于 2023 年 3 月 1 日

错误修复¶

移除 rechunking 对 pyarrow 的依赖 (GH#7604) Florian Jetter
更新 rechunk_transfer 和 rechunk_unpack 错误 (GH#7600) James Bourbeau

维护¶

移除废弃代码并记录 ShardBuffer 构造函数的参数 (GH#7590) Lawrence Mitchell
修复默认启用 p2p 后的测试问题 (GH#7595) Florian Jetter
移除过时的 cast (GH#7596) Florian Jetter

2023.2.1¶

发布于 2023 年 2 月 24 日

增强功能¶

用于 array rechunking 的 P2P (GH#7534) Hendrik Makait
P2P HashJoin (GH#7514) Florian Jetter
在没有客户端上下文的情况下安全地 unpickle Events, Variables, Queues 和 Semaphore (GH#7579) Florian Jetter
允许 pickle 回退到 dask_serialize (GH#7567) Florian Jetter
使 ConnectionPool.remove 取消连接尝试 (GH#7547) Thomas Grainger
计量每个任务前缀在每个状态中停留的时间 (GH#7560) crusaderky

错误修复¶

启动 jupyter server 时避免解析 sys.argv (GH#7573) Brett Naul
PyNVML 设备名的 str/bytes 兼容性 (GH#7563) James Bourbeau
metrics.monotonic() 在 Windows 上不是单调的 (GH#7558) crusaderky
修复 PyNVML 更新后 bytes/str 不一致的问题 (GH#7544) Peter Andreas Entschev

维护¶

尝试使用活动的 fuse 优化进行 P2P 时引发异常 (GH#7585) Hendrik Makait
修复 test_shuffling (GH#7581) Hendrik Makait
P2P: 如果 pyarrow 版本不足，则引发 RuntimeError (GH#7578) Florian Jetter
检查 p2p 中的 dtype 支持 (GH#7425) Hendrik Makait
更新 FULL_RAPIDS_VER/FULL_UCX_PY_VER 的解析 (GH#7568) Charles Blackmon-Luca
将 retry 从 get_data_from_worker 移动到 gather_from_workers (GH#7546) Thomas Grainger
增加 nightly 版本对 numpy 和 pandas 的版本限制 (GH#7562) James Bourbeau
在所有测试中设置 validate=True (GH#7557) crusaderky
移除 _get_task_finished_msg 中的废弃代码 (GH#7561) crusaderky
标记耗时 >2s 的测试为 slow (GH#7556) crusaderky
修复慢速 CI 上 test_scatter_no_workers 的问题 (GH#7559) crusaderky
取消跳过 test_delete_some_results (GH#7508) Hendrik Makait
scatter() 不应绕过 worker transition 机制 (GH#7545) crusaderky
pre-commit bump (GH#7541) crusaderky
改进 Worker.validate_state() 中的断言 (GH#7549) crusaderky
将 jacobtomlinson/gha-find-replace 从 2 提升到 3 (GH#7540) James Bourbeau
将 black 提升到 23.1.0 (GH#7542) crusaderky
在 python 3.8 和 3.10 上运行 GPU 测试 (GH#7537) Charles Blackmon-Luca

2023.2.0¶

发布于 2023 年 2 月 10 日

增强功能¶

限制 worker 内存日志的速率 (GH#7529) Florian Jetter
将 P2P barrier 逻辑移动到 scheduler 扩展 (GH#7519) Hendrik Makait

维护¶

使用 PEP 673 Self 类型 (GH#7530) Thomas Grainger
尝试修复不稳定的 test_pause_while_spilling (GH#7517) crusaderky
标注 asyncio_tcp.py (GH#7522) crusaderky
为 mypy 使用 dask git tip (GH#7516) crusaderky
升级到 mypy v1 (GH#7525) Thomas Grainger
清理对 captured_logger 的调用 (GH#7521) crusaderky
更新 isort 版本到 5.12.0 (GH#7513) Lawrence Mitchell

2023.1.1¶

发布于 2023 年 1 月 27 日

增强功能¶

P2P shuffle 删除重复数据并可以运行多次 (GH#7486) Hendrik Makait
反转 get_logs() 和 get_worker_logs() 的顺序 (GH#7475) Nicholas R. Knezek
为每个任务前缀的时间和内存使用量添加 prometheus 指标 (GH#7406) Thomas Grainger
Prometheus 中的累加 worker 计数 (GH#7468) crusaderky
为 taskstream 添加帮助工具 (GH#7478) Florian Jetter

错误修复¶

不允许 worker 拒绝 drop replica 请求 (GH#7490) Hendrik Makait
修复具有自定义构造函数的 namedtuples 的 un/packing 问题 (GH#7465) antonymayi

文档¶

从 worker_client 的 docstring 示例中移除 timeout= (GH#7497) Florian Jetter

维护¶

忽略 get_default_shuffle_algorithm linting 问题 (GH#7506) Florian Jetter
使用默认客户端时移除 set_config (GH#7482) Florian Jetter
将 gpuCI RAPIDS_VER 更新到 23.04 (GH#7501)
修复 test_balance_expensive_tasks 并改进 test_steal.py 中的辅助函数 (GH#7253) Hendrik Makait
使用 run ID 对每个计算任务进行标记以关联响应 (GH#7463) Hendrik Makait

2023.1.0¶

发布于 2023 年 1 月 13 日

新功能¶

添加在独立进程中运行 workers 的本地 SubprocessCluster (GH#7431) Hendrik Makait

增强功能¶

确保在 cluster.close() 或 client.shutdown() 后客户端会话安静 (GH#7429) James Bourbeau
将 lifetime-stagger 默认值设置为 None (GH#7445) bstadlbauer
内存阈值不应精确为 0.0 (GH#7458) Stuart Berg
移除 Incorrect-Sizeof-Warning (GH#7450) Mads R. B. Kristensen
记录 P2P shuffle 任务中的异常 (GH#7442) Hendrik Makait
添加对 packing namedtuple 的支持，并为 submit 中的 future resolution 添加测试 (GH#7292) Andrew
避免在 lz4 解压时进行深拷贝 (GH#7437) crusaderky
避免在 unspill 时深拷贝 numpy 缓冲区 (GH#7435) crusaderky
点击空 task stream plot 时不要报错 (GH#7432) James Bourbeau
比较与进程内存时，不计算 spilled 内存 (GH#7430) crusaderky
在 shutdown() 期间停止 Client 周期性回调 (GH#7428) James Bourbeau
添加 dask spec CLI (GH#7427) Matthew Rocklin
为每个压缩调用创建新的 zstd (解)压缩器 (GH#7404) Dylan Wragge
重命名 managed_in_memory 等，使其与 GUI 匹配 (GH#7418) crusaderky
当 sizeof() 返回膨胀输出时警告用户 (GH#7419) crusaderky

错误修复¶

确保 dicts 被正确识别为 msgpack 可序列化 (GH#7473) Florian Jetter
在 restart 时重置 ShuffleSchedulerExtension 的状态 (GH#7446) Hendrik Makait
在 P2P shuffle 中拒绝非字符串列名 (GH#7447) Hendrik Makait
避免 dashboard 中的 int32 (GH#7443) Matthew Rocklin
修复 P2PShuffle 对分类数据的序列化问题 (GH#7410) Hendrik Makait
如果仍在启动，WorkerPorcess 在 kill 时会阻塞 (GH#7424) Matthew Rocklin

文档¶

将 Prometheus 文档从 dask/dask 移过来 (GH#7405) crusaderky

维护¶

semaphore 中的各种清理 (GH#5885) Florian Jetter
test_rlimit 在 MacOSX 上失败 (GH#7457) crusaderky
将 actions/checkout 从 3.2.0 更新到 3.3.0 (GH#7464)
移除 psutil 的条件导入 (GH#7462) crusaderky
放弃支持 zict < 2.1.0 (GH#7456) crusaderky
修复不稳定的 test_digests (GH#7454) crusaderky
为 CI 添加最低依赖项测试 (GH#7285) Charles Blackmon-Luca
避免 statitics.mean 中的溢出 (GH#7426) Matthew Rocklin
忽略 numpy bool8 废弃警告 (GH#7423) Matthew Rocklin
为 pyarrow 添加缺失的跳过 (GH#7416) Elliott Sales de Andrade
对测试中期望的 ciphers 更加宽松 (GH#7417) Elliott Sales de Andrade
回退“TST: 从构建根目录获取可执行文件 (GH#2551)” (GH#7415) Elliott Sales de Andrade

2022.12.1¶

发布于 2022 年 12 月 16 日

增强功能¶

SpillBuffer 指标 (GH#7368) crusaderky
Prometheus: 测量 spilling 阻塞事件循环的时间 (GH#7370) crusaderky
添加 transfer_outgoing_bytes_total 指标 (GH#7388) Gabe Joseph
在 worker 失败时优雅地使 P2PShuffle 失败 (GH#7326) Hendrik Makait

错误修复¶

在 stimuli 中选择排队任务，而不是 transitions (GH#7402) Gabe Joseph
在 default_client 中检查 ContextVar (GH#7369) Matthew Rocklin
修复向非订阅者发送事件消息的问题 (GH#7014) Laurence Watts
在 Tabs 上设置 sizing mode 以避免布局崩溃 (GH#7365) Mateusz Paprocki

维护¶

重构 P2PShuffle 扩展 (GH#7390) Hendrik Makait
添加 Python 3.11 分类器 (GH#7408) James Bourbeau
添加对 Python 3.11 的支持 (GH#7249) Thomas Grainger
添加测试，以在使用 client.submit 和 client.map 时使用注解 (GH#7399) James Bourbeau
将 actions/checkout 从 3.1.0 升级到 3.2.0 (GH#7393)
移除多余的 ShuffleSchedulerExtension.barriers (GH#7389) Hendrik Makait
移除忽略 annotation-unchecked (GH#7379) crusaderky
从 nightly recipe 中移除 tornado 的最大版本限制 (GH#7376) Charles Blackmon-Luca
移除 Semaphore 的实验性特性警告 (GH#7373) Florian Jetter

2022.12.0¶

发布于 2022 年 12 月 2 日

增强功能¶

在 Prometheus 中暴露事件循环健康指标 (GH#7360) Hendrik Makait
默认允许日志传播 (GH#5669) Florian Jetter
清理 unpack_remotedata() (GH#7322) Mads R. B. Kristensen
升级到 tornado 6.2 (GH#7286) Thomas Grainger
引入 Server 级别的通信计数器 (GH#7332) Florian Jetter
Prometheus 调试日志 (GH#7302) Florian Jetter

错误修复¶

捕获用户任务中的 BaseException (GH#5997) Gabe Joseph
向等待状态转换时出现错误依赖的非可能用例 (GH#7354) crusaderky
修复排队任务快速连续重新提交时发生的死锁 (GH#7348) Florian Jetter

文档¶

对 Prometheus 文档进行编辑性修改 (GH#7350) Hendrik Makait

维护¶

获取所有 artifact (GH#7355) Enrico Minack
延迟 fsspec 和 urllib3 的导入时间 (GH#6659) Florian Jetter
升级 mypy (GH#7349) crusaderky
升级 mypy 并移除 Windows 特定运行 (GH#7344) Florian Jetter
完成对 SchedulerState 注解的全面修订 (GH#7333) crusaderky
修复不稳定的 test_pause_while_spilling (GH#7334) Gabe Joseph
将 gpuCI RAPIDS_VER 更新到 23.02 (GH#7337)

2022.11.1¶

发布于 2022 年 11 月 18 日

增强功能¶

限制对 bokeh=3 的支持 (GH#7329) Gabe Joseph
在等待调度器文件时尊重死亡超时设置 (GH#7296) Florian Jetter
如果 P2PShuffle 发送失败，总是抛出异常 (GH#7317) Hendrik Makait

文档¶

修复 client.run() 文档字符串中的拼写错误 (GH#7315) Richard Pelgrim
在更新日志中记录排队默认值的变更 (GH#7314) Gabe Joseph

维护¶

更新 gpuCI 更新工作流中的 ga-yaml-parser 步骤 (GH#7335) Charles Blackmon-Luca
从转换中移除异常处理 (GH#7316) crusaderky
将私有函数转换为私有的 SchedulerState 方法 (GH#7260) Hendrik Makait
将 toolz 的最低版本升级到 0.10.0 (GH#7309) Sam Grayson

2022.11.0¶

发布于 2022 年 11 月 15 日

注意

此版本将默认调度模式更改为使用排队。在大多数情况下，这将显著减少集群内存使用，并通常提高稳定性和性能。在此处了解更多信息，并请在此讨论中提供反馈。

在极少数情况下，这可能会使某些工作负载变慢。有关更多信息以及如何切换回旧模式，请参阅文档。

新特性¶

添加 ForwardOutput worker 插件，用于将 stdout 和 stderr 转发给客户端。(GH#7297) Hendrik Makait
前缀级别的持续时间计数器 (GH#7288) Florian Jetter
在 repr 中包含用于启动 JupyterLab 布局的按钮 (GH#7218) Ian Rose

增强功能¶

在 UCX 初始化期间，支持 CUDA 上下文创建中的 MIG 解析 (GH#6720) Peter Andreas Entschev
在未安装 prometheus-client 时处理 /metrics 端点 (GH#7234) Hendrik Makait
添加支持以在远程数据中解包 namedtuples (GH#7282) Andrew
默认启用排队 (GH#7279) Florian Jetter
修复调度器错误消息中 exists -> exist 的拼写错误 (GH#7281) Matthew Plough
如果在 Client 异步上下文管理器主体中发生异常，则快速关闭 (GH#6920) Thomas Grainger

文档¶

校对拼写错误 + 用于文档的 codespell pre-commit hook (GH#7294) Matthew Plough
排队文档 (GH#7203) Gabe Joseph

错误修复¶

确保在记录 "warn" 事件时 category 是可选的 (GH#7169) James Bourbeau
到内存的边缘和不可能的转换 (GH#7205) crusaderky

维护¶

使用 conda-incubator/setup-miniconda@v2.2.0 (GH#7310) jakirkham
允许 bokeh=3 (GH#5648) James Bourbeau
修复 P2P shuffle 代码中的拼写错误 (GH#7304) Hendrik Makait
重新启用 test_bad_disk (GH#7300) Florian Jetter
减少测试报告中的 max-runs (GH#7299) Florian Jetter
当设置了 worker-saturation 时回滚空闲分类 (GH#7278) Florian Jetter
修复不稳定的 deadline_expiration (GH#7287) Florian Jetter
重写 P2P 控制流 (GH#7268) Florian Jetter
添加 codecov token (GH#7277) Florian Jetter
将 bokeh 的最低版本升级到 2.4.2 (GH#7271) James Bourbeau
移除已废弃的 IOLoop.make_current() 代码调用 (GH#7240) Thomas Grainger
改进昂贵任务的负载均衡测试 (GH#7272) Hendrik Makait
将 semaphore._Watch 重构为通用的 Deadline 工具类 (GH#7238) Hendrik Makait
修复覆盖率报告 (GH#7270) Tom Hu
要求 Click 7.0+ (GH#7226) jakirkham
删除测试 (GH#7269) Hendrik Makait
使用更健壮的版本替换 test_(do_not_)steal_communication_heavy_tasks 测试 (GH#7243) Hendrik Makait
xfail test_bad_disk (GH#7265) crusaderky
将 transition_log 从 Scheduler 移动到 SchedulerState (GH#7254) crusaderky
移除 Scheduler.log (GH#7258) crusaderky
使用最新的 pickle (GH#5826) jakirkham
优化从配置中解析 worker-saturation 的逻辑 (GH#7255) crusaderky
在未使用时避免昂贵的占用计算 (GH#7257) Gabe Joseph
取消跳过 test_nested_compute (GH#7247) Gabe Joseph
回顾 test_do_not_steal_communication_heavy_tasks (GH#7250) crusaderky
修复 test_stress_creation_and_deletion (GH#7215) crusaderky
在 Server.handle_stream 中抛出异常而不是吞并/记录 (GH#7162) Hendrik Makait
升级到 mypy v0.982 (GH#7241) Thomas Grainger
修复 _update_scheduler_info 导致失败测试挂起的问题 (GH#7225) Gabe Joseph
将 xarray-contrib/ci-trigger 从 1.1 升级到 1.2 (GH#7232)

2022.10.2¶

发布于 2022 年 10 月 31 日

回滚了一个意外地使 Bokeh 成为非可选依赖的 bug (GH#7230) Oliver Holworthy
当任务脱离时，调度一个排队中的任务 (GH#7224) Gabe Joseph

这是一个热修复版本

2022.10.1¶

发布于 2022 年 10 月 28 日

新特性¶

添加 Client.restart_workers 方法 (GH#7154) James Bourbeau
为 pip 和 conda 实现 PackageInstall 插件 (GH#7126) Hendrik Makait

增强功能¶

为工作窃取添加 prometheus 收集器 (GH#7206) Hendrik Makait
跟踪 worker 关闭和重新启动的原因 (GH#7166) Hendrik Makait
在任务进度条上显示无 worker 状态 (GH#7171) Florian Jetter
默认设置 OPENBLAS_NUM_THREADS (GH#7177) James Bourbeau
可选地向数据构造函数提供本地目录 (GH#7153) Lawrence Mitchell
引入 distributed.comm.ucx.environment 配置槽 (GH#7164) Lawrence Mitchell
记录有关内存限制的信息 (GH#7160) Florian Jetter
改进调度器上关于重启的日志消息 (GH#7150) Florian Jetter
更全面的 WorkerState 任务计数器 (GH#7167) crusaderky

文档¶

在更新日志中添加关于新 CLI 的说明 (GH#7178) James Bourbeau
更新 AMM 文档 (GH#7158) Benjamin Zaitlen
将 CondaInstall 添加到插件文档中 (GH#7149) James Bourbeau

错误修复¶

更新 bokeh 最低版本消息 (GH#7172) James Bourbeau
改进了远程 print() 和 warn() 的实现，修复了 #7095 (GH#7129) Max Bane

维护¶

暂时限制 bokeh<3 (GH#7219) James Bourbeau
将 Scheduler.reschedule 设置为私有 (GH#7216) crusaderky
修复 decide_worker_rootish_queuing_disabled 断言 (GH#7065) Gabe Joseph
修复不稳定的 test_include_communication_in_occupancy (GH#7212) Gabe Joseph
不对泄露的 websockets 抛出异常 (GH#7199) Florian Jetter
使用 CLI 测试和依赖更改更新 nightly recipe (GH#7201) Charles Blackmon-Luca
将 p2p shuffle 子模块设置为私有 (GH#7186) Florian Jetter
回迁 tornado PeriodicCallback (GH#7165) Florian Jetter
修复 CI 上 mypy 失败的问题 (GH#7198) Florian Jetter
为 p2p shuffle 使用一个层 (GH#7180) Florian Jetter
为 shuffle 添加类型注解 (GH#7185) Florian Jetter
心跳中通信错误时不要关闭 worker (GH#7163) Hendrik Makait
设置 TCP 超时时发生的错误记录为 error 日志 (GH#7161) Florian Jetter
从 pre-commit 配置中移除不正确的建议 (GH#7159) crusaderky
将 the-coding-turtle/ga-yaml-parser 从 0.1.1 升级到 0.1.2 (GH#7146)
将 JamesIves/github-pages-deploy-action 从 4.1.7 升级到 4.4.1 (GH#7145)
为 codecov 上传器使用功能网络 (GH#7148) Florian Jetter
在适当的地方使用 counter 度量类型，incoming_count 曾经报告字节数 (GH#7125) Nat Tabris

2022.10.0¶

发布于 2022 年 10 月 14 日

注意

此版本弃用了 dask-scheduler、dask-worker 和 dask-ssh CLI，转而推荐使用 dask scheduler、dask worker 和 dask ssh。旧式 CLI 将继续工作一段时间，但在未来的版本中将被移除。

作为此次迁移的一部分，--reconnect、--nprocs、--bokeh、--bokeh-port CLI 选项也已从旧式和新式 CLI 中移除。这些选项之前已被弃用。

增强功能¶

使用新的 dask CLI (GH#6735) Doug Davis
重构占用率计算 (GH#7075) Hendrik Makait
向 Prometheus 暴露已管理/未管理/溢出内存 (GH#7112) crusaderky
向上取整 saturation-factor (GH#7116) Gabe Joseph
在 get_metadata 中任何层级的 KeyError 时返回默认值 (GH#7109) Hendrik Makait
按任务前缀计数任务状态并暴露给 Prometheus (GH#7088) Nat Tabris
为 dask worker 添加 scheduler-sni 选项 (GH#6290) Burt Holzman

错误修复¶

改进 UCX 通信中的异常捕获 (GH#7132) Peter Andreas Entschev
提高 PipInstall 插件的健壮性 (GH#7111) Hendrik Makait

维护¶

修复应指向 dask/dask 的依赖项 (GH#7138) James Bourbeau
保留 z.sum() 直到测试完成 (GH#7136) Lawrence Mitchell
将 peter-evans/create-pull-request 从 3 升级到 4 (GH#7120)
在 python/typeshed#8829 后更新 system_monitor 的类型提示 (GH#7131) Lawrence Mitchell
修复两个潜在不稳定的排队测试 (GH#7124) Gabe Joseph
将 EnricoMi/publish-unit-test-result-action 从 1 升级到 2 (GH#7121)
将 actions/checkout 从 2 升级到 3.1.0 (GH#7119)
改进 SystemMonitor (GH#7097) crusaderky
将 actions/cache 从 2 升级到 3 (GH#7118)
将 actions/upload-artifact 从 2 升级到 3 (GH#7117)
移动 dependabot 配置文件 (GH#7115) James Bourbeau
为 GitHub Actions 启用 dependabot (GH#7101) Florian Jetter
更新覆盖率上传操作 (GH#7100) Florian Jetter
调整硬件基准测试的 bokeh 测试 (GH#7096) Florian Jetter
多平台 mypy 检查 (GH#7094) crusaderky
将 gpuCI RAPIDS_VER 更新到 22.12 (GH#7084)

2022.9.2¶

发布于 2022 年 9 月 30 日

增强功能¶

具有依赖关系的更智能的任务窃取 (GH#7024) Hendrik Makait
默认启用主动内存管理器 (Active Memory Manager) (GH#7042) crusaderky
允许在 distributed.wait 中使用超时字符串 (GH#7081) James Bourbeau
使 AMM 内存度量可配置 (GH#7062) crusaderky
AMM 支持 actor (GH#7072) crusaderky
在配置中暴露 message-bytes-limit (GH#7074) Hendrik Makait
检测调度器中不匹配的 Python 版本 (GH#7018) Hendrik Makait
改进用户看到的 KilledWorker 消息 (GH#7043) James Bourbeau
支持 cgroups v2 并尊重软限制 (GH#7051) Samantha Hughes

错误修复¶

在 UCX 读取错误时捕获 BaseException (GH#6996) Peter Andreas Entschev
修复 _select_keys_for_gather 中的传输限制 (GH#7071) Hendrik Makait
如果 worker-saturation 是字符串，则解析它 (GH#7064) Gabe Joseph
Nanny(config=...) 参数会覆盖全局 dask 配置 (GH#7069) crusaderky
确保默认客户端不会传播到子进程 (GH#7028) Florian Jetter

文档¶

改进 message-bytes-limit 的文档 (GH#7077) Hendrik Makait
对 Sphinx 文档进行微调 (GH#7041) crusaderky
改进 upload_file API 文档 (GH#7040) Florian Jetter

维护¶

test_serialize_numba: 解决 NP 1.23 中 np.empty_like 的问题 (GH#7089) Graham Markall
为 mypy 添加平台常量类型提示 (GH#7091) jakirkham
dask-worker-space (GH#7054) crusaderky
移除失败的测试用例 (GH#7087) Hendrik Makait
test_default_client (GH#7058) crusaderky
修复 pre-commit 在最新版本的 mypy 和 pandas 中失败的问题 (GH#7068) crusaderky
添加因式分解工具 (GH#7048) James Bourbeau

2022.9.1¶

发布于 2022 年 9 月 16 日

增强功能¶

为开放数据传输的大小添加仪表板组件 (GH#6982) Hendrik Makait
允许非常快的 key 和非常昂贵的传输作为窃取候选项 (GH#7022) Florian Jetter

错误修复¶

不再在窃取时重复计算传输成本 (GH#7036) Hendrik Makait

维护¶

使 test_wait_first_completed 更健壮 (GH#7039) Florian Jetter
为 SchedulerState 添加部分注解 (GH#7023) crusaderky
为 stealing.py 添加更多类型注解 (GH#7009) Florian Jetter
更新 codecov 设置 (GH#7015) Florian Jetter
加速 test_balance (GH#7008) Florian Jetter
修复添加排队作业后的测试报告 (GH#7012) Gabe Joseph
清理 GitHub Actions 中的环境变量 (GH#7001) crusaderky
使 test_steal_reschedule_reset_in_flight_occupancy 不依赖于时间 (GH#7010) Florian Jetter
将 distributed.utils.key_split 替换为 dask.utils.key_split (GH#7005) Luke Conibear
回滚“回滚‘根据数据量限制传入数据传输’(GH#6994)” (GH#7007) Florian Jetter
CI 作业，在启用排队的情况下运行测试 (GH#6989) Gabe Joseph
修复 distributed/tests/test_client_executor.py::test_wait (GH#6990) Florian Jetter

2022.9.0¶

发布于 2022 年 9 月 2 日

增强功能¶

根据数据量限制传入数据传输 (GH#6975) Hendrik Makait
在 Worker.get_metrics 和 WorkerMetricCollector 中暴露与传输相关的指标 (GH#6936) Hendrik Makait
保留根任务（无共同分配）(GH#6614) Gabe Joseph
改进传入/传出连接与传输之间的区分 (GH#6933) Hendrik Makait
在溢出/暂停状态时更改内存条颜色 (GH#6959) crusaderky
确保重启清除 taskgroups 等 (GH#6944) Florian Jetter
优化 scheduler.get_comm_cost 集合差集计算 (GH#6931) Lawrence Mitchell
通过 dask-scheduler CLI 暴露设置多个协议和端口的功能 (GH#6898) Jacob Tomlinson
使 TextProgressBar 在完成时清除行 (GH#5968) Vincenzo Eduardo Padulano

错误修复¶

回滚 Python 3.8 的 getaddrinfo 快速路径 (GH#6978) Florian Jetter
已取消/已恢复 -> 长期运行的转换 (GH#6916) crusaderky

弃用¶

弃用 Client.wait_for_workers 的默认值 (GH#6942) Florian Jetter

文档¶

文档化 Scheduler 和 Worker 状态机 (GH#6948) crusaderky
将 memory_limit 参数插入到 LocalCluster 文档字符串中 (GH#6839) Crislana Rafael

维护¶

回滚“根据数据量限制传入数据传输” (GH#6994) Florian Jetter
在 CI 测试运行之间缓存 conda 环境 (GH#6855) Charles Blackmon-Luca
回滚“修复二进制操作的共同分配问题” (GH#6985) Gabe Joseph
在 CI 中缓存 test_report shelves (GH#6937) Florian Jetter
清理 ipywidgets mocking (GH#6918) Thomas Grainger
改进 {Scheduler|Worker}MetricCollector 的测试 (GH#6945) Hendrik Makait
清理 nanny WorkerProcess.kill (GH#6972) Gabe Joseph
重写 test_reconnect，使用子进程可靠地杀死调度器 (GH#6967) Florian Jetter
调度器端的任务状态域 (GH#6929) crusaderky
从 test_steal 中移除 @avoid_ci (GH#6872) crusaderky
在测试中使用 async with Worker (GH#6958) crusaderky
忽略 test_quiet_close_process 中的虚假警告 (GH#6955) crusaderky
修复 Windows 上的测试 (GH#6954) Hendrik Makait
防止 HeapSet.sorted() 中出现重复项 (GH#6952) crusaderky
传播 worker 地址并改进 _remove_from_processing 行为 (GH#6946) Hendrik Makait
添加 HeapSet._sorted 内部标志 (GH#6949) Gabe Joseph
添加 HeapSet.peekn (GH#6947) Gabe Joseph
修复从 distributed 导入时发生的 pyright 错误 (GH#6904) Ian Liu Rodrigues
总是从 _remove_from_processing 返回 ws.address (GH#6884) Hendrik Makait
在测试中使用 async with Client: (GH#6921) Thomas Grainger
确保相对内存限制作为系统内存百分比生效 (GH#6923) Florian Jetter

2022.8.1¶

发布于 2022 年 8 月 19 日

新特性¶

增强功能¶

取消与所有客户端进行版本比较 (GH#6861) Hendrik Makait
如果设置了 worker 名称，则记录该名称 (GH#6866) Johannes Lange
如果主机已解析，则跳过 getaddrinfo 线程，使用 socket.AI_NUMERIC* (GH#6847) Thomas Grainger
在 Worker.execute 验证中显示意外状态 (GH#6856) James Bourbeau
pre-spawn-environ (GH#6841) crusaderky
Dump has_what, missing_dep_flight (GH#6830) Gabe Joseph

错误修复¶

已取消 / 已恢复 -> 已重新调度转换 (GH#6913) crusaderky
修复已恢复任务的资源解除分配问题 (GH#6914) crusaderky
仅当调度器存在时才在 SpecCluster 中关闭它 (GH#6888) Matthew Rocklin
修复 exc.reason 为 None 时的问题 (GH#6881) Hendrik Makait
总是关闭 BatchedSend 写入协程 (GH#6865) Gabe Joseph
增强 Worker.execute 的前导代码以应对竞态条件 (GH#6878) crusaderky

文档¶

修复拼写错误 (GH#6870) Pieter Gijsbers

维护¶

为测试报告使用重试机制 (GH#6926) Florian Jetter
重复代码：in_flight_tasks 验证 (GH#6917) crusaderky
ipywidgets 8 兼容性 (GH#6912) James Bourbeau
全面修订 resumed 状态的转换 (GH#6699) crusaderky
不要升级到 ipywidgets 8 (GH#6910) crusaderky
清理集群进程回收 (GH#6840) Gabe Joseph
不要在测试中使用 bokeh Figure (GH#6721) Bryan Van de Ven
解决 crick 与 setuptools 65 的不兼容问题 (GH#6887) crusaderky
在 nightly 版本中添加 dask-core 的最大版本约束 (GH#6862) Charles Blackmon-Luca
将 port = random.randint( 替换为 port = d.utils.open_port (GH#6883) Thomas Grainger
修复不稳定的 test_wall_clock (GH#6879) crusaderky
为断言添加描述性错误消息 (GH#6871) Hendrik Makait
增加 test_quiet_process 中的超时时间 (GH#6857) Florian Jetter
测试报告的描述性标题 (GH#6849) Hendrik Makait
将 flake8-bugbear 作为插件添加到 pre-commit (GH#6809) Hendrik Makait
移除 with clean(): 的冗余使用 (GH#6852) Thomas Grainger
在测试报告上显示实际的 Job URL (GH#6837) Florian Jetter
更新 pre-commit 依赖项 (GH#6851) Hendrik Makait
即使 AsyncProcess 在其他地方被回收，也会调用退出回调 (GH#6684) Thomas Grainger
避免在参数默认值中使用函数调用 (GH#6812) Hendrik Makait
忽略测试中 SSHCluster 未关闭的警告 (GH#6827) Florian Jetter

2022.8.0¶

发布于 2022 年 8 月 5 日

新特性¶

将 Jupyter Server 添加到 Dask Scheduler (GH#6737) Matthew Rocklin

改进¶

磁盘 I/O 的人类可读格式，并重命名以区分网络和磁盘 (GH#6835) Hendrik Makait
添加 Cluster.get_client() 方法 (GH#6745) Julia Signell
启动 bokeh app 以激活 bokeh 的清理会话回调 (GH#6728) Martí Zamora

Bug 修复¶

确保 Nanny 不会重启启动失败的 workers，并加入子进程 (GH#6427) Gabe Joseph
关闭时不要连接到集群子进程 (GH#6829) Gabe Joseph
修复 restart 等待 workers 的边缘情况 (GH#6823) Gabe Joseph
修复 Slow 中的溢出大小计算 (GH#6789) Hendrik Makait

弃用¶

弃用将已停止的循环传递给 LoopRunner (以及 Client/Cluster) 的做法 (GH#6680) Thomas Grainger

文档¶

在 API 文档顶部添加文本，确保用户尽早接触 LocalCluster (GH#6793) Julia Signell
更改插件文档的标题 (GH#6733) Sarah Charlotte Johnson

维护¶

仅在 gen_cluster 测试中设置 5 秒连接超时 (GH#6822) Gabe Joseph
修复不稳定的 test_worker_who_has_clears_after_failed_connection (GH#6832) Gabe Joseph
为 pyarrow 添加缺失的跳过 (GH#6787) Elliott Sales de Andrade
各种 flake8-bugbear 问题 (GH#6814) Hendrik Makait
断言否则无意义的比较 (B015) (GH#6811) Hendrik Makait
删除 utils_test.py 中未使用的函数 (GH#6807) Hendrik Makait
修复 Jupyter 安全说明 (GH#6818) Jacob Tomlinson
改进 check_thread_leak 输出 (GH#6797) Gabe Joseph
使用 contextmanager 确保 clients 被关闭且不会泄露 (GH#6817) Hendrik Makait
在 test_watch 和 test_watch_requires_lock_to_run 中实现可靠的线程终止 (GH#6788) Hendrik Makait
避免未使用的循环控制变量或将其命名为 _ (GH#6813) Hendrik Makait
在应该始终抛出异常的地方替换 assert False (GH#6815) Hendrik Makait
避免在测试中出现可变的参数默认值 (GH#6810) Hendrik Makait
避免在测试外部出现可变的参数默认值 (GH#6665) Hendrik Makait
更新 gpuCI RAPIDS_VER 到 22.10 (GH#6798)
对 dask worker 测试使用相同的 Python 版本 (GH#6786) Elliott Sales de Andrade

2022.7.1¶

发布于 2022 年 7 月 22 日

新特性¶

失败任务的仪表盘 (GH#6595) Ian Rose

改进¶

在 Client.restart 中等待 workers 返回 (GH#6714) Gabe Joseph
移除全局可变的 Cluster._cluster_info (GH#6487) Thomas Grainger

Bug 修复¶

修复: nvml 不提早初始化 (GH#6678) Lawrence Mitchell
修复重启 client 时的 bug (GH#6654) Iain Dorrington
溢出失败会导致可用资源中断 (GH#6703) crusaderky
修复带依赖的任务的资源分配问题 (GH#6676) Hendrik Makait

维护¶

恢复 “Set MALLOC_TRIM_THRESHOLD_ before interpreter start” (GH#6777) Gabe Joseph
修复 CI 中的 mypy lint (GH#6779) jakirkham
移除 test_restart_fast_sync, test_fast_kill (GH#6750) Gabe Joseph
修复不稳定的 test_async_task_group_call_later_executes_delayed_task_in_background (GH#6744) Hendrik Makait
删除冗余的 geninc (GH#6740) Hendrik Makait
删除未使用的 worker_coroutines (GH#6739) Gabe Joseph
在 heapsets 中存储就绪和受限任务 (GH#6711) crusaderky
改进取消状态的测试 (GH#6717) crusaderky
面向未来的 Bokeh 值导入 (GH#6707) Bryan Van de Ven
恢复临时压力测试 (GH#6712) crusaderky
验证受限任务 (GH#6698) crusaderky
取消状态的一些次要生活质量调整 (GH#6701) crusaderky
序列化 worker 状态机异常 (GH#6702) crusaderky
worker 状态机指令的部分匹配 (GH#6704) crusaderky
自动标记所有 WorkerState 测试 (GH#6706) crusaderky

2022.7.0¶

发布于 2022 年 7 月 8 日

改进¶

worker 临时目录默认使用 tempdir 路径而不是当前工作目录 (GH#6658) Florian Jetter
添加 WorkerState.all_running_tasks (GH#6690) Hendrik Makait
Scheduler.reschedule() 仅偶然有效 (GH#6339) crusaderky
移除 worker 启动时多余的 UnpauseEvent (GH#6652) crusaderky
记录在线程中关闭 executor 是否可能失败 (GH#6644) Florian Jetter
cloudpickle 按值注册 (GH#6466) Ian Rose
在 fetch 中为任务添加副本现在会立即将其发送到飞行状态 (GH#6594) crusaderky

Bug 修复¶

修复无参数事件的 dump 输出 (GH#6695) crusaderky
在解释器启动前设置 MALLOC_TRIM_THRESHOLD_ (GH#6681) crusaderky
修复 reschedule 和 resumed 状态周围的死锁 (GH#6673) crusaderky
has_arg 对仅关键字参数返回 True (GH#6648) Lawrence Mitchell
worker 死亡导致的转换使用旧的 'worker-connect' stimulus_id (GH#6657) crusaderky
在 acquire-replicas 运行时一个 key 被遗忘 (GH#6638) crusaderky

维护¶

重新访问 WorkerState.long_running 集合 (GH#6697) crusaderky
用于 resumed 状态的 WorkerState 单元测试 (GH#6688) crusaderky
升级 pandas-stubs 版本 (GH#6691) crusaderky
为 ExecuteSuccessEvent 和 ExecuteFailureEvent 添加 dummy 工厂方法 (GH#6687) Hendrik Makait
在 nightly conda recipe 中锁定 tornado<6.2 (GH#6675) Peter Andreas Entschev
重构 WorkerState 中的资源限制处理 (GH#6672) Hendrik Makait
test_signal 和 test_terminate 在 MacOS 上偶尔返回 SIGKILL (GH#6671) crusaderky
在更多测试中使用 loop fixture (GH#6674) Thomas Grainger
无条件 import ssl (GH#6670) Thomas Grainger
在更多测试中使用 loop fixture (GH#6642) Thomas Grainger
锁定 tornado 版本到 <6.2 (GH#6668) Florian Jetter
处理 AsyncTaskGroupClosedError (GH#6664) Hendrik Makait
将大延迟 slowinc 的出现替换为锁 (GH#6656) Florian Jetter
合并 flake8 的 extend-ignore 和 ignore 值 (GH#6660) Hendrik Makait
移除 server 关闭后台任务的宽限期 (GH#6633) Thomas Grainger
在 utils_test 中不使用 tempfile (GH#6651) Florian Jetter
close_worker 清理 (GH#6650) crusaderky
使用 WorkerState 重写 test_cancelled_resumed_after_flight_with_dependencies (GH#6645) crusaderky
记录创建目录的实际耗时 (GH#6647) Florian Jetter
pandas 类型 stubs (GH#6635) crusaderky
移除 Server 中未使用的 __started Event (GH#6615) Florian Jetter
在 gen_cluster 中使用安全临时目录 (GH#6628) Florian Jetter
打印 CI 主机信息 (GH#6629) crusaderky
数据需要去重 (data_needed deduplicate) (GH#6587) crusaderky
移除 EnsureCommunicatingAfterTransitions (GH#6462) crusaderky
序列化 WorkerState (GH#6623) crusaderky
加强 vs. TaskState 冲突处理 (GH#6593) crusaderky
集群被垃圾回收时不要与事件循环交互 (GH#6627) Thomas Grainger

2022.6.1¶

发布于 2022 年 6 月 24 日

要点¶

此版本包含了 Worker 状态机重构。预期 worker 状态应为其自身的同步子类。将所有状态提取到其自身的类中，可以让我们在不调用任何并发或异步代码的情况下编写有针对性的单元测试。

更多信息请参见 GH#5736。

改进¶

将 worker 状态机方法设置为私有 (GH#6564) crusaderky
将状态机从 Worker 类中提取 (GH#6566) crusaderky
跟踪 worker_state_machine.TaskState 实例 (GH#6525) Hendrik Makait
对 Worker 状态机的微小调整 (GH#6586) crusaderky
将 loop.call_later 和 loop.add_callback 替换为添加到 Server 的后台任务 (GH#6603) Thomas Grainger
支持更整洁的 WorkerState 测试 (GH#6609) crusaderky
使用 Tornado 限制 TCP 写入到 2GB (GH#6557) hhuuggoo
为 scheduler 启用 no_implicit_optional (GH#6622) Thomas Grainger

Bug 修复¶

部分恢复 compute-task 消息格式 (GH#6626) Florian Jetter
恢复 CLI 中关于接收到信号的日志消息 (GH#6618) Florian Jetter
处理字节数组的空 memoryviews 在序列化/反序列化时的问题 (GH#6576) Benjamin Zaitlen
确保来自同一 IP 但不同 workers 的 steal 请求被拒绝 (GH#6585) Florian Jetter
修复 tls_(min|max)_ 版本对 openssl 1.1.0g 或更低版本无效的问题 (GH#6562) Thomas Grainger
修复 idle_timeout 并解除测试的 xfail 标记 (GH#6563) Matthew Rocklin
修复 _purge_state 中导致崩溃的 debug 语句 (GH#6589) crusaderky
在 CancelledError 时中止连接 (GH#6574) Thomas Grainger
修复 Active Memory Manager 忽略 nbytes 阈值的问题 (GH#6583) crusaderky

弃用¶

弃用 WorkerState 访问器 (GH#6579) crusaderky

维护¶

移除 ipython hack (GH#6599) crusaderky
Mypy 强制执行 --no-implicit-optional (GH#6606) crusaderky
更新 versioneer: 从使用 SafeConfigParser 更改为 ConfigParser (GH#6605) Thomas A Caswell
对 scheduler.py 发出不可达警告 (GH#6611) Florian Jetter
重构 wait_for_state() (GH#6581) crusaderky
硬编码 wait_for_signals 信号列表 (GH#6619) Thomas Grainger
运行测试时总是选择一个开放端口 (GH#6591) Florian Jetter
当子进程超时时记录 popen 的 stdout/err (GH#6567) Gabe Joseph
修复 test_error_during_startup (GH#6608) Florian Jetter
使 test_idle_timeout_no_workers 更健壮 (GH#6602) Florian Jetter
Mypy 强制执行 --disallow-incomplete-defs (GH#6601) crusaderky
在信号处理程序中不记录日志 (GH#6590) Florian Jetter
不在导入时初始化 mp_context (GH#6580) Lawrence Mitchell
测试 workers 死锁退休 (GH#6240) Gabe Joseph
重做一些与 gather_dep 相关的测试 (GH#6472) crusaderky
对 scheduler_story 和 worker_story 进行小的外观审查 (GH#6442) crusaderky
使用 isort 强制 __future__.annotations (GH#6621) Thomas Grainger

2022.6.0¶

发布于 2022 年 6 月 10 日

改进¶

使系统监视器中的磁盘访问可配置 (GH#6537) Matthew Rocklin
记录和捕获 preload 启动时的错误 (GH#6553) Matthew Rocklin
修复 Scheduler.restart 逻辑 (GH#6504) Gabe Joseph
当 Worker 关闭时不再发送心跳 (GH#6543) Gabe Joseph
不再因 errno.EADDRINUSE 重试 LocalCluster (GH#6369) Thomas Grainger
不要从状态机调用 log_event (GH#6512) crusaderky
添加配置选项以禁用 profiling 并在许多测试中默认禁用它 (GH#6490) Hendrik Makait
封装 Worker.batched_stream.send() (GH#6475) crusaderky

Bug 修复¶

refresh-who-has 可能破坏 worker 状态机 (GH#6529) crusaderky
如果 worker 未被 scheduler 识别，则重启它 (GH#6505) Gabe Joseph
修复设置 distributed.rmm.pool-size 时的导入错误 (GH#6482) KoyamaSohei

弃用¶

恢复 dask-gateway 的签名兼容性 (GH#6561) Tom Augspurger
弃用 io_loop 和 loop 作为 Server, Worker 和 Nanny 的关键字参数 (GH#6473) Thomas Grainger
弃用 loop 作为 Scheduler 的关键字参数 (GH#6443) Thomas Grainger

文档¶

修复 .nthreads() docstring 示例中的拼写错误 (GH#6545) Pavithra Eswaramoorthy
更新文档主题以配合品牌重塑 (GH#6495) Sarah Charlotte Johnson

维护¶

重构 gather_dep (GH#6388) crusaderky
修复不稳定的 test_gather_dep_one_worker_always_busy (GH#6554) crusaderky
移除 missing-data 消息 (GH#6546) crusaderky
将 test_local.LocalTest 移植到 pytest 测试，以便使用 loop fixture (GH#6523) Thomas Grainger
修复 test_quiet_client_close (GH#6541) Gabe Joseph
在 WorkerProcess 中使用 default_initializer (GH#6534) jakirkham
避免使用 popen 的测试中出现死锁 (GH#6483) Gabe Joseph
恢复 “Fix CLI Scheduler Tests (GH#6502)” (GH#6547) Gabe Joseph
更新 summary message 中的测试报告 URL (GH#6532) Gabe Joseph
更新测试报告 url (GH#6531) Ian Rose
断言 AsyncProcess.set_exit_callback 未调用 coroutine 函数 (GH#6526) Thomas Grainger
Worker.close 的类型注解和 docstring (GH#6518) Hendrik Makait
修复 CLI Scheduler Tests (GH#6502) Benjamin Zaitlen
在 test_as_current_is_thread_local 中收集断言 (GH#6520) Thomas Grainger
从测试结果评论中链接测试报告 (GH#6524) Hendrik Makait
忽略 signal.signal 的返回值 (GH#6519) Thomas Grainger
重构所有事件处理程序 (GH#6410) crusaderky
修复 dashboard favicon 背景 (GH#6514) Jacob Tomlinson
更新 dashboard logo (GH#6513) Jacob Tomlinson
修复 test_stress_scatter_death (GH#6404) Florian Jetter
移除 CrossFilter widget (GH#6484) crusaderky
data_needed 仅包含处于 fetch 状态的任务 (GH#6481) crusaderky
断言可能的先前状态 (GH#6488) Florian Jetter
@fail_hard 可能杀死整个测试套件；隐藏错误 (GH#6474) crusaderky
断言不可能发生 fetch->cancelled->resumed->fetch 循环 (GH#6460) crusaderky
重构 busy workers 重新插入 (GH#6379) crusaderky
重构 find_missing 和 refresh_who_has (GH#6348) crusaderky
将 test_collections.py 重命名为 test_dask_collections.py (GH#6486) crusaderky
update_who_has 可以移除 workers (GH#6342) crusaderky
重构 test_watch_requires_lock_to_run 以避免不稳定 (GH#6469) Hendrik Makait
修复 test_profile_plot 的间歇性失败 (GH#6456) Matthew Rocklin
使用 asyncio.run 运行 gen_cluster, gen_test 和 cluster (GH#6231) Thomas Grainger
改进监视子进程日志的测试 (GH#6461) Gabe Joseph

2022.05.2¶

发布于 2022 年 5 月 26 日

改进¶

为 distributed.profile 添加锁以实现更好的并发控制 (GH#6421) Hendrik Makait
内存使用率超过 95% 时，在 SIGTERM 后发送 SIGKILL (GH#6419) crusaderky

Bug 修复¶

在 preload.teardown() 中记录异常而不是抛出 (GH#6458) Matthew Rocklin
处理 scheduler 关闭期间失败的 plugin.close() 调用 (GH#6450) Matthew Rocklin
修复 ensure_memoryview 中的切片 bug (GH#6449) jakirkham
泛化 UCX 在 connect() 上的错误并更正 pytest fixtures (GH#6434) Peter Andreas Entschev
在正确的事件循环上运行 cluster widget 周期性回调 (GH#6444) Thomas Grainger

维护¶

如果安装了 pytest-asyncio，则禁用它 (GH#6436) Jacob Tomlinson
在同步 test_actor 测试中关闭 client (GH#6459) Thomas Grainger
忽略 ServerSession.with_document_locked unawaited (GH#6447) Thomas Grainger
移除 Python 3.10 环境中的 coverage pin (GH#6439) Thomas Grainger
注解 remove_worker (GH#6441) crusaderky
更新 gpuCI RAPIDS_VER 到 22.08 (GH#6428)

2022.05.1¶

发布于 2022 年 5 月 24 日

新特性¶

为 scheduler 添加 HTTP API (GH#6270) Matthew Murray
带有 Scheduler 逻辑的 Shuffle Service (GH#6007) Matthew Rocklin

改进¶

关于从 Worker.close 中移除 report 和 safe 的后续工作 (GH#6423) Gabe Joseph
Server 关闭更快 (GH#6415) Florian Jetter
默认禁用 HTTP API (GH#6420) Jacob Tomlinson
从 Worker.close 中移除 report 和 safe (GH#6363) Florian Jetter
允许在 register_scheduler_plugin 中使用反序列化的插件 (GH#6401) Matthew Rocklin
不同地址的 WorkerState 不同 (GH#6398) Florian Jetter
在收集数据之前不要过滤任务 (GH#6371) crusaderky
移除 worker 重新连接功能 (GH#6361) Gabe Joseph
添加 SchedulerPlugin.log_event handler (GH#6381) Matthew Rocklin
确保 occupancy 跟踪对长时间运行的任务按预期工作 (GH#6351) Florian Jetter
所有 Instructions 的 stimulus_id (GH#6347) crusaderky
重构 missing-data 命令 (GH#6332) crusaderky
为 register_scheduler_plugin client 添加 idempotent 选项 (GH#6328) Alex Ford
添加选项为 workers 指定 scheduler 地址 (GH#5944) Enric Tejedor

Bug 修复¶

移除残留的 breakpoint (GH#6417) Thomas Grainger
修复 API JSON MIME 类型 (GH#6397) Jacob Tomlinson
移除 handle compute 中错误的 assert (GH#6370) Florian Jetter
确保多个 clients 可以取消其 key 而不会相互干扰 (GH#6016) Florian Jetter
修复 Nanny 关闭断言 (GH#6357) Gabe Joseph
修复同步函数的 fail_hard (GH#6269) Gabe Joseph
防止无限转换循环；更积极的 validate_state() (GH#6318) crusaderky
确保在 terminate 时清理大量 GB 的溢出数据 (GH#6280) crusaderky
修复 WORKER_ANY_RUNNING 回归问题 (GH#6297) Florian Jetter
fetch 到 compute 期间的竞争条件，同时 AMM 请求副本 (GH#6248) Florian Jetter
确保 resumed 任务不会意外被遗忘 (GH#6217) Florian Jetter
不允许再次等待正在关闭的 workers (GH#5910) Florian Jetter

弃用¶

将 wait_for_signals 移至私有模块并弃用 distributed.cli.utils (GH#6367) Hendrik Makait

文档¶

修复 worker.py 中的拼写错误和空白符 (GH#6326) Hendrik Makait
修复内存修剪文档的链接 (GH#6317) Marco Wolsza

维护¶

使 gen_test 出现在 VSCode 测试发现中 (GH#6424) Gabe Joseph
WSMR / deserialize_task (GH#6411) crusaderky
wait for signals 完成后恢复信号处理程序 (GH#6400) Thomas Grainger
fail_hard 应该重新抛出异常 (GH#6399) crusaderky
重新访问模拟 gather_dep 的测试 (GH#6385) crusaderky
修复不稳定的 test_in_flight_lost_after_resumed (GH#6372) Florian Jetter
由于下游依赖，恢复 install_signal_handlers (GH#6366) Hendrik Makait
改进 catch_unhandled_exceptions (GH#6358) Gabe Joseph
从 CLI 中移除所有 IOLoop.run_sync 的调用 (GH#6205) Hendrik Makait
从 config 中移除 transition-counter-max (GH#6349) crusaderky
在 pickle_loads 中使用 list 推导式 (GH#6343) jakirkham
改进 ensure_memoryview 测试覆盖率并进行小修复 (GH#6333) jakirkham
移除 gen_cluster 中对 workers 的内存泄漏引用 (GH#6337) Hendrik Makait
stealing.py 的部分注解 (GH#6338) crusaderky
验证和调试 handle_compute_task 上的状态机 (GH#6327) crusaderky
更新 pyupgrade 并清理 # type: ignore (GH#6293) crusaderky
gen_cluster 写入 /tmp (GH#6335) crusaderky
转换表作为 ClassVar (GH#6331) crusaderky
使用 array 简化 ensure_memoryview 测试 (GH#6322) jakirkham
重构 ensure_communicating (GH#6165) crusaderky
审查 scheduler 注解，第 2 部分 (GH#6253) crusaderky
在 pickle_loads 的 writeable 分支中使用 w (GH#6314) jakirkham
简化 ws 中的帧处理 (GH#6294) jakirkham
使用 dask.utils 中的 ensure_bytes (GH#6295) jakirkham
在 array 反序列化中使用 ensure_memoryview (GH#6300) jakirkham
生成 Junit 报告时转义 < > (GH#6306) crusaderky
使用 codecs.decode 反序列化错误 (GH#6274) jakirkham
在 maybe_compress 和 byte_sample 中最小化复制 (GH#6273) jakirkham
在 OSX 上跳过 test_release_evloop_while_spilling (GH#6291) Florian Jetter
简化 get_default_compression 中的逻辑 (GH#6260) jakirkham
清理旧的压缩 workaround (GH#6259) jakirkham
重新启用 WSL 的 NVML 监控 (GH#6119) Charles Blackmon-Luca

2022.05.0¶

发布于 2022 年 5 月 2 日

要点¶

这是一个针对此问题的错误修复版本。

改进¶

在 buffer_callback 中处理 writeable (GH#6238) jakirkham
在使用 NumPy 数组分配时使用 .data (GH#6242) jakirkham

Bug 修复¶

如果解释器正在关闭，则在事件循环中关闭 executor (GH#6256) Matthew Rocklin

2022.04.2¶

发布于 2022 年 4 月 29 日

改进¶

在等待 ThreadpoolExecutor 关闭时解除事件循环阻塞 (GH#6091) Florian Jetter
如果移除，RetireWorker 策略即完成 (GH#6234) Gabe Joseph
暂停以禁用依赖项收集 (GH#6195) crusaderky
将 EOFError 添加到 nanny multiprocessing.queue 异常列表中 (GH#6213) Matthew Rocklin
重新解释 lost worker 情景中的错误 (GH#6193) Matthew Rocklin
向 Scheduler 添加 Stimulus ID (GH#6161) Florian Jetter
为 Dask workers 设置五分钟的 TTL (GH#6200) Matthew Rocklin
添加 distributed.metrics.monotonic (GH#6181) crusaderky
将 worker 验证错误发送到 scheduler 并在测试完成时报告错误 (GH#6192) Matthew Rocklin
重新设计 worker 在 busy-gather 时的指数回退 (GH#6173) crusaderky
将所有无效的 worker 转换记录到 scheduler (GH#6134) Matthew Rocklin
使 Graph dashboard 图具有不可见的轴 (GH#6149) Matthew Rocklin
移除 Nanny auto_restart 状态 (GH#6138) Matthew Rocklin

Bug 修复¶

确保 scheduler 事件不会持有 TaskState 对象 (GH#6226) Florian Jetter
允许在溢出时暂停和阻塞事件循环 (GH#6189) crusaderky
在 stealing 中不使用 UUID (GH#6179) Florian Jetter
处理信息页面中的整数 worker 名称 (GH#6158) Brett Naul
修复 psutil dio counters 为 None 的问题 (GH#6093) ungarj
加入 Nanny watch 线程 (GH#6146) Matthew Rocklin
改进关闭 workers 时的日志记录 (GH#6129) Matthew Rocklin
避免 profiling 中的堆栈溢出 (GH#6141) Matthew Rocklin
如果启动失败，则清理 SSHCluster (GH#6130) Matthew Rocklin

弃用¶

弃用 rpc 同步上下文管理器 (GH#6171) Thomas Grainger

文档¶

更新 actors.rst (GH#6167) Scott Sievert

维护¶

为 worker 方法添加 fail_hard 装饰器 (GH#6210) Matthew Rocklin
不要求 pytest_timeout (GH#6224) Florian Jetter
移除测试中剩余的 run_sync 调用 (GH#6196) Thomas Grainger
如果 debugger 正在运行，则增加测试超时时间 (GH#6218) Florian Jetter
不要在项目符号列表中列出 closes 关键字 (GH#6219) Florian Jetter
统一 (GH#6161) 和 (GH#6173) (GH#6207) crusaderky
Xfail test_worker_death_timeout (GH#6186) Matthew Rocklin
在 test_dask_spec.py::test_text 中使用随机端口 (GH#6187) Matthew Rocklin
将所有 websocket 测试标记为不稳定 (GH#6188) Matthew Rocklin
修复不稳定的 test_dont_steal_long_running_tasks (GH#6197) crusaderky
清理 stealing 中的名称 (GH#6185) Matthew Rocklin
log_errors 装饰器 (GH#6184) crusaderky
在 Windows 上通过 mypy 验证 (GH#6180) crusaderky
添加 locket 作为依赖项而不是 vendoring (GH#6166) Michael Adkins
移除 gather_dep 和 get_data_from_worker 的 unittestmock (GH#6172) Florian Jetter
mypy 调整 (GH#6175) crusaderky
避免轻松调用已弃用的 asyncio.get_event_loop() (GH#6170) Thomas Grainger
修复不稳定的 test_cancel_fire_and_forget (GH#6099) crusaderky
移除已弃用的代码 (GH#6144) Matthew Rocklin
更新测试徽章的链接 (GH#6154) Florian Jetter
移除旧的状态映射 (GH#6145) Matthew Rocklin
修复 test_worker_waits_for_scheduler (GH#6155) Matthew Rocklin
在 Windows 上禁止线程泄露 (GH#6152) Thomas Grainger
审查 scheduler.py 中的注解和 docstrings，第 1 部分 (GH#6132) crusaderky
放松 test_asyncprocess.py::test_simple 的限制 (GH#6150) Matthew Rocklin
移除实际上是无操作的 casting (GH#6101) jakirkham
将使用特定端口的测试标记为不稳定 (GH#6139) Matthew Rocklin
AMM 建议 namedtuples (GH#6108) crusaderky

2022.04.1¶

发布于 2022 年 4 月 15 日

新特性¶

添加 KillWorker 插件 (GH#6126) Matthew Rocklin

增强¶

在信息页面中对工作节点列表进行排序 (GH#6135) Matthew Rocklin
重新添加 Worker.transition_fetch_missing (GH#6112) Matthew Rocklin
记录状态机事件 (GH#6092) crusaderky
将 ensure_executing 转换迁移到新的 WorkerState 事件机制 - 第 1 部分 (GH#6003) crusaderky
将 ensure_executing 转换迁移到新的 WorkerState 事件机制 - 第 2 部分 (GH#6062) crusaderky
注释工作节点转换为错误 (GH#6012) crusaderky

错误修复¶

避免工作节点中从内存/已释放状态转换为缺失状态 (GH#6123) Matthew Rocklin
解释器关闭时不要尝试重新连接客户端 (GH#6120) Matthew Rocklin
将 UCX 初始化警告包装在可导入函数中 (GH#6121) Charles Blackmon-Luca
在工作节点关闭时取消 asyncio 任务 (GH#6098) crusaderky
定义端口范围时避免端口冲突 (GH#6054) crusaderky

维护¶

避免 test_cancel_fire_and_forget 中的间歇性故障 (GH#6131) Matthew Rocklin
在 pytest 中忽略 bokeh 警告 (GH#6127) Matthew Rocklin
开始解除 Cython 化 (GH#6104) Martin Durant
在 gen_test 测试中避免冗余的清理 fixture (GH#6118) Thomas Grainger
将 comm.close 移到 test_comms 中的 finally 块 (GH#6109) Florian Jetter
在 test_core.py 中使用 async 与 Server (GH#6100) Matthew Rocklin
在测试套件中将警告提升为错误 (GH#6094) Thomas Grainger
将 urllib3 添加到 nightly conda 构建中 (GH#6102) James Bourbeau
删除 Blosc (GH#6027) Matthew Rocklin
健壮的 test_get_returns_early (GH#6090) Florian Jetter
大修 test_priorities.py (GH#6077) crusaderky
删除 pytest-asyncio (GH#6063) Thomas Grainger
清理普通 rpc 的使用方式 (GH#6082) Florian Jetter
删除 Python 3.9 的 OSX 构建 (GH#6073) Florian Jetter
增加 utils_test.wait_for 中的周期 (GH#6081) Florian Jetter
更新 gpuCI 时检查 ucx-py nightly 版本 (GH#6006) Charles Blackmon-Luca
为 profile.py 添加类型注解 (GH#6067) crusaderky
修复不稳定的 test_worker_time_to_live (GH#6061) crusaderky
修复不稳定的 test_as_completed_async_for_cancel (GH#6072) crusaderky
修复 test_weakref_cache 中的回归 (GH#6033) crusaderky
对 test_nanny_worker_port_range 的简单修复 (GH#6070) crusaderky
删除已弃用的 tornado.netutil.ExecutorResolver (GH#6031) Thomas Grainger
删除 asyncio.py (GH#6066) Thomas Grainger
调整 conda 环境文件 (GH#6037) crusaderky
加强 test_abort_execution_to_fetch 等测试 (GH#6026) crusaderky
修复 test_as_completed_with_results_no_raise 并命名 comm (GH#6042) Matthew Rocklin
在 test_worker_memory 中使用更健壮的限制 (GH#6055) Florian Jetter

2022.04.0¶

发布于 2022 年 4 月 1 日

注意

这是第一个支持 Python 3.10 的版本

新特性¶

添加 Python 3.10 支持 (GH#5952) Thomas Grainger
新的集群转储工具 (GH#5920) Simon Perkins
用于在关闭时转储集群状态的新 ClusterDump SchedulerPlugin (GH#5983) Simon Perkins
在仪表板图中跟踪事件循环间隔 (GH#5964) Matthew Rocklin
调度器上的 ToPickle - Unpickle (GH#5728) Mads R. B. Kristensen

增强¶

在 preload 中对瞬时错误代码进行重试 (GH#5982) Matthew Rocklin
更符合惯用法的 mypy 配置 (GH#6022) crusaderky
命名扩展并启用扩展心跳 (GH#5957) Matthew Rocklin
对执行器注解拼写错误时提供更友好的错误消息 (GH#6009) crusaderky
阐明 SchedulerPlugin 必须被子类化 (GH#6008) crusaderky
移除窃取中的重复代码 (GH#5787) Duncan McGregor
移除 iscoroutinefunction 中的缓存以避免持有引用 (GH#5985) Florian Jetter
为单个图添加标题 (GH#5967) Matthew Rocklin
在时间序列标题中指定平均值 (GH#5974) Matthew Rocklin

错误修复¶

不在 CommPool 中捕获 CancelledError (GH#6005) Florian Jetter

弃用¶

移除 distributed._ipython_utils 及其依赖项 (GH#6036) Thomas Grainger
移除对 PyPy 的支持 (GH#6029) James Bourbeau
移除对 setuptools 的运行时依赖 (GH#6017) crusaderky
移除事件中的心跳 (GH#5989) Matthew Rocklin

文档¶

提及 Client 的 timeout 的默认值 (GH#5933) Eric Engestrom
更新 celery 和其他过时的第三方 URL (GH#5988) Thomas Grainger

维护¶

改进 test_hardware 测试 (GH#6039) Matthew Rocklin
test_report.html 的简短变体 (GH#6034) crusaderky
使 test_reconnect 异步化 (GH#6000) Matthew Rocklin
将 gpuCI RAPIDS_VER 更新到 22.06 (GH#5962)
为 ToPickle 添加小型测试 (GH#6021) Matthew Rocklin
移除 check_python_3 (与 click>=8.1.0 不兼容) (GH#6018) Thomas Grainger
修复 CI 中的 black (GH#6019) crusaderky
添加硬件基准测试以测试内存、磁盘和网络带宽 (GH#5966) Matthew Rocklin
放宽变量 test_race 的限制 (GH#5993) Matthew Rocklin
没有 paramiko 时跳过 dask-ssh 测试 (GH#5907) Elliott Sales de Andrade
移除 test_restart_sync_no_center (GH#5994) Matthew Rocklin
在测试中设置较低的 tick 频率 (GH#5977) Matthew Rocklin
在 SafeTemporaryDirectory 中捕获 NotADirectoryError (GH#5984) Florian Jetter
修复不稳定的 test_weakref_cache (GH#5978) crusaderky
修正 test_worker_doesnt_await_task_completion (GH#5979) Matthew Rocklin
在 test_nanny_worker_port_range 中使用更宽的范围 (GH#5980) Matthew Rocklin
在集群 fixture 中使用 tempfile 目录 (GH#5825) Florian Jetter
从 distributed recipe 中删除 setuptools (GH#5963) jakirkham

2022.03.0¶

发布于 2022 年 3 月 18 日

新特性¶

支持将集群状态转储到 URL (GH#5863) Gabe Joseph

增强¶

防止 unspill 时数据重复 (GH#5936) crusaderky
封装 spill buffer 和 memory_monitor (GH#5904) crusaderky
放弃 pkg_resources 转而使用 importlib.metadata (GH#5923) Thomas Grainger
工作节点状态机重构：重新设计 TaskState 和调度器消息 (GH#5922) crusaderky
整理 OpenSSL 1.0.2/Python 3.9（及更早版本）处理 (GH#5854) jakirkham
zict 类型注解 (GH#5905) crusaderky
向计算失败消息添加 key (GH#5928) Florian Jetter
更改默认日志格式以包含时间戳 (GH#5897) Florian Jetter
改进 worker.py 中的类型注解 (GH#5814) crusaderky

错误修复¶

修复 progress_stream 拆卸 (GH#5823) Thomas Grainger
处理 InProcListener 中的并发或失败的握手 (GH#5903) Thomas Grainger
使 log_event 线程安全 (GH#5946) Gabe Joseph

文档¶

修复有关插件的文档 (GH#5940) crendoncoiled
更新调度策略文档 (GH#5911) Gabe Joseph

维护¶

修复 test_nanny_worker_port_range 在 Windows 上挂起的问题 (GH#5956) crusaderky
(已回退) 等待 ThreadpoolExecutor 关闭时解除事件循环阻塞 (GH#5883) Florian Jetter
回退 GH#5883 (GH#5961) crusaderky
在 test-report 作业中反转 event_name 检查 (GH#5959) jakirkham
仅在 dask/distributed 上运行 gh-pages 工作流程 (GH#5942) jakirkham
absolufy-imports - 无相对导入 - PEP8 (GH#5924) Florian Jetter
修复分布式预发布版本的 track_features (GH#5927) Charles Blackmon-Luca
Xfail test_submit_different_names (GH#5916) Florian Jetter
修复 distributed 预发布版本的 distributed-impl 约束 (GH#5867) Charles Blackmon-Luca
在 test_worker.py (v2) 中模拟进程内存读取 (GH#5878) crusaderky
删除未使用的 _round_robin 全局变量 (GH#5881) jakirkham
添加 PyPi 的 GitHub URL (GH#5886) Andrii Oriekhov
将 COMPILED 测试的 xfail 标记改为 skipif (GH#5884) Florian Jetter

2022.02.1¶

发布于 2022 年 2 月 25 日

新特性¶

添加 Client 运行 preload 代码的能力 (GH#5773) Bryan W. Weber

增强¶

可选地使用 NumPy 分配缓冲区 (GH#5750) jakirkham
向 distributed-impl 版本添加 git hash (GH#5865) Charles Blackmon-Luca
尝试连接已关闭集群时立即引发异常 (GH#5855) Florian Jetter
惰性获取 dask 版本信息 (GH#5822) Thomas Grainger
移除为每个 handler 添加 comm 的需求 (GH#5820) Florian Jetter
在 check_instances 中对未关闭的 comms 引发异常 (GH#5836) Florian Jetter
Python 3.8 f-string (GH#5828) crusaderky
受限溢出 (Constrained spill) (GH#5543) Naty Clementi
测量实际溢出字节数，而非 sizeof() 的输出 (GH#5805) crusaderky
移除冗余的 str() 转换 (GH#5810) crusaderky
集群转储现在默认排除 run_spec (GH#5803) Florian Jetter
使用 dump_cluster_state 转储更多对象 (GH#5806) crusaderky
导入时不安连接任何 sockets (GH#5808) Florian Jetter

错误修复¶

避免两个任务并发等待未解析的 ActorFuture 时发生死锁 (GH#5709) Thomas Grainger

弃用¶

移除 Python 3.7 (GH#5683) James Bourbeau
移除对 UCX < 1.11.1 的支持 (GH#5859) Peter Andreas Entschev

文档¶

修复内存类型文档中的相对链接拼写错误 (GH#5845) James Bourbeau
记录和测试 spill->target 滞后循环 (GH#5813) crusaderky

维护¶

修复不稳定的 test_remove_replicas_while_computing (GH#5860) crusaderky
修复基于时间的不稳定的 test_assert_worker_story_malformed_story 参数化 (GH#5856) Thomas Grainger
移除 test_no_unnecessary_imports_on_worker 的 xfail (GH#5862) crusaderky
开始使用 Cythonized 调度器构建预发布版本 (GH#5831) Charles Blackmon-Luca
如果测试未及时完成，则不标记为 xfail (GH#5824) Florian Jetter
在 test_dask_worker.py 中尽可能使用 gen_cluster (GH#5842) Florian Jetter
当 pytest-timeout 杀死 pytest 时生成 junit 报告 (GH#5832) crusaderky
缩短 GHA 作业的 timeout-minutes (GH#5837) Florian Jetter
修复一些超时问题 (GH#5647) Florian Jetter
增加预发布版本号使其大于稳定版本 (GH#5816) Charles Blackmon-Luca
不在 forks 上运行计划作业 (GH#5821) Florian Jetter
移除 CI 中的 pillow<9 固定 (GH#5775) Thomas Grainger
在报告中显示计划的测试运行 (GH#5812) Ian Rose
添加带有 pragma 语句的显式排除项 (GH#5801) Sarah Charlotte Johnson
为 cli 文件添加覆盖排除项 (GH#5800) Sarah Charlotte Johnson
添加 pragma 语句 (GH#5749) Sarah Charlotte Johnson
从 distributed.cli.dask_ssh 中移除 pragma: no cover (GH#5809) Thomas Grainger
添加 pragma - worker.py, client.py, stealing.py (GH#5827) Sarah Charlotte Johnson
放宽预发布版本对 distributed / dask-core 的依赖 (GH#5802) Charles Blackmon-Luca
移除 test_ucx_config_w_env_var 的不稳定条件 (GH#5765) Peter Andreas Entschev

2022.02.0¶

发布于 2022 年 2 月 11 日

注意

这是最后一个支持 Python 3.7 的版本

增强¶

在 wait_for_workers 中更新 client.scheduler_info (GH#5785) Matthew Rocklin
提高连接期间对 TimeoutError 的健壮性 (GH#5096) Florian Jetter
在 sync 中遵守 KeyboardInterrupt (GH#5758) Thomas Grainger
添加工作流程/recipe 以生成 Dask/distributed 预发布版本 (GH#5636) Charles Blackmon-Luca
审查 Scheduler / Worker 显示 repr (GH#5746) crusaderky
AMM: 优雅的工作节点退休 (GH#5381) crusaderky
AMM: 暂时稳定围绕工作节点暂停的不稳定测试 (GH#5735) crusaderky
AMM: 加速和稳定 test_memory (GH#5737) crusaderky
在 P2P shuffle 中延迟工作节点上的 pandas 导入 (GH#5695) Gabe Joseph

错误修复¶

修复 distributed.worker.memory.target=False 和 spill=0.7 的问题 (GH#5788) crusaderky
如果没有 who_has，将 flight 转换为 missing (GH#5653) Florian Jetter

弃用¶

移除已弃用的 ncores (GH#5780) crusaderky
弃用通过类注册插件 (GH#5699) Thomas Grainger
弃用 dask-worker CLI 的 --nprocs 选项 (GH#5641) Bryan W. Weber

文档¶

修复反引号不平衡的问题 (GH#5784) Matthias Bussonnier

维护¶

xfail test_worker_reconnects_mid_compute (GH#5797) crusaderky
修复 linting CI 构建 (GH#5794) James Bourbeau
更新 pre-commit 版本 (GH#5782) James Bourbeau
重新激活 pytest_resourceleaks (GH#5771) crusaderky
为 test_client_timeout 设置测试假设 (GH#5790) Florian Jetter
从 test_ucx_config_w_env_var 中移除客户端超时 (GH#5792) Florian Jetter
移除 test_failed_worker_without_warning (GH#5789) Florian Jetter
修复纵向报告 (GH#5783) Ian Rose
修复不稳定的 test_robust_to_bad_sizeof_estimates (GH#5753) crusaderky
回退 "Pin coverage to 6.2 (GH#5716)" (GH#5770) Thomas Grainger
定期触发测试运行以增加失败统计信息 (GH#5769) Florian Jetter
更容错的测试报告 (GH#5732) Ian Rose
固定 pillow<9 以解决 torch 不兼容问题 (GH#5755) Thomas Grainger
大修 check_process_leak (GH#5739) crusaderky
修复不稳定的 test_exit_callback test (GH#5713) Jim Crist-Harif
生成测试摘要 (GH#5710) crusaderky
单独上传不同架构的预发布版本 (GH#5741) Charles Blackmon-Luca
忽略非测试目录 (GH#5720) Gabe Joseph
将 gpuCI PYTHON_VER 提升到 3.9 (GH#5738) Charles Blackmon-Luca
回归：线程在启动前被记下 (GH#5796) crusaderky

2022.01.1¶

发布于 2022 年 1 月 28 日

新特性¶

P2P shuffle 骨架 (GH#5520) Gabe Joseph

增强¶

修复 <Task pending name='...' coro=<Client._handle_report()> (GH#5721) Thomas Grainger
添加 distributed.client.security-loader 配置 (GH#5693) Jim Crist-Harif
避免 Client._handle_report 在 Client._close 时取消自身 (GH#5672) Thomas Grainger
暂停的工作节点不应窃取任务 (GH#5665) crusaderky
添加选项以从 Node.get_logs 输出中获取时间戳 (GH#4932) Charles Blackmon-Luca
不使用 time.time() 或 IOLoop.time() (GH#5661) crusaderky

错误修复¶

在 Worker.start() 上引发插件异常 (GH#4298) Peter Andreas Entschev

文档¶

修正 docstrings (GH#5696) Julia Signell
修复 Client.run docstring 中的拼写错误 (GH#5687) Thomas Grainger
更新 client.py docstrings (GH#5670) Tim Harris

维护¶

如果未安装 pandas / dask.dataframe，则跳过 shuffle 测试 (GH#5730) James Bourbeau
提高测试覆盖率 (GH#5655) Sarah Charlotte Johnson
测试报告改进 (GH#5714) Ian Rose
P2P shuffle: 在测试中忽略行顺序 (GH#5706) Gabe Joseph
修复不稳定的 test_no_reconnect[--no-nanny] (GH#5686) Thomas Grainger
固定 coverage 到 6.2 (GH#5716) Thomas Grainger
检查 timeouts artifact 的新名称并更加容错 (GH#5707) Ian Rose
重新审视 rebalance 单元测试 (GH#5697) crusaderky
更新 rearrange_by_column_p2p 中的注释 (GH#5701) James Bourbeau
更新 gpuCI RAPIDS_VER 到 22.04 (GH#5676)
修复 Dask PR#8563 中 meta 要求变得更严格后的 groupby 测试 (GH#5694) Julia Signell
修复不稳定的 test_close_gracefully 和 test_lifetime (GH#5677) crusaderky
修复不稳定的 test_workspace_concurrency (GH#5690) crusaderky
修复不稳定的 test_shuffle_extension.py::test_get_partition (GH#5689) Gabe Joseph
修复不稳定的 test_dump_cluster_unresponsive_remote_worker (GH#5679) crusaderky
在所有测试失败时转储集群状态 (GH#5674) crusaderky
更新许可证格式 (GH#5652) James Bourbeau
修复不稳定的 test_drop_with_paused_workers_with_running_tasks_3_4 (GH#5673) crusaderky
如果找不到 GitHub token，则不引发异常 (GH#5668) Florian Jetter

2022.01.0¶

发布于 2022 年 1 月 14 日

新特性¶

任务组堆叠面积图 (GH#5320) Ian Rose
支持配置 TLS min/max 版本 (GH#5594) Jim Crist-Harif
使用 asyncio 进行 TCP/TLS 通信 (GH#5450) Jim Crist-Harif

增强¶

在 CancelledError 上关闭 comm (GH#5656) crusaderky
不从唯一正在运行的工作节点上删除 (GH#5626) crusaderky
传输优先级 (GH#5625) crusaderky
添加 RPC 调用以获取任务前缀 (GH#5617) Benjamin Zaitlen
长时间运行的占用率 (GH#5395) Florian Jetter
在 run/broadcast 中处理单个工作节点上的错误 (GH#5590) crusaderky
允许在窃取者和受害者资源异构的情况下进行工作窃取 (GH#5573) Florian Jetter
在 WSL 上禁用 NVML 监控 (GH#5568) Charles Blackmon-Luca

错误修复¶

确保窃取刺激 ID 的唯一性 (GH#5620) Florian Jetter
修复性能报告中的 KeyError: 'startstops' (GH#5608) Gabe Joseph
故事时间戳可能会稍微超前 (GH#5612) crusaderky
防止 Worker._to_dict 中的 RecursionError (GH#5591) crusaderky
确保 distributed 可以在线程中导入 (GH#5593) Jim Crist-Harif

文档¶

修复 changelog 部分超链接 (GH#5638) Aneesh Nema
修复 unpublish_dataset 示例调用中的拼写错误 (GH#5615) Deepyaman Datta
修复 README 中测试报告徽章的拼写错误 (GH#5586) James Bourbeau

维护¶

对 distributed.comm 的外观更改 (GH#5657) crusaderky
整合损坏 comm 的测试工具 (GH#5654) James Bourbeau
修复 test_worker_reconnects_mid_compute 的并发假设 (GH#5623) Florian Jetter
处理 Bokeh 3.0 CDSView 更改 (GH#5643) Bryan Van de Ven
使用 packaging 而不是 distutils 获取版本 (GH#5624) Julia Signell
XFAIL tls explicit comm close 测试在 py3.7 上失败 (GH#5639) Jim Crist-Harif
标记一些额外的 ucx-py 测试用于 GPU (GH#5603) Charles Blackmon-Luca
重命名 ensure_default_get 并添加测试 (GH#5609) Naty Clementi
从 boekh LabelSets 中移除 render_mode kwarg (GH#5616) Garry O’Donnell
为 assert_worker_story 添加 lambda 支持 (GH#5618) crusaderky
忽略 timeout artifact 文件未找到警告 (GH#5619) Florian Jetter
改进 @gen_cluster 中的集群状态转储 (GH#5592) crusaderky
解决 MacOS CI 上的 SSL 故障 (GH#5606) crusaderky
将 gpuCI CUDA_VER 提升到 11.5 (GH#5604) Charles Blackmon-Luca
assert_worker_story (GH#5598) crusaderky
distributed.versions 代码更新 (GH#5600) crusaderky
更新 gpuCI 和 test_ucx_config_w_env_var (GH#5595) James Bourbeau
将 blacklist/whitelist 替换为 blocklist/allowlist (GH#5589) crusaderky
Distributed 测试报告 (GH#5583) Ian Rose
AMM: 外观调整 (GH#5584) crusaderky

2021.12.0¶

发布于 2021 年 12 月 10 日

增强¶

支持 gen_test 的 pytest fixtures 和 parametrize (GH#5532) Fábio Rosado
允许通过 RPC 注册幂等的调度器插件 (GH#5545) Jacob Tomlinson
AMM 日志记录 (GH#5530) crusaderky
使用 SSHCluster 时，如果未安装 asyncssh，则引发错误 (GH#5535) Fábio Rosado
允许 UCX 配置 schema 中的 None (GH#5534) Fábio Rosado
添加 distributed.comm.ucx.create-cuda-context 配置 (GH#5526) Peter Andreas Entschev

错误修复¶

允许窃取未知任务 (GH#5572) Florian Jetter
进一步修复 recursive_to_repr 中的 RecursionError (GH#5579) crusaderky
重新审视 recursive_to_dict (GH#5557) crusaderky
处理 UCXUnreachable 异常 (GH#5556) Peter Andreas Entschev

文档¶

在 API 文档中分离 Coordination 部分 (GH#5412) Gabe Joseph
改进关于处理状态和暂停工作节点的文档 (GH#4985) Maximilian Roos
修复 TaskGroupGraph.update_layout 注释中的拼写错误 (GH#5536) Hristo Georgiev
更新 register_worker_plugin 的文档 (GH#5533) crusaderky

维护¶

标记 test_gpu_monitoring_recent 为不稳定 (GH#5540) Peter Andreas Entschev
在 SSH test_nprocs 中等待工作节点到达 (GH#5575) James Bourbeau
AMM: 测试对已在传输中的任务执行 acquire-replicas 是空操作 (GH#5566) crusaderky
确保 artifacts 带有 CI 分区标签，以免相互竞争和覆盖 (GH#5571) Ian Rose
工作节点状态机中的少量重构和注释 (GH#5563) Florian Jetter
修复 test_ucx_unreachable 在 UCX < 1.12 上的问题 (GH#5562) Peter Andreas Entschev
将 Bokeh 最低版本提升到 2.1.1 (GH#5548) Bryan Van de Ven
更新 gen_test 测试以更健壮 (GH#5551) James Bourbeau
如果 UCXUnreachable 不可用，则跳过 test_ucx_unreachable (GH#5560) Peter Andreas Entschev
更新 gpuCI RAPIDS_VER 到 22.02 (GH#5544)
添加工作流程以自动化 gpuCI 更新 (GH#5541) Charles Blackmon-Luca
在 distributed 中实际支持 uvloop (GH#5531) Jim Crist-Harif
将 UCX 配置分隔符标准化为 - (GH#5539) Peter Andreas Entschev

2021.11.2¶

发布于 2021 年 11 月 19 日

确保取消错误转换可以正确释放 key (GH#5528) Florian Jetter
重构 release key (GH#5507) Florian Jetter
修复由错误任务引起的死锁 (executing->cancelled->error) (GH#5503) Florian Jetter
解决与 KeyError 相关的死锁 (GH#5525) Florian Jetter
移除 worker failure 文档中的多余引号 (GH#5518) James Bourbeau
确保 safe_sizeof 警告准确 (GH#5519) James Bourbeau
可视化集群范围内存使用随时间变化 (GH#5477) crusaderky
AMM: 重新设计 start/stop 方法 (GH#5476) crusaderky
comm offload 期间保留 contextvars (GH#5486) Gabe Joseph
反序列化：如果可能，零拷贝合并子帧 (GH#5208) Gabe Joseph
添加支持每个 SSH 连接多个工作节点 (GH#5506) Jacob Tomlinson
客户端方法以转储集群状态 (GH#5470) Florian Jetter

2021.11.1¶

发布于 2021 年 11 月 8 日

回滚 “避免通过收集 UCX 帧引起多次阻塞调用” (GH#5505) Peter Andreas Entschev

2021.11.0¶

发布于 2021年11月5日

修复 cluster_info 同步处理 (GH#5488) Jim Crist-Harif
序列化族保留底层 dumps 函数的头部信息 (GH#5380) Mads R. B. Kristensen
指引用户前往 Discourse (GH#5489) James Bourbeau
避免通过收集 UCX 帧引起多次阻塞调用 (GH#5487) Peter Andreas Entschev
更新所有 UCX 测试以使用 asyncio 标记 (GH#5484) Peter Andreas Entschev
注册 UCX 关闭回调函数 (GH#5474) Peter Andreas Entschev
使用旧版本的 pynvml.nvmlDeviceGetComputeRunningProcesses (GH#5469) Jacob Tomlinson
检查 `gather` 时来自错误 Client 的 Futures (GH#5468) Gabe Joseph
修复 performance_report 在与 %%time 或 %%timeit magic 命令一起使用时的问题 (GH#5463) Erik Welch
Scatter 和 replicate 避免暂停的 worker (GH#5441) crusaderky
AMM 避免暂停的 worker (GH#5440) crusaderky
更新 changelog，增加 LocalCluster 主机安全说明 (GH#5462) Jim Crist-Harif

2021.10.0¶

发布于 2021年10月22日

注意

此版本修复了与单机 Dask 集群相关的潜在安全漏洞。使用 dask.distributed.LocalCluster 或 dask.distributed.Client()（默认为使用 LocalCluster）启动的集群会错误地将其各自的 Dask worker 配置为监听外部接口（通常使用随机选择的高端口），而不是仅监听 localhost。使用此方法创建且运行在暴露了这些端口的机器上的 Dask 集群，可能被高级攻击者利用来实现远程代码执行。在已配置标准防火墙的机器上运行的用户不应受到影响。此漏洞记录在 CVE-2021-42343 中，并在此版本中得到修复 (GH#5427)。感谢 Jean-Pierre van Riel 发现并报告此问题。

确保恢复中的 flight 任务仍能被获取 (GH#5426) Florian Jetter
AMM 高级文档 (GH#5456) crusaderky
在测试超时时为挂起的 coro 提供栈信息 (GH#5446) Florian Jetter
处理 UCXNotConnected 错误 (GH#5449) Peter Andreas Entschev
不要将任务调度到暂停的 worker (GH#5431) crusaderky
使用 pip install . 而不是调用 setup.py (GH#5442) Matthias Bussonnier
增加窃取任务的延迟 (GH#5390) Florian Jetter
为 Worker 和 gen_cluster 添加类型注解 (GH#5438) crusaderky
确保重新连接的 worker 不会丢失所需数据 (GH#5436) Florian Jetter
将 test_gather_dep* 标记为 xfail (GH#5432) crusaderky
移除与 zict 相关的跳过测试 (GH#5429) James Bourbeau
通过 LocalCluster 将 host 传递给 worker (GH#5427) Jim Crist-Harif
修复 UCX 测试中的 async 警告 (GH#5396) Peter Andreas Entschev
解决由于 move_task_confirm 中的竞争条件导致的任务窃取死锁 (GH#5379) Florian Jetter
为仪表盘下拉菜单添加滚动条 (GH#5418) Jacob Tomlinson
修复允许窃取未知任务的回归问题 (GH#5392) Florian Jetter
在 CI 中启用 mypy 2/2 (GH#5348) crusaderky
重写 test_client_timeout (GH#5397) crusaderky
简单的 SSHCluster 示例 (GH#5349) Ray Bell
不要尝试获取已不在 flight 状态的 key (GH#5160) Florian Jetter
重新审视 Scheduler.add_plugin / Scheduler.remove_plugin (GH#5394) crusaderky
修复不稳定的 test_WorkerPlugin_overwrite (GH#5398) crusaderky
活动内存管理器使用批量通信 (GH#5357) crusaderky
为 README 添加覆盖率徽章 (GH#5382) James Bourbeau
将 test_stress_creation_and_deletion 标记为 xfail (GH#5393) James Bourbeau
将 test_worker_reconnects_mid_compute* 测试标记为不稳定 (GH#5378) James Bourbeau
使用新的 Dask 文档主题 (GH#5391) Jacob Tomlinson
从 test_prometheus_collect_task_states 中移除 pytest.mark.repeat (GH#5376) James Bourbeau
在计算失败时记录原始异常 (GH#5387) Florian Jetter
添加代码覆盖率 (GH#4670) James Bourbeau
修复 worker 在丢失转换后的僵尸任务问题 (GH#5316) Florian Jetter
为 iscoroutinefunction 工具函数添加对 partial 函数的支持 (GH#5344) Michael Adkins
将 distributed/tests/test_client.py::test_profile_server 标记为不稳定 (GH#5375) James Bourbeau
在 CI 中启用 mypy 1/2 (GH#5328) crusaderky
确保 dask-worker 和 dask-scheduler 能读取 preload 配置值 (GH#5365) James Bourbeau
为 SSHCluster 使用 dask-spec (GH#5191) Charles Blackmon-Luca
更新 __init__ 中的 _cluster_info 字典 (GH#5305) Jacob Tomlinson
使用 Dask 临时文件工具函数 (GH#5361) James Bourbeau
避免使用已废弃的 random set sampling (GH#5360) James Bourbeau
添加检查以检测不支持的 NVML 指标 (GH#5343) Charles Blackmon-Luca
如果副本移除被拒绝，worker 会向 scheduler 提交回复 (GH#5356) Florian Jetter
立即序列化 exception 和 traceback (GH#5338) Mads R. B. Kristensen
恢复：AMM ReduceReplicas 仅迭代 replicated 任务 (GH#5341) crusaderky
同步 worker 状态到 scheduler；新增 'paused' 状态 (GH#5330) crusaderky
将 pre-commit 添加到环境 (GH#5362) Ray Bell
Worker 状态机重构：清理无用的 handler (GH#5359) crusaderky
为 gpuCI 提升 RAPIDS_VER 版本 (GH#5358) Charles Blackmon-Luca
生成 Cython HTML 注解 (GH#5321) crusaderky
Worker 状态机重构 (GH#5046) Florian Jetter
fsspec 和 s3fs 的 git tips 不兼容 (GH#5346) crusaderky
修复 test_many_Progress 等测试 (GH#5329) crusaderky
并行运行多个 AMM (GH#5339) crusaderky
增强 AMM 的 docstrings (GH#5340) crusaderky
在 CI 中运行 pyupgrade (GH#5327) crusaderky
修复客户端示例 foundations.rst 中的拼写错误 (GH#5336) Genevieve Buckley

2021.09.1¶

发布于 2021年9月21日

回滚 AMM ReduceReplicas 和并行 AMM 的更新 (GH#5335) James Bourbeau
并行运行多个 AMM (GH#5315) crusaderky
AMM ReduceReplicas 仅迭代 replicated 任务 (GH#5297) crusaderky
为 distributed.worker 中的各种函数添加类型注解 (GH#5290) Tom Forbes
在 UCX < 1.11 时，将 test_ucx_config_w_env_var 标记为不稳定 (GH#5262) Peter Andreas Entschev
如果在 UCX 中在错误的设备上创建了 CUDA context，则发出警告 (GH#5308) Peter Andreas Entschev
从 test_client 中移除冗余的超时设置 (GH#5314) crusaderky
允许 Client 订阅事件 // 远程打印和警告 (GH#5217) Florian Jetter
测试 pickle 协议 4 和 5 (GH#5313) jakirkham
修正 test_pickle_empty (GH#5303) jakirkham
增加 test_worker_reconnects_mid_compute_multiple_states_on_scheduler 的超时时间 (GH#5304) Florian Jetter
在 cluster 和 scheduler 之间添加同步字典以存储 cluster 信息 (GH#5033) Jacob Tomlinson
更新 test_sub_submit_priority (GH#5301) James Bourbeau
回滚 “添加测试 setup fixture (GH#5242)” (GH#5300) James Bourbeau
修复不稳定的 test_worker_reconnects_mid_compute (GH#5299) Florian Jetter
在 test_adaptive 中使用 gen_test (GH#5298) crusaderky
增加 worker.suspicious_counter 阈值 (GH#5228) Florian Jetter
活动内存管理器框架 + 丢弃多余的副本 (GH#5111) crusaderky
添加测试 setup fixture (GH#5242) James Bourbeau

2021.09.0¶

发布于 2021年9月3日

修复 add_plugin 警告 (GH#5267) Doug Davis
在 handle_missing_dep 中的 iterator 周围添加 list (GH#5285) Matthew Rocklin
Jupyter-client 7 兼容性 (GH#5286) Min RK
将 atop 替换为 blockwise (GH#5289) James Bourbeau
在 CI 中添加 pytest 颜色支持 (GH#5276) James Bourbeau
修复 test_map 等测试 (GH#5278) crusaderky
在 Scheduler.remove_plugin 调用中使用 name 参数 (GH#5260) Doug Davis
降级到 jupyter_client 6 (GH#5273) crusaderky
将 Security 的 HTML repr 迁移到 Jinja2 (GH#5264) Jacob Tomlinson
将 ProcessInterface 的 HTML repr 迁移到 Jinja2 (GH#5263) Jacob Tomlinson
为 system monitor 添加对无盘机器的支持 (GH#5257) James Bourbeau
避免在迭代过程中修改 scheduler 插件 (GH#5259) Doug Davis
移除 GroupProgress scheduler 插件 (GH#5256) James Bourbeau
正确检查 IPv6 可用性 (GH#5255) crusaderky
改进的 IPv6 dask-worker 支持 (GH#5197) Walt Woods
覆盖 worker 插件 (GH#5248) Matthew Rocklin
重构 scheduler 插件；存储在字典中 (GH#5120) Doug Davis
修复文档中 “then” -> “than” 的拼写错误 (GH#5247) David Chudzicki
修复文档中的拼写错误（移除多余的动词 “creates”） (GH#5244) David Chudzicki
修复 docstring 中 “fractiom” -> “fraction” 的拼写错误 (GH#5245) David Chudzicki
修复文档中 “schedulers” -> “scheduler” 的拼写错误 (GH#5246) David Chudzicki
在 worker 数小于等于 100 时使用非柱状图 (GH#5249) Matthew Rocklin

2021.08.1¶

发布于 2021年8月20日

重命名图表以适应 labextension (GH#5239) Naty Clementi
CommClosedError 的日志消息现在包含远程地址信息 (GH#5209) Florian Jetter
为仪表盘链接的重定向添加 target='_blank' (GH#5237) Naty Clementi
更新计算代码检索逻辑 (GH#5236) James Bourbeau
对 cfexecutor 进行小的改进 (GH#5233) crusaderky
在 gpuCI 构建中使用 dask 开发版本 (GH#5232) James Bourbeau
使用上游的 dask.widgets (GH#5205) Jacob Tomlinson
修复不稳定的 test_worker_reconnects_mid_compute (GH#5227) Florian Jetter
更新关于 TaskState 对象使用方法的 WorkerPlugin docstring (GH#5226) Florian Jetter
Worker 网络时间序列 (GH#5129) Naty Clementi
为 ProcessInterface 类及其所有子类添加 HTML Repr (GH#5181) Freyam Mehta
修复重新连接的 worker 可能导致无效转换的问题 (GH#5210) Florian Jetter
对 cfexecutor 进行的 minor 修复 (GH#5177) Florian Jetter
为 Security 类添加 HTML Repr (GH#5178) Freyam Mehta
修复性能报告尺寸问题 (GH#5213) Ian Rose
移除 RAPIDS < 0.11 的 RMM 兼容性代码 (GH#5214) Peter Andreas Entschev

2021.08.0¶

发布于 2021年8月13日

在已关闭的 comm repr 中包含地址信息 (GH#5203) James Bourbeau
测试 nanny.environ 优先级 (GH#5204) Florian Jetter
将 HTML repr 迁移到 jinja2 (GH#5188) Jacob Tomlinson
修复 test_process_executor_kills_process 的不稳定问题 (GH#5183) crusaderky
移除下载 preloads 时对 urllib3 的依赖 (GH#5199) Marcos Moyano
在 Preload 构造函数中下载 preload url (GH#5194) Marcos Moyano
避免 profile.merge 中的递归错误 (GH#5195) Matthew Rocklin
为 Scheduler 添加文本异常 (GH#5148) Matthew Rocklin
为 Theme 文件名使用 kwarg (GH#5190) Bryan Van de Ven
添加 .git-ignore-revs 文件 (GH#5187) Florian Jetter
将 not not 替换为 bool() (GH#5182) Jacob Tomlinson
解决在获取依赖后由于转换错误导致的死锁 (GH#5157) Florian Jetter
设置 data-table 的 z-index 更低 (GH#5175) Julia Signell
为 scheduler 添加 no-worker -> memory 转换 (GH#5174) Florian Jetter
废弃 worker 插件覆盖策略 (GH#5146) James Bourbeau
修复 CI 中的不稳定测试 (GH#5168) crusaderky
关于在 macOS 上使用 brew 安装 jemalloc 的说明 (GH#4996) Gabe Joseph
将 RAPIDS_VER 提升到 21.10 (GH#5165) Charles Blackmon-Luca
微调关于 async 函数的措辞 (GH#5166) crusaderky
使用 Python 3 的 super() 调用 (GH#5167) crusaderky
支持异步任务 (GH#5151) Matthew Rocklin
重命名 total comm bytes 并提供 docstring (GH#5155) Florian Jetter
如果存在 GPU，则添加 GPU 执行器 (GH#5123) Matthew Rocklin
修复 RMM 和 UCX 测试 (GH#5158) Peter Andreas Entschev
移除 test_steal_during_task_deserialization 的过度超时设置 (GH#5156) Florian Jetter
添加 gpuCI 构建脚本 (GH#5147) Charles Blackmon-Luca
将 Worker.ensure_computing 降级为函数 (GH#5153) Florian Jetter

2021.07.2¶

发布于 2021年7月30日

修复与任务窃取和任务反序列化相关的死锁 (GH#5128) Florian Jetter
在第二个 to_frames 方法中包含最大 shard 大小 (GH#5145) Matthew Rocklin
仪表盘样式的小更新 (GH#5143) Bryan Van de Ven
将最大 shard 大小限制为整数大小 (GH#5141) Matthew Rocklin
文档记录自动的 MALLOC_TRIM_THRESHOLD_ 环境变量 (GH#5139) James Bourbeau
标记 ucx-py 测试用于 GPU (GH#5133) Charles Blackmon-Luca
更新单个 profile 图表尺寸 (GH#5131) James Bourbeau
在 NVML 诊断中处理 NVMLError_Unknown (GH#5121) Peter Andreas Entschev
单元测试使用随机端口作为仪表盘 (GH#5060) crusaderky
确保 worker 重新连接时能正确注册现有任务 (GH#5103) Florian Jetter
CI 运行时减半！ (GH#5074) crusaderky
添加 NannyPlugins (GH#5118) Matthew Rocklin
为仪表盘添加 WorkerNetworkBandwidth 图表 (GH#5104) Naty Clementi
在配置中设置 nanny 环境变量 (GH#5098) Matthew Rocklin
读取较小的帧以 workaround OpenSSL bug (GH#5115) jakirkham
将 UCX/RMM 配置变量移动到 Distributed 命名空间 (GH#4916) Charles Blackmon-Luca
允许 ws(s) 消息大于 10Mb (GH#5110) Marcos Moyano
对许多依赖进行 root-ish 检查时使用短路评估 (GH#5113) Gabe Joseph

2021.07.1¶

发布于 2021年7月23日

移除 actors 文档中的实验性功能警告 (GH#5108) James Bourbeau
如果 TS 仍然已知，则在 worker 依赖中保留 dependents (GH#5034) Florian Jetter
添加 Scheduler.set_restrictions (GH#5101) Matthew Rocklin
使 Actor futures 可 await 且与 as_completed 一起工作 (GH#5092) Martin Durant
简化 test_secede_balances (GH#5071) Florian Jetter
Computation 类 (GH#5001) Florian Jetter
对仪表盘进行一些简单的清理 (GH#5102) Bryan Van de Ven
不打包测试 (GH#5054) James Bourbeau
为 GPU 测试添加 pytest 标记 (GH#5023) Charles Blackmon-Luca
Actor：不在 worker 上持有 key 引用 (GH#4937) Gabe Joseph
更早地将导航折叠为 hamburger 图标 (GH#5094) Julia Signell
验证 actors 在 pickling 后仍可存活 (GH#5086) Matthew Rocklin
重新启用以前会导致 segfault 的 UCX-Py 测试 (GH#5076) Peter Andreas Entschev
更好地支持 ProcessPoolExecutors (GH#5063) Matthew Rocklin
简化 test_worker_heartbeat_after_cancel (GH#5067) Florian Jetter
避免在 Bokeh 中进行属性验证 (GH#5065) Matthew Rocklin
减小默认 websocket 帧大小并使其可配置 (GH#5070) Ian Rose
在 MacOS 上禁用 pytest-timeout 的 SIGALARM (GH#5057) crusaderky
rebalance() 对计算的弹性 (GH#4968) crusaderky
提高 CI 稳定性 (GH#5022) crusaderky
确保取消后的心跳不会引发 KeyError (GH#5053) Florian Jetter
在 TLS 证书不匹配时添加更有用的异常消息 (GH#5040) Jacob Tomlinson
为性能报告添加 bokeh 的 mode 参数 (GH#5025) James Bourbeau

2021.07.0¶

发布于 2021年7月9日

修复 Nbytes 抖动 - 成本更低 (GH#5043) Naty Clementi
使用原生的 GH actions 取消功能 (GH#5037) Florian Jetter
如果 scheduler 关闭，不要求 worker 向其报告 (GH#5032) Florian Jetter
将 pandas 添加到 client.get_versions() 检查的包列表中 (GH#5029) Ian Rose
将 worker preload 移动到设置 scheduler 地址之前 (GH#5024) Matthew Rocklin
修复不稳定的 test_oversubscribing_leases (GH#5030) Florian Jetter
更新 #4967 的调度策略文档 (GH#5018) Gabe Joseph
为 Server 类添加 echo handler (GH#5020) Matthew Rocklin
打包时也包含 png 文件 (GH#5016) Ian Rose
移除重复的仪表盘面板 (GH#5017) Ian Rose
修复 worker 内存仪表盘闪烁问题 (GH#4997) Naty Clementi
仪表盘左下角的标签页 (GH#5006) Naty Clementi
重命名 nbytes widgets (GH#4878) crusaderky
共同分配 root-ish 任务 (GH#4967) Gabe Joseph
对 OSError 的调整 (GH#5003) crusaderky
更新导入到 cudf.testing._utils (GH#5005) Peter Andreas Entschev
确保 shuffle split 默认时长使用正确的 prefix (GH#4991) Florian Jetter
跟进 pyupgrade 格式化 (GH#4993) Florian Jetter
重命名图表下拉菜单 (GH#4992) James Bourbeau
Pyupgrade (GH#4741) Florian Jetter
Sphinx 的杂项调整 (GH#4988) crusaderky
不再在内存中持有出错任务的依赖 #4918 Florian Jetter
为配置添加最大 shard 大小 (GH#4986) Matthew Rocklin
确保 shuffle split 操作被排除在任务窃取之外 (GH#4964) Florian Jetter
添加下拉菜单以访问单个图表 (GH#4984) Jacob Tomlinson
编辑了 scheduler.py 的路径 (GH#4983) Freyam Mehta
任务组图可视化 (GH#4886) Naty Clementi
移除更多内部对已废弃工具函数的引用 (GH#4971) James Bourbeau
重构 nbytes hover 提示 (GH#4952) Naty Clementi
在 pynvml.nvmlInit() 中捕获更多错误 (GH#4970) gerrymanoim
添加将 occupancy 作为单个图表的功能 (GH#4963) Naty Clementi
废弃已移至 dask 的工具函数 (GH#4966) James Bourbeau
确保 connectionpool 在连接中途关闭时不会遗留 comms (GH#4951) Florian Jetter
添加从 Client 注册 scheduler 插件的支持 (GH#4808) Doug Davis
任务窃取仪表盘修复 (GH#4948) Florian Jetter
允许从 entrypoints 加载 backends 时忽略 requirements 验证 (GH#4961) Florian Jetter
将 Log 和 Logs 添加到 API 文档中 (GH#4946) James Bourbeau
支持 fixtures 和 pytest.mark.parametrize 与 gen_cluster 一起使用 (GH#4958) Gabe Joseph

2021.06.2¶

发布于 2021年6月22日

回滚对 utils.Log[s] 和 Cluster.get_logs 的重构 (GH#4941) Charles Blackmon-Luca
使用 Dask 中的废弃工具函数 (GH#4924) James Bourbeau
为 Scheduler 添加转换计数器 (GH#4934) Matthew Rocklin
移除 nbytes_in_memory (GH#4930) Matthew Rocklin

2021.06.1¶

发布于 2021年6月18日

如果有额外的副本可用，则修复 handle_missing_dep 中的死锁 (GH#4929) Florian Jetter
添加配置以启用/禁用 NVML 诊断 (GH#4893) Peter Andreas Entschev
为性能报告添加 scheduler 日志标签页 (GH#4909) Charles Blackmon-Luca
为 scheduler_info 添加 HTML repr，并将其整合到 client 和 cluster 的 repr 中 (GH#4857) Jacob Tomlinson
修复错误状态的拼写错误 (GH#4898) James Bourbeau
允许 actor 异常传播 (GH#4232) Martin Durant
移除从 dask.compatibility 导入 apply (GH#4913) Elliott Sales de Andrade
为 WorkerPlugin 使用更具描述性的默认名称 (GH#4908) James Bourbeau
移除未使用的工具函数 (GH#4911) James Bourbeau
本地重新运行已成功完成的 futures (GH#4813) ArtinSarraf
遗忘出错的任务并修复 worker 上的死锁 (GH#4784) Florian Jetter
在 websocket connector 中处理 HTTPClientError (GH#4900) Marcos Moyano
更新 dask_cuda 在 SSHCluster docstring 中的用法 (GH#4894) James Bourbeau
删除 process_time 和 thread_time 的测试 (GH#4895) James Bourbeau
清理 Flake8 配置 (GH#4888) Florian Jetter
确定主机时不要剥离调度器协议 (GH#4883) James Bourbeau
添加更多关于内存管理的文档 (GH#4874) crusaderky
为 NVML 测试套件添加 range_query 测试 (GH#4879) Charles Blackmon-Luca
使用超时时不再取消异步进程中的结果 Future (GH#4882) Florian Jetter

2021.06.0¶

发布于 2021 年 6 月 4 日

多个 Worker 执行器 (GH#4869) Mads R. B. Kristensen
确保 PyNVML 在未安装 GPU 时也能正常工作 (GH#4873) Peter Andreas Entschev
在测试摘要中显示更多信息 (GH#4875) James Bourbeau
将 SystemMonitor 的 GPU 初始化移回构造函数 (GH#4866) Peter Andreas Entschev
使用 pytest.mark.asyncio 标记 test_server_comms_mark_active_handlers (GH#4876) James Bourbeau
WhoHas 和 WhatHas 的 HTML 表示 v2 (GH#4865) Jacob Tomlinson
O(1) 再平衡 (GH#4774) crusaderky
确保 Cluster 的 repr 和 eq 始终有效 (GH#4799) Florian Jetter

2021.05.1¶

发布于 2021 年 5 月 28 日

从 Client 中移除对 WhoHas 和 WhatHas 的使用 (GH#4863) jakirkham
确保自适应扩缩容能够正确等待和关闭 (GH#4720) Florian Jetter
修复 WhoHas/ HasWhat 的 async 用法 (GH#4860) Benjamin Zaitlen
为 Client.who_has 和 Client.has_what 添加 HTML 表示 (GH#4853) Jacob Tomlinson
防止在同一进程中意外启动多个 Worker (GH#4852) crusaderky
为性能报告添加系统标签页 (GH#4561) Charles Blackmon-Luca
如果没有活动的处理程序，则让服务器更快关闭 (GH#4805) Florian Jetter
修复 UCX scrub config 日志记录 (GH#4850) Peter Andreas Entschev
确保 Worker 客户端已关闭 (GH#3921) Florian Jetter
修复删除客户端时属性错误警告 (GH#4807) Florian Jetter
确保如果 Worker 启动不正确则会引发异常 (GH#4733) Florian Jetter
更新端点关闭时 UCX 异常的处理方式 (GH#4836) Peter Andreas Entschev
确保繁忙的工作负载能正确查找 who_has (GH#4793) Florian Jetter
在 Scheduler.run_function 中检查 distributed.scheduler.pickle (GH#4838) James Bourbeau
将 performance_report 添加到 API 文档中 (GH#4840) James Bourbeau
在无序使用场景中使用 dict _workers_dv (GH#4826) jakirkham
提升 pre-commit hook 版本 (GH#4835) James Bourbeau
当未设置内存限制时，不要盲目生成 Worker (GH#4397) Torsten Wörtwein
test_memory 使用 gen_cluster (GH#4811) crusaderky
将 gen_test 的超时时间增加到 30 秒 (GH#4821) Florian Jetter

2021.05.0¶

发布于 2021 年 5 月 14 日

合并客户端上的全局注解 (GH#4691) Mads R. B. Kristensen
添加对 click 8 的支持 (GH#4810) James Bourbeau
为部分调度器类添加 HTML 表示 (GH#4795) James Bourbeau
使用 JupyterLab 主题变量 (GH#4796) Ian Rose
允许 Dashboard 在多个端口运行 (GH#4786) Jacob Tomlinson
移除 release_dep 从 WorkerPlugin API 中 (GH#4791) James Bourbeau
支持 UCX 1.10+ (GH#4787) Peter Andreas Entschev
降低 test_gather_allow_worker_reconnect 的复杂性 (GH#4739) Florian Jetter
修复 utils.py 中的 doctest (GH#4785) Jacob Tomlinson
确保依赖项实际记录在 worker 中 (GH#4753) Florian Jetter
在 performance_report() 中添加 stacklevel 关键字，以便可以选择要显示的调用代码 (GH#4777) Nathan Danielsen
注销 worker 插件 (GH#4748) Naty Clementi
修复 Cython 化的 Scheduler 中的一些 pickling 问题 (GH#4768) jakirkham
改进涉及 nanny 时的优雅关机 (GH#4725) Florian Jetter
更新 CI 中的 Cython 化 (GH#4764) James Bourbeau
使用 contextlib.nullcontext (GH#4763) James Bourbeau
MemoryState 的 Cython 修复 (GH#4761) jakirkham
修复 check_thread_leak 中的错误 (GH#4747) James Bourbeau
处理 report_on_key 中缺少 key 的情况 (GH#4755) jakirkham
移除临时 set 变量 s (GH#4758) jakirkham

2021.04.1¶

发布于 2021 年 4 月 23 日

避免在迭代过程中 active_threads 改变大小 (GH#4729) James Bourbeau
修复 AdaptiveCore.adapt() 中的 UnboundLocalError (GH#4731) Anderson Banihirwe
HTTP endpoint 文档的次要格式更新 (GH#4736) James Bourbeau
metrics["memory"]=None 的单元测试 (GH#4727) crusaderky
启用 prometheus metrics 命名空间的配置 (GH#4722) Jacob Tomlinson
重新引入 weight 函数 (GH#4723) James Bourbeau
在 worker 的转换中添加 ready->memory (GH#4728) Gil Forsyth
修复 GH#4651 中的回归问题 (GH#4719) crusaderky
添加 UCX 配置选项的说明 (GH#4683) Charles Blackmon-Luca
将 RAM 测量拆分为 dask key/其他旧/其他新 (GH#4651) crusaderky
修复 Python 3.9 上的 DeprecationWarning (GH#4717) George Sakkis
ipython 导致 test_profile_nested_sizeof 在 windows 上崩溃 (GH#4713) crusaderky
向 serialize 添加 iterate_collection 参数 (GH#4641) Richard J Zamora
关闭 Server 时，关闭所有监听器 (GH#4704) Florian Jetter
修复 client.restart 中的超时问题 (GH#4690) Matteo De Wint
在安静集群上的第一个任务中避免重复使用同一个 worker (GH#4638) Doug Davis
仅在使用时获取 finish 情况下的 func (GH#4702) jakirkham
移除 test_dashboard 中的 hostname 检查 (GH#4706) James Bourbeau
更快的 tests_semaphore::test_worker_dies (GH#4703) Florian Jetter
清理 test_dashboard (GH#4700) crusaderky
向 TaskGroup 添加计时信息 (GH#4671) Matthew Rocklin
移除 WSSConnector TLS 存在检查 (GH#4695) Marcos Moyano
修复拼写错误并移除未使用的 time.time 导入 (GH#4689) Hristo Georgiev
不在 monitor 中初始化 CUDA context (GH#4688) Charles Blackmon-Luca
为 HTTP 协议添加额外的连接参数支持 (GH#4682) Marcos Moyano
调整 test_threadpoolworkers 中的计时 (GH#4681) Florian Jetter
向 SystemMonitor 添加 GPU 指标 (GH#4661) Charles Blackmon-Luca
移除 dumps_msgpack() 和 loads_msgpack() (GH#4677) Mads R. B. Kristensen
通过 RPC 向 scheduler 暴露 worker 的 SystemMonitor (GH#4657) Charles Blackmon-Luca

2021.04.0¶

发布于 2021 年 4 月 2 日

修复未合并的帧 (GH#4666) Matthew Rocklin
添加安装 uvloop 的信息性错误消息 (GH#4664) Matthew Rocklin
移除关于默认 LocalCluster 创建的不正确注释 (GH#4660) cameron16
将空/缺失的 writeable 视为无操作 (GH#4659) jakirkham
避免 pickle_loads 中的列表变异 (GH#4653) Matthew Rocklin
忽略缩容时的 OSError 异常 (GH#4633) Gerald
将 isort 添加到 pre-commit 钩子，包重新排序 (GH#4647) Charles Blackmon-Luca
显示 RAM 时使用二的幂 (GH#4649) crusaderky
支持 Websocket 通信协议 (GH#4396) Marcos Moyano
scheduler.py / worker.py 代码清理 (GH#4626) crusaderky
更新 config.yaml 的过时引用 (GH#4643) Hristo Georgiev
抑制 SpecCluster 关机时的 OSError (GH#4567) Jacob Tomlinson
将 conda 替换为 mamba (GH#4585) crusaderky
扩展纯函数的文档 (GH#4644) James Lamb

2021.03.1¶

发布于 2021 年 3 月 26 日

为 GPU 使用添加独立的仪表盘页面 (GH#4556) Jacob Tomlinson
处理 TCP 通信终结器中 stream is None 的情况 (GH#4631) James Bourbeau
在 NumPy 数组序列化中包含 LIST_PICKLE (GH#4632) James Bourbeau
重命名 test_highlevelgraph.py 中的 annotation 插件 (GH#4618) James Bourbeau
UCX 使用 nbytes 代替 len (GH#4621) Mads R. B. Kristensen
如果 NumPy 和 pandas 不可导入则跳过其测试 (GH#4563) Ben Greiner
移除 utils.shutting_down，改用 sys.is_finalizing (GH#4624) James Bourbeau
关闭时处理 async 客户端 (GH#4623) Matthew Rocklin
从 remove_key_from_stealable 中移除 log (GH#4609) jakirkham
引入事件日志长度配置选项 (GH#4615) Fabian Gebhart
上游配置序列化和继承 (GH#4372) Jacob Tomlinson
在 SpecCluster 中添加 scheduler 创建检查 (GH#4605) Jacob Tomlinson
使事件 deque 的长度可配置 (GH#4604) Fabian Gebhart
向 worker TaskState 添加明确的 fetch 状态 (GH#4470) Gil Forsyth
更新 develop.rst (GH#4603) Florian Jetter
pickle_loads(): 处理空的 memoryview (GH#4595) Mads R. B. Kristensen
将 PR 的文档构建切换到 readthedocs (GH#4599) James Bourbeau
跟踪帧大小以及帧本身 (GH#4593) jakirkham
在 client.map 中使用 batch_size 时，添加对 key 列表的支持 (GH#4592) Sultan Orazbayev
如果 SpecCluster 启动失败，再次尝试优雅关闭 (GH#4590) Jacob Tomlinson
多锁扩展 (GH#4503) Mads R. B. Kristensen
更新 PipInstall 插件命令 (GH#4584) James Bourbeau
IPython magics: 移除已弃用的 ioloop 变通方案 (GH#4530) Min RK
添加 GitHub Actions workflow 以取消重复构建 (GH#4581) James Bourbeau
从 README 中移除过时的 macOS 构建徽章 (GH#4576) James Bourbeau
Dask master -> main (GH#4569) Julia Signell
放弃对 Python 3.6 的支持 (GH#4390) James Bourbeau
为 dashboard_link 属性添加 docstring (GH#4572) Doug Davis
将默认分支从 master 改为 main (GH#4495) Julia Signell
Msgpack 处理 extract serialize (GH#4531) Mads R. B. Kristensen

2021.03.0¶

发布于 2021 年 3 月 5 日

注意

这是第一个支持 Python 3.9 的版本，也是最后一个支持 Python 3.6 的版本

tcp.write(): 将 memoryview 转换为字节 itemsize (GH#4555) Mads R. B. Kristensen
Refcount thread_state.asynchronous 标志 (GH#4557) Mads R. B. Kristensen
Python 3.9 (GH#4460) crusaderky
仪表盘更好的 bokeh 默认设置 (GH#4554) Benjamin Zaitlen
将系统监控仪表盘作为独立的图表暴露给 lab 扩展 (GH#4540) Jacob Tomlinson
将 nanny 的原始临时目录传递给 worker (GH#4549) Martin Durant
序列化并分割 (GH#4541) Mads R. B. Kristensen
在 Dask 中使用新的 HLG pack/unpack API (GH#4489) Mads R. B. Kristensen
处理 culled 任务的 annotation (GH#4544) Tom Augspurger
使 sphinx autosummary 和 autoclass 一致 (GH#4367) Casey Clements
将 _transition* 移动到 SchedulerState (GH#4545) jakirkham
从 travis 迁移到 GitHub Actions (GH#4504) crusaderky
将 new_task 移动到 SchedulerState (GH#4527) jakirkham
批量发送更多 Scheduler 消息 (GH#4526) jakirkham
transition_memory_released 和 get_nbytes() 优化 (GH#4516) jakirkham
Pin black pre-commit (GH#4533) James Bourbeau
一次性读写所有帧 (GH#4506) jakirkham
跳过空帧的 stream.write 调用 (GH#4507) jakirkham
添加帧元数据头 (GH#4505) jakirkham
transition_processing_memory 优化等 (GH#4487) jakirkham
尝试在 Queue 和 Variable 中从 worker 获取 client (GH#4490) James Bourbeau
zict 使用 main 分支 (GH#4499) jakirkham
使用回调函数关闭 TCP Comms，而不是每次都检查 (GH#4453) Matthew Rocklin

2021.02.0¶

发布于 2021 年 2 月 5 日

将 Dask 的最低版本提高到 2021.02.0 (GH#4486) James Bourbeau
更新关于 dependents 属性的 TaskState 文档 (GH#4440) Florian Jetter
DOC: 自动格式化所有函数的 docstring (GH#4475) Matthias Bussonnier
在流处理中使用 is_coroutine_function 的缓存版本进行处理 (GH#4481) Ian Rose
优化 transitions (GH#4451) jakirkham
创建 PULL_REQUEST_TEMPLATE.md (GH#4476) Ray Bell
DOC: 拼写错误，指令以两个冒号 :: 结尾 (GH#4472) Matthias Bussonnier
DOC: distributed/protocol/*.py 的正确 numpydoc 语法 (GH#4473) Matthias Bussonnier
更新 test_server_listen 中 pytest.skip 的用法 (GH#4467) James Bourbeau
统一 annotation (GH#4406) Ian Rose
添加了来自 config 的 worker 资源 (GH#4456) Tom Augspurger
修复 worker 验证函数中的变量名 (GH#4457) Gil Forsyth
重构 task_groups 和 task_prefixes (GH#4452) jakirkham
在 heartbeat 中使用 parent._tasks (GH#4450) jakirkham
从 Scheduler 中重构 SchedulerState (GH#4365) jakirkham

2021.01.1¶

发布于 2021 年 1 月 22 日

使系统监控间隔可配置 (GH#4447) Matthew Rocklin
添加 uvloop 配置值 (GH#4448) Matthew Rocklin
stealing 的额外优化 (GH#4445) jakirkham
给集群命名 (GH#4426) Jacob Tomlinson
在 Semaphore 中使用 worker 通信池 (GH#4195) Florian Jetter
在所有新任务上设置 runspec 以避免死锁 (GH#4432) Florian Jetter
在 story 方法中支持 TaskState 对象 (GH#4434) Matthew Rocklin
在 Client.asynchronous 中支持缺失的事件循环 (GH#4436) Matthew Rocklin
检查测试时不要求网络 (GH#4433) Matthew Rocklin

2021.01.0¶

发布于 2021 年 1 月 15 日

向 scheduler info 添加启动时间 (GH#4425) Jacob Tomlinson
记录自适应错误 (GH#4422) Jacob Tomlinson
Xfail normalization 测试 (GH#4411) Jacob Tomlinson
打包高级图时使用 dumps_msgpack 和 loads_msgpack (GH#4409) Mads R. B. Kristensen
向 dask-worker CLI 添加 nprocs 自动选项 (GH#4377) Jacob Tomlinson
_reevaluate_occupancy_worker 的类型 annotation (GH#4398) jakirkham
在 active_states 中标注 TaskGroup 类型 (GH#4408) jakirkham
修复 test_as_current_is_thread_local (GH#4402) jakirkham
使用 list 推导绑定 TaskGroup 类型 (GH#4401) jakirkham
使测试在 2028 年之后通过 (GH#4403) Bernhard M. Wiedemann
修复编译警告，decide_worker 现在是 C 函数，改进 stealing (GH#4375) jakirkham
从 Status 中移除自定义 __eq__ (GH#4270) jakirkham
test_performance_report: 没有 bokeh 时跳过 (GH#4388) Bruno Pagani
Nanny 现在尊重来自 ctx mgr 的 dask 设置 (GH#4378) Florian Jetter
更好的离群值任务持续时间估计 (GH#4213) selshowk
Dask 内部继承 config (GH#4364) Jacob Tomlinson
提供 setup.py 选项来分析 Cython 代码 (GH#4362) jakirkham
*State 和 Task* 对象的优化以及 stealing (GH#4358) jakirkham
在几个关键位置将 SortedDict 转换为 dict 及其他次要更改 (GH#4355) jakirkham
将任务 annotation 优先级用于用户级别优先级 (GH#4354) James Bourbeau
添加 highlevelgraph pack/unpack 的文档 (GH#4352) Mads R. B. Kristensen
transitions 使用的显著函数中的优化 (GH#4351) jakirkham
在进程关机时释放 futures 时抑制异常 (GH#4309) Benjamin Zaitlen

2020.12.0¶

发布于 2020 年 12 月 10 日

亮点¶

版本控制方案切换到 CalVer。
scheduler 现在可以接收 Dask HighLevelGraph，而不是原始字典任务图。这使得从 client 到 scheduler 的任务图通信更加高效。
添加了使用 dask.annotations context manager 为自定义 Layer 级别 annotation（如 priority、retries 等）的支持。
将 Dask 的最低支持版本更新至 2020.12.0。
添加了许多类型 annotation 和更新，以便逐步对 scheduler 进行 Cython 化。

所有更改¶

transitions 的一些常见优化 (GH#4348) jakirkham
移除 serialize 扩展 (GH#4344) jakirkham
在 scheduler 中记录重复的 worker (GH#4338) Matthew Rocklin
Scheduler 中一些与通信相关方法的 annotation (GH#4341) jakirkham
优化 validate_waiting 中的 assert (GH#4342) jakirkham
优化 decide_worker (GH#4332) jakirkham
在 _reevaluate_occupancy_worker 中存储 occupancy (GH#4337) jakirkham
处理 WorkerState 中 memory_limit 为 None 的情况 (GH#4335) jakirkham
使用 bint annotation 布尔属性 (GH#4334) jakirkham
可选地在 worker 中使用 offload executor (GH#4307) Matthew Rocklin
优化 send_task_to_worker (GH#4331) jakirkham
优化 valid_workers (GH#4329) jakirkham
在 transition_waiting_processing 中存储 occupancy (GH#4330) jakirkham
优化 get_comm_cost (GH#4328) jakirkham
使用 .pop(...) 移除 key (GH#4327) jakirkham
在 WorkerState.address 上使用 operator.attrgetter (GH#4324) jakirkham
Annotation Task* 对象以进行 Cython 化 (GH#4302) jakirkham
确保 retire_workers 总是返回 dict (GH#4323) jakirkham
WorkerState 的一些 Cython 修复 (GH#4321) jakirkham
优化 WorkerState.__eq__ (GH#4320) jakirkham
交换 TaskGroup 和 TaskPrefix 的顺序 (GH#4319) jakirkham
检查 traceback 对象是否可以 unpickle (GH#4299) jakirkham
将 TaskGroup 和 TaskPrefix 移动到 TaskState 之前 (GH#4318) jakirkham
移除空的 test_highgraph.py 文件 (GH#4313) James Bourbeau
确保 retire_workers 返回 dict (GH#4315) Matthew Rocklin
Annotation WorkerState 以进行 Cython 化 (GH#4294) jakirkham
在低级别错误时关闭 comm (GH#4239) jochen-ott-by
将新的 TaskState.nbytes 值强制转换为 int (GH#4311) jakirkham
移除 thread_name_prefix 关键字的 offload try/except (GH#4308) James Bourbeau
修复 CI 上的 pip 安装问题 (GH#4310) jakirkham
将 Layer annotation 传输给 scheduler (GH#4279) Simon Perkins
忽略 Cython 生成的任何编译文件 (GH#4301) jakirkham
防止 get_metrics 中缺少 key (GH#4300) Matthew Rocklin
提供使用 Cython 构建 Distributed 的选项 (GH#4292) jakirkham
在 clean 中使用 dict 设置 WorkerState.processing (GH#4295) jakirkham
Annotation ClientState 以进行 Cython 化 (GH#4290) jakirkham
Annotation check_idle_saturated 以进行 Cython 化 (GH#4289) jakirkham
避免 TaskStream 中出现“Scheduler is empty”消息时的闪烁 (GH#4284) Matthew Rocklin
使 gather_dep 对缺失任务更具鲁棒性 (GH#4285) Matthew Rocklin
Annotation extract_serialize (用于 Cython 化) (GH#4283) jakirkham
将 nbytes 从 Worker 的状态移动到 TaskState (GH#4274) Gil Forsyth
移除 _extract_serialize 中的额外类型检查 (GH#4281) jakirkham
将 Status 移动到顶级导入 (GH#4280) Matthew Rocklin
为 TaskState 添加 __hash__ 和 __eq__ (GH#4278) jakirkham
为 ClientState 添加 __hash__ 和 __eq__ (GH#4276) jakirkham
将 report 的 client_key``s 收集到 ``list 中 (GH#4275) jakirkham
为 WorkerState 预计算 hash (GH#4271) jakirkham
在 remove_worker 中使用 Status Enum (GH#4269) jakirkham
添加聚合的主题日志和 log_event 方法 (GH#4230) James Bourbeau
找到 worker 的集合而不是它们的频率 (GH#4267) jakirkham
使用 set.update 包含其他 comms (GH#4268) jakirkham
在 sync 中支持字符串超时 (GH#4266) James Bourbeau
使用 dask.utils.stringify() 代替 distributed.utils.tokey() (GH#4255) Mads R. B. Kristensen
使用 .items() 遍历 key 和 value (GH#4261) jakirkham
简化 TCP write 中的帧长度打包 (GH#4257) jakirkham
Comm/tcp 监听器: 不将握手失败的 comm 传递给 comm_handler (GH#4240) jochen-ott-by
合并 extract_serialize 中的步骤 (GH#4254) jakirkham
移除 test_sklearn (GH#4253) jakirkham
记录任务优先级平局处理 (GH#4252) James Bourbeau
__dask_distributed_pack__(): client 参数 (GH#4248) Mads R. B. Kristensen
worker_client 和 get_client 的超时可配置 (GH#4146) GeethanjaliEswaran
向 performance_report 添加 dask/distributed 版本 (GH#4249) Matthew Rocklin
更新 miniconda GitHub action (GH#4250) James Bourbeau
UCX 关闭忽略错误 (GH#4236) Mads R. B. Kristensen
重定向到 dask-worker cli 文档 (GH#4247) Timost
上传文件 worker 插件 (GH#4238) Ian Rose
在 gather_dep 中按需创建依赖 TaskState (GH#4241) Gil Forsyth
在 register_worker_plugin 中按需实例化插件 (GH#4198) Julia Signell
允许 actor 调用同一 worker 上的 actor (GH#4225) Martin Durant
在线程泄漏检查中特殊处理 profile 线程 (GH#4229) James Bourbeau
在 update_graph 中对集合使用 intersection() 而不是 dict_keys (GH#4227) Mads R. B. Kristensen
直接将 HighLevelGraphs 通信给 Scheduler (GH#4140) Mads R. B. Kristensen
添加 get_task_metadata context manager (GH#4216) James Bourbeau
任务状态日志和数据修复 (GH#4206) Gil Forsyth
将活动的任务持续时间从 worker 发送给 scheduler (GH#4192) James Bourbeau
修复 test_close_gracefully 中的状态检查 (GH#4203) Gil Forsyth
避免在 Client.compute() 中 materializing layers (GH#4196) Mads R. B. Kristensen
添加 TaskState metadata (GH#4191) James Bourbeau
修复已释放 key 的任务 stealing 回归问题 (GH#4182) Florian Jetter
修复 _graph_to_futures 处理基于 futures 的依赖项时的 bug (GH#4178) Richard J Zamora
High level graph dumps/loads 支持 (GH#4174) Mads R. B. Kristensen
实现通过 _graph_to_futures 传递 HighLevelGraphs (GH#4139) Mads R. B. Kristensen
支持 async 预加载 click 命令 (GH#4170) James Bourbeau
dask-worker cli 内存限制选项文档修复 (GH#4172) marwan116
向 worker.py 添加 TaskState (GH#4107) Gil Forsyth
提高 Semaphore.release 的健壮性 (GH#4151) Lucas Rademaker
跳过 batched comm 测试 win / tornado5 (GH#4166) Tom Augspurger
当 memory_target_fraction 为 False 时，将 Zict 缓冲区目标设置为 maxsize (GH#4156) Krishan Bhasin
添加 PipInstall WorkerPlugin (GH#3216) Matthew Rocklin
在 scheduler 中记录 KilledWorker 事件 (GH#4157) Matthew Rocklin
修复 test_gpu_metrics 失败 (GH#4154) jakirkham

2.30.1 - 2020-11-03¶

Pin pytest-asyncio 版本 (GH#4212) James Bourbeau
将 AsyncProcess exit handler 替换为 weakref.finalize (GH#4184) Peter Andreas Entschev
移除硬编码的连接握手超时 (GH#4176) Florian Jetter

2.30.0 - 2020-10-06¶

在 str_graph() 中支持 SubgraphCallable (GH#4148) Mads R. B. Kristensen
处理 BatchedSend 中的异常 (GH#4135) Tom Augspurger
修复 autosummary 文档中缺少 : 的问题 (GH#4143) Gil Forsyth
将 GPU 指标限制为仅可见设备 (GH#3810) Jacob Tomlinson

2.29.0 - 2020-10-02¶

使用 pandas.testing (GH#4138) jakirkham
修复一些拼写错误 (GH#4131) Pav A
如果集群已关闭，则在 Cluster.close 中立即返回 (GH#4116) Tom Rochette
使用关于 .compute() 与 client.compute() 的示例更新异步文档 (GH#4137) Benjamin Zaitlen
正确地拆除 Client 中的 LoopRunner (GH#4112) Sergey Kozlov
简化 Client._graph_to_futures() (GH#4127) Mads R. B. Kristensen
清理新的异常跟踪 (GH#4125) Krishan Bhasin
默认停止写入配置文件 (GH#4123) Matthew Rocklin

2.28.0 - 2020-09-25¶

修复 progressbar 连接的 SSL connection_args (GH#4122) jennalc

2.27.0 - 2020-09-18¶

修复使用 name 参数注册 worker 插件的问题 (GH#4105) Nick Evans
支持集群节点上不同的 remote_python 路径 (GH#4085) Abdulelah Bin Mahfoodh
允许在关闭全局客户端时出现 RuntimeError (GH#4115) Matthew Rocklin
在 dask 中匹配 pre-commit (GH#4049) Julia Signell
更新 super 的用法 (GH#4110) Poruri Sai Rahul

2.26.0 - 2020-09-11¶

为自适应启动和停止添加日志记录 (GH#4101) Matthew Rocklin
如果 nannied worker 尚未启动，则不要关闭它 (GH#4093) Matthew Rocklin
同步关闭客户端时尊重超时设置 (GH#4096) Matthew Rocklin
记录下载 preload 脚本的时间 (GH#4094) Matthew Rocklin
dask-worker --nprocs 接受负值 (GH#4089) Dror Speiser
支持零 worker 客户端 (GH#4090) Matthew Rocklin
从指标中排除 fire-and-forget 客户端 (GH#4078) Tom Augspurger
删除 Serialized.deserialize() 方法 (GH#4073) jakirkham
为 Client.wait_for_workers 方法添加 timeout= 关键字 (GH#4087) Matthew Rocklin

2.25.0 - 2020-08-28¶

更新 black 的相关内容 (GH#4081) Tom Augspurger
连接旧版本 Dask 时提供信息丰富的错误提示 (GH#4076) Matthew Rocklin
简化 pack_frames (GH#4068) jakirkham
简化 frame_split_size (GH#4067) jakirkham
使用 list.insert 将 prelude 添加到最前面 (GH#4066) jakirkham
图表帮助文本 (GH#4064) Julia Signell
图表仪表盘：如果任务数量太大，则重置容器数据 (GH#4056) Florian Jetter
确保信号量为线程池 worker 选择正确的 IOLoop (GH#4060) Florian Jetter
添加集群日志方法 (GH#4051) Jacob Tomlinson
清理更多异常跟踪 (GH#4054) Krishan Bhasin
改进 scheduler.locks 选项的文档 (GH#4062) Florian Jetter

2.24.0 - 2020-08-22¶

将工具栏移至上方并修复 y 轴 (#4043) Julia Signell
使如何获取 worker 仪表盘的行为更清晰 (#4047) Julia Signell
清理 worker 仪表盘 (#4046) Julia Signell
为数据集添加默认参数并提供覆盖数据集的可能性 (#4052) Nils Braun
发现 HTTP 端点 (#3744) Martin Durant

2.23.0 - 2020-08-14¶

整理 TCP Comms 中的异常跟踪 (GH#4042) Krishan Bhasin
x 轴标签的角度 (GH#4030) Mathieu Dugré
始终在 header 中设置 RMM 的步长 (GH#4039) jakirkham
修复文档 upload_file (GH#4038) Roberto Panai
更新 UCX 测试以适应新的握手步骤 (GH#4036) jakirkham
添加测试以在序列化情况下提供信息丰富的错误 (GH#4029) Matthew Rocklin
为 comm 上下文添加压缩、pickle 协议 (GH#4019) Matthew Rocklin
使 GPU 图在没有 GPU 的情况下也能健壮运行 (GH#4008) Matthew Rocklin
更新 PendingDeprecationWarning 使用正确的版本号 (GH#4025) Matthias Bussonnier
在 CI 上安装 PyTorch (GH#4017) jakirkham
在询问调度器之前尝试获取集群的 dashboard_link (GH#4018) Matthew Rocklin
忽略带有内置 array 的可写帧 (GH#4016) jakirkham
只需将 frames 扩展到 frames2 (GH#4015) jakirkham
序列化内置数组 (GH#4013) jakirkham
使用 cuDF 的 assert_eq (GH#4014) jakirkham
每当上传新文件时，清除函数缓存 (GH#3993) Jack Xiaosong Xu
当字符串与 Status Enum 进行赋值/比较时发出警告 (GH#3875) Matthias Bussonnier
跟踪可变帧 (GH#4004) jakirkham
改进 bytes 和 bytearray 序列化 (GH#4009) jakirkham
修复仪表盘中的内存直方图值 (GH#4006) Willi Rath

2.22.0 - 2020-07-31¶

仅在有帧时调用 frame_split_size (GH#3996) jakirkham
修复失败的 test_bandwidth (GH#3999) jakirkham
处理 memory_limit 为 0 时的内存百分比总和 (GH#3984) Julia Signell
删除 msgpack pre-0.5.2 兼容代码 (GH#3977) jakirkham
如果没有可用的网络，则恢复使用 localhost 作为本地 IP (GH#3991) Matthew Rocklin
在 inline 指令中添加缺失的反引号。(GH#3988) Matthias Bussonnier
当 threads_per_worker 设置为零时发出警告 (GH#3986) Julia Signell
在 unpack_frames 中使用 memoryview (GH#3980) jakirkham
迭代 comms 列表 (GH#3959) Matthew Rocklin
精简 pack_frames/unpack_frames 帧 (GH#3973) jakirkham
始终尝试创建 dask-worker-space 文件夹，如果它存在则继续 (GH#3972) Jendrik Jördening
仅将 merge_frames 与主机内存一起使用 (GH#3971) jakirkham
简化 pack_frames_prelude (GH#3961) jakirkham
使用续行提示符进行正确的示例解析 (GH#3966) Matthias Bussonnier
确保帧可写 (GH#3967) jakirkham

2.21.0 - 2020-07-17¶

修复数据复制错误 (GH#3963) Andrew Fulton
将虚假的本地目录视为 None (GH#3964) Tom Augspurger
解除 numpydoc 版本锁定，1.1 版本已发布 (GH#3957) Gil Forsyth
当 Dask 版本不匹配或安装了 lz4 时，发出硬错误 (GH#3936) Matthew Rocklin
跳过在 merge_frames 中强制转换为 bytes (GH#3960) jakirkham
UCX：重用端点以修复 NVLINK 问题 (GH#3953) Mads R. B. Kristensen
可选使用 pickle5 (GH#3849) jakirkham
使用过滤和饼图更新每任务耗时图表 (GH#3933) Benjamin Zaitlen
UCX：显式关闭消息 (GH#3950) Mads R. B. Kristensen
避免过于激进的连接重试 (GH#3944) Matthias Bussonnier
在 Client.sync 中解析超时参数 (GH#3952) Matthew Rocklin
同步非平凡 CUDA 帧传输 (GH#3949) jakirkham
使用 shape 和 format 序列化 memoryview (GH#3947) jakirkham
将 scheduler_comm 移至 Cluster.__init__ 中 (GH#3945) Matthew Rocklin

2.20.0 - 2020-07-02¶

链接关于使用 async 和 executor_submit 的问题 (GH#3939) jakirkham
即使显式设置了 interface，仪表盘服务器默认也监听所有 IP 地址 (GH#3941) Loïc Estève
更新 check ttl 中 worker 移除逻辑 (GH#3927) Benjamin Zaitlen
安静地关闭已创建的集群 (GH#3935) Matthew Rocklin
确保 Worker.run* 正确处理 kwargs (GH#3937) jakirkham
恢复 Dask Gateway 的 Scheduler.time_started (GH#3934) Tom Augspurger
修复 _wait_until_connected 中的异常处理 (GH#3912) Alexander Clausen
如果本地目录不存在则创建它 (GH#3928) Matthew Rocklin
如果未满足 bokeh 依赖项，则安装 vanilla status 路由 (GH#3844) joshreback
使 Worker.delete_data 同步 (GH#3922) Peter Andreas Entschev
修复 ensure_bytes 导入位置 (GH#3919) jakirkham
修复重复调用 cluster.adapt() 时的竞争条件 (GH#3915) Jacob Tomlinson

2.19.0 - 2020-06-19¶

在任务释放时通知 worker 插件 (GH#3817) Nick Evans
更新调度器中的心跳检查 (GH#3896) Benjamin Zaitlen
如果给定了 Security 参数，则默认启用加密 (GH#3887) Matthew Rocklin
在仪表盘 worker 圆图悬停时显示 cpu_fraction。(GH#3906) Loïc Estève
在变量删除时修剪虚拟客户端 (GH#3910) Marco Neumann
修复仪表盘中总计聚合指标的问题 (GH#3897) Loïc Estève
支持 Bokeh 2.1 (GH#3904) Matthew Rocklin
更新 related-work.rst (GH#3889) DomHudson
在旧版本 Python 中跳过 test_pid_file (GH#3888) Matthew Rocklin
将 handler 中的 stream= 替换为 comm= (GH#3860) Julien Jerphanion
检查 SSH 集群中 host 是否为 None。(GH#3883) Matthias Bussonnier
允许在 security= 关键字中使用字典 (GH#3874) Matthew Rocklin
对 NumPy 对象数组使用 pickle protocol 5 (GH#3871) jakirkham
将任何 frame 转换为 uint8 (与 bytes 类型相同) (GH#3870) jakirkham
为 worker、scheduler 和 nanny 状态使用 Enum。(GH#3853) Matthias Bussonnier
删除旧的 buffer_interface 赋值 (GH#3869) jakirkham
删除 NumPy 序列化中不再需要的帧拆分 (GH#3868) jakirkham
删除不再需要的本地 import pickle (GH#3865) jakirkham
修复 feed 的日志消息中的拼写错误 (GH#3867) jakirkham
整理 pickle (GH#3866) jakirkham
处理任务流中的空时间段 (GH#3862) Benjamin Zaitlen
将 asyncssh 对象更改为 sphinx 引用 (GH#3861) Jacob Tomlinson
改进 SSHCluster 文档字符串中的 connect_options 描述 (GH#3859) Jacob Tomlinson
在客户端构造函数中验证 address 参数 (GH#3842) joshreback
在 worker 名称中使用 SpecCluster 名称 (GH#3855) Loïc Estève
允许异步 add_worker 和 remove_worker 插件方法 (GH#3847) James Bourbeau

2.18.0 - 2020-06-05¶

在 deserialize_bytes 中合并帧 (GH#3639) John Kirkham
允许 SSHCluster 接受 connect_options 列表 (GH#3854) Jacob Tomlinson
为性能报告添加 favicon (GH#3852) Jacob Tomlinson
为每键耗时和传输/序列化耗时添加仪表盘图表 (GH#3792) Benjamin Zaitlen
修复 journey of a task 文档中的变量名 (GH#3840) Matthias Bussonnier
修复 journey of a task 文档中的拼写错误 (GH#3838) James Bourbeau
注册 dask_cudf 序列化器 (GH#3832) John Kirkham
修复 rebalance 缺少 key 的 key 检查问题 (GH#3834) Jacob Tomlinson
允许在发生异常时收集部分配置信息 (GH#3773) Florian Jetter

2.17.0 - 2020-05-26¶

记录调度器上上次运行任务以来的时间 (GH#3830) Matthew Rocklin
根据阈值设置 nbytes 面板的颜色 (GH#3805) Krishan Bhasin
在性能报告中包含任务总数 (GH#3822) Abdulelah Bin Mahfoodh
允许在 worker 限制中传入任务键字符串 (GH#3826) Nils Braun
控制反/序列化卸载 (GH#3793) Martin Durant
解析 Variable/Event/Lock 中的超时参数以支持文本超时 (GH#3825) Nils Braun
不要发送空的依赖关系 (GH#3423) Jakub Beránek
添加模仿 threading.Event 的分布式 Dask Event (GH#3821) Nils Braun
增强 VersionMismatchWarning 消息 (GH#3786) Abdulelah Bin Mahfoodh
支持 Pickle 的 protocol 5 (GH#3784) jakirkham
将 utils.ignoring 替换为 contextlib.suppress (GH#3819) Nils Braun
使从 CI 输出重新创建 conda 环境更容易 (GH#3816) Lucas Rademaker
为信号量添加 prometheus 指标 (GH#3757) Lucas Rademaker
修复 worker 插件被 supersed transition 调用问题 (GH#3812) Nick Evans
为 server listen 添加重试机制 (GH#3801) Jacob Tomlinson
从 scheduler.py 中删除注释掉的行 (GH#3803) James Bourbeau
修复使用 distributed.Semaphore 时，从未 await 的协程引起的 RuntimeWarning (GH#3713) Florian Jetter
修复某些平台测试拆解期间的 profile 线程泄露问题 (GH#3795) Florian Jetter
在处理 comms 之前 await 自身 (GH#3788) Matthew Rocklin
修复 Cluster 文档字符串中的拼写错误 (GH#3787) Scott Sanderson

2.16.0 - 2020-05-08¶

Client.get_dataset 始终创建附加到自身的 Futures (GH#3729) crusaderky
删除未使用的 dev-requirements (GH#3782) Julia Signell
使用 bokeh column 代替自定义 css 用于 /system (GH#3781) Julia Signell
尝试修复 windows 上的 test_preload_remote_module 问题 (GH#3775) James Bourbeau
修复 TLS comms 的广播问题 (GH#3766) Florian Jetter
不要在本地验证 http preloads (GH#3768) Rami Chowdhury
允许为 Workers 指定端口范围 (GH#3704) James Bourbeau
为 RDMACM 添加 UCX 支持 (GH#3759) Peter Andreas Entschev
支持 preload 中的 web 地址 (GH#3755) Matthew Rocklin

2.15.2 - 2020-05-01¶

提供地址时连接到仪表盘 (GH#3758) Tom Augspurger
移动 test_gpu_metrics test (GH#3721) Tom Augspurger
Nanny 在 KeyboardInterrupt 时关闭 worker (GH#3747) Mads R. B. Kristensen
替换调度器中的 OrderedDict 为 dict (GH#3740) Matthew Rocklin
修复异常处理中的拼写错误 (GH#3751) Jonas Haag

2.15.1 - 2020-04-28¶

确保 BokehTornado 使用前缀 (GH#3746) James Bourbeau
如果集群在启动前关闭，则发出警告 (GH#3735) Matthew Rocklin
Memoryview 序列化 (GH#3743) Martin Durant
允许在 distributed 键下配置日志记录 (GH#2952) Dillon Niederhut

2.15.0 - 2020-04-24¶

恢复对旧版 @gen_cluster 函数的支持 (GH#3738) crusaderky
放宽 UCX 中的 NumPy 要求 (GH#3731) jakirkham
添加配置 Schema (GH#3696) Matthew Rocklin
将 CI 脚本用于本地安装过程 (GH#3698) crusaderky
使用 tornado 中的 PeriodicCallback 类 (GH#3725) James Bourbeau
在 ssh 命令中添加 remote_python 选项 (GH#3709) Abdulelah Bin Mahfoodh
集群 widget 的可配置 polling 间隔 (GH#3723) Julia Signell
修复文档中的复制粘贴错误 (GH#3728) Julia Signell
在测试中将 gen.coroutine 替换为 async-await (GH#3706) crusaderky
修复不稳定的 test_oversubscribing_leases (GH#3726) Florian Jetter
为 Client.map 添加 batch_size (GH#3650) Tom Augspurger
调整 semaphore 测试超时时间 (GH#3720) Florian Jetter
Dask 序列化超过五个元素的字典 (GH#3689) Richard J Zamora
强制设置 threads_per_worker (GH#3715) crusaderky
幂等 semaphore 获取并重试 (GH#3690) Florian Jetter
在 TCP 中始终使用 readinto (GH#3711) jakirkham
避免来自 pandas 的 DeprecationWarning (GH#3712) Tom Augspurger
允许在运行时修改 distributed.comm.retry (GH#3705) Florian Jetter
不要在未设置变量删除时记录错误 (GH#3652) Jonathan J. Helmus
为新的 SSHCluster 添加 remote_python 关键字 (GH#3701) Abdulelah Bin Mahfoodh
将文档字符串中的 Example 替换为 Examples (GH#3697) Matthew Rocklin
添加 Cluster 的 __enter__ 和 __exit__ 方法 (GH#3699) Matthew Rocklin
修复非 bash shell 的 SSHCluster 中继承 config 的传播问题 (GH#3688) Abdulelah Bin Mahfoodh
将 Client.wait_to_workers 添加到 Client 自动汇总表中 (GH#3692) James Bourbeau
将 Bokeh Server 替换为 Tornado HTTPServer (GH#3658) Matthew Rocklin
修复从 dask_scheduler cli 中删除 local-directory 后的 dask-ssh 问题 (GH#3684) Abdulelah Bin Mahfoodh
支持 Nanny 中的 preload 模块 (GH#3678) Matthew Rocklin
重构 semaphore 内部机制：使 _get_lease 同步 (GH#3679) Lucas Rademaker
不要让任务图太大 (GH#3671) Martin Durant
将 connection/listen_args 作为 splatted 关键字参数传递 (GH#3674) Matthew Rocklin
在 import、start 和 teardown 时运行 preload (GH#3673) Matthew Rocklin
在调度器仪表盘中使用相对 URL (GH#3676) Nicholas Smith
将 Security 对象暴露为公共 API (GH#3675) Matthew Rocklin
为 profile 图添加缩放工具 (GH#3672) James Bourbeau
更新 Scheduler.rebalance 在数据丢失时的返回值 (GH#3670) James Bourbeau

2.14.0 - 2020-04-03¶

启用更多 UCX 测试 (GH#3667) jakirkham
移除 Travis 的 openssl 1.1.1d 版本锁定 (GH#3668) Jonathan J. Helmus
更多关于 Semaphore 的文档 (GH#3664) Florian Jetter
获取 CUDA context 来 finalise Numba DeviceNDArray (GH#3666) jakirkham
为 get_task_stream 添加 Resources 选项并调用 output_file (GH#3653) Prasun Anand
添加 Semaphore 扩展 (GH#3573) Lucas Rademaker
在 work stealing 测试中将 ncores 替换为 nthreads (GH#3615) James Bourbeau
清理一些测试警告 (GH#3662) Matthew Rocklin
编写“why killed” 文档 (GH#3596) Martin Durant
更新 Python 版本检查 (GH#3660) James Bourbeau
添加换行符以确保 retire_workers 代码格式正确 (GH#3661) Rami Chowdhury
清理性能报告测试 (GH#3655) Matthew Rocklin
避免性能报告中的诊断时间 (GH#3654) Matthew Rocklin
引入默认任务持续时间的配置 (GH#3642) Gabriel Sailer
UCX 简化在 comm 中接收帧的过程 (GH#3651) jakirkham
将 checkout GitHub action 更新到 v2 (GH#3649) James Bourbeau
处理 faulthandler 中的异常 (GH#3646) Jacob Tomlinson
为可疑任务添加 prometheus 指标 (GH#3550) Gabriel Sailer
移除 local-directory 关键字 (GH#3620) Prasun Anand
当存在混合 Client Futures 时，不要在 Client 中创建输出 Futures (GH#3643) James Bourbeau
添加 contributing.md 的链接 (GH#3621) Prasun Anand
更新 CI 构建中的 bokeh 依赖项 (GH#3637) James Bourbeau

2.13.0 - 2020-03-25¶

UCX 仅在 CUDA 帧上同步默认 stream (GH#3638) Peter Andreas Entschev
添加 as_completed.clear 方法 (GH#3617) Matthew Rocklin
删除 pack_frames_prelude 中的未使用行 (GH#3634) John Kirkham
添加关闭空闲 dask 调度器时的日志消息 (GH#3632) Matthew Rocklin
在 header["lengths"] 中包含 CUDA 对象的帧长度 (GH#3631) John Kirkham
确保 Client 连接池信号量附加到 Client 事件循环 (GH#3546) James Bourbeau
移除失效的窃取代码 (GH#3619) Florian Jetter
在读取 data 之前检查 nbytes 和 types (GH#3628) John Kirkham
确保我们不会窃取黑名单中的快速任务 (GH#3591) Florian Jetter
支持异步 Listener.stop 函数 (GH#3613) Matthew Rocklin
为 as_completed 添加 str/repr 方法 (GH#3618) Matthew Rocklin
为 comm 连接尝试添加 backoff 机制。(GH#3496) Matthias Urlichs
使 Listeners 可 await (GH#3611) Matthew Rocklin
增加仪表盘图中可见尾数的数量 (GH#3585) Scott Sievert
锁定 Travis 的 openssl 版本到 1.1.1d (GH#3602) Jacob Tomlinson
将 tornado.queues 替换为 asyncio.queues (GH#3607) James Bourbeau
从 CI 环境中移除 dill (GH#3608) Loïc Estève
修复 linting 错误 (GH#3604) James Bourbeau
在 UCX 发送/接收之前同步默认 CUDA stream (GH#3598) Peter Andreas Entschev
为 Adaptive 参数添加配置 (GH#3509) Gabriel Sailer
更改 Adaptive 文档以引用 adaptive_target (GH#3597) Julia Signell
可选地按帧进行压缩 (GH#3586) Matthew Rocklin
为版本检查添加 Python 版本信息 (GH#3567) James Bourbeau
导入 tlz (GH#3579) John Kirkham
锁定 numpydoc 以避免双重转义的 * (GH#3530) Gil Forsyth
避免 worker 在计算过程中死亡导致 performance_report 崩溃 (GH#3575) Krishan Bhasin
在 CI 构建中锁定 bokeh 版本 (GH#3570) James Bourbeau
禁用 GitHub Actions Windows CI 上的 fast fail (GH#3569) James Bourbeau
修复 Client.shutdown 文档字符串中的拼写错误 (GH#3562) John Kirkham
为 dask-ssh 添加 local_directory 选项 (GH#3554) Abdulelah Bin Mahfoodh

2.12.0 - 2020-03-06¶

更新 TaskGroup 移除逻辑 (GH#3557) James Bourbeau
修复 CuPy sparse 序列化问题 (GH#3556) John Kirkham
LocalCluster 和 SpecCluster 的 API 文档 (GH#3548) Tom Augspurger
序列化稀疏数组 (GH#3545) John Kirkham
允许带有限制的任务被窃取 (GH#3069) Stan Seibert
使用 UCX 默认配置而非抛出异常 (GH#3544) Peter Andreas Entschev
支持使用 register_generic 注册其他序列化器 (GH#3536) John Kirkham
文档：更新至 async await (GH#3543) Tom Augspurger
在 test_ucx_config.py 中使用 pytest.raises (GH#3541) John Kirkham
修复/更多 ucx config 选项 (GH#3539) Benjamin Zaitlen
更新心跳 CommClosedError 错误处理 (GH#3529) James Bourbeau
构建 local_directory 时使用 makedirs (GH#3538) John Kirkham
将 None 标记为 MessagePack 可序列化 (GH#3537) John Kirkham
将 bool 标记为 MessagePack 可序列化 (GH#3535) John Kirkham
为 Nanny 的目录使用 dask.config 中的 'temporary-directory' (GH#3531) John Kirkham
在性能报告中获取源代码时添加 try-except 块 (GH#3505) Matthew Rocklin
修复文档字符串中的拼写错误 (GH#3528) Davis Bennett
使 work stealing 回调时间可配置 (GH#3523) Lucas Rademaker
RMM/UCX Config Flags (GH#3515) Benjamin Zaitlen
修订 develop-docs：conda env 示例 (GH#3406) Darren Weber
移除 ucx.py 顶部的 import ucp (GH#3510) Peter Andreas Entschev
将 logs 重命名为 get_logs (GH#3473) Jacob Tomlinson
当 worker 重新连接到调度器时停止 keep alives (GH#3493) Jacob Tomlinson

2.11.0 - 2020-02-19¶

添加 CUDA 对象的 dask 序列化支持 (GH#3482) John Kirkham
抑制 cuML ImportError (GH#3499) John Kirkham
Msgpack 1.0 兼容性 (GH#3494) James Bourbeau
注册 cuML 序列化器 (GH#3485) John Kirkham
检查 worker 状态是否完全相等 (GH#3483) Brett Naul
序列化 1 维、连续的 uint8 CUDA 帧 (GH#3475) John Kirkham
更新 NumPy 数组序列化以处理不连续的切片 (GH#3474) James Bourbeau
建议修复基于集合的 resources 文档 (GH#3480) Chris Roat
从 CI 运行中移除 --verbose 标志 (GH#3484) Matthew Rocklin
不要在调度器报告中重复消息 (GH#3477) Jakub Beránek
注册 Dask cuDF 序列化器 (GH#3478) John Kirkham
添加 Python 3.8 支持 (GH#3249) James Bourbeau
向 worker 表格添加 last seen 列并高亮显示异常 worker (GH#3468) kaelgreco
将 local_directory 的默认值从空字符串更改为 None (GH#3441) condoratberlin
清理旧文档 (GH#3458) Matthew Rocklin
将默认多进程行为更改为 spawn (GH#3461) Matthew Rocklin
根据附加斜杠分割仪表盘 host 以处理 inproc (GH#3466) Jacob Tomlinson
更新 locality.rst (GH#3470) Dustin Tindall
Minor gen.Return cleanup (GH#3469) James Bourbeau
更新 worker 状态的比较逻辑 (GH#3321) rockwellw
更新最小 tblib 版本至 1.6.0 (GH#3451) James Bourbeau
在仪表板的 workers 图中添加总计行 (GH#3464) Julia Signell
解决 profile 数据上的 RecursionError 问题 (GH#3455) Tom Augspurger
在性能报告中包含代码和摘要 (GH#3462) Matthew Rocklin
在 Python 3.6 上跳过 test_open_close_many_workers (GH#3459) Matthew Rocklin
支持序列化/反序列化 rmm.DeviceBuffer s (GH#3442) John Kirkham
始终将新的 TaskGroup 添加到 TaskPrefix (GH#3322) James Bourbeau
重新运行代码库上的 black (GH#3444) John Kirkham
确保 worker 上抛出的异常的 __causes__ s 已序列化 (GH#3430) Alex Adamson
调整 numba.cuda 导入并添加检查 (GH#3446) John Kirkham
修复 Numba 序列化测试的名称 (GH#3447) John Kirkham
在 ssh2 中检查命令参数 (GH#3078) Peter Andreas Entschev
更新 LocalCluster 构造函数中 worker_kwargs 的描述 (GH#3438) James Bourbeau
确保调度器在成功删除 worker 数据后更新 task 和 worker 状态 (GH#3401) James Bourbeau
避免在 asyncio 协调原语中使用 loop= 关键字 (GH#3437) Matthew Rocklin
将 pip 作为模块调用以避免警告 (GH#3436) Cyril Shcherbin
在协调原语中添加参数文档 (GH#3434) Søren Fuglede Jørgensen
将 Events/Locks/Conditions/Semaphore 的 tornado.locks 替换为 asyncio (GH#3397) Matthew Rocklin
从类继承结构中移除 object (GH#3432) Anderson Banihirwe
向 Client 添加 dashboard_link 属性 (GH#3429) Jacob Tomlinson
允许内存监视器更积极地逐出数据 (GH#3424) fjetter
使 _get_ip 在使用默认值时返回一个 IP 地址 (GH#3418) Pierre Glaser
支持与旧版本 Dask 的版本检查 (GH#3390) Igor Gotlibovych
将 Mac OS 构建添加到 CI (GH#3358) James Bourbeau

2.10.0 - 2020-01-28¶

修复仪表板中没有 worker 时出现的 ZeroDivisionError (GH#3407) James Bourbeau
从根目录重定向时遵循 dashboard-prefix (GH#3387) Chrysostomos Nanakos
允许在集群启动后启用/禁用工作窃取 (GH#3410) John Kirkham
支持 offload 中的 *args 和 **kwargs (GH#3392) Matthew Rocklin
为 SchedulerPlugin 添加生命周期钩子 (GH#3391) Matthew Rocklin

2.9.3 - 2020-01-17¶

如果没有运行中的循环，则抛出 RuntimeError (GH#3385) James Bourbeau
修复 get_running_loop 导入 (GH#3383) James Bourbeau
获取 JavaScript 文档位置而不是窗口，并处理代理 URL (GH#3382) Jacob Tomlinson

2.9.2 - 2020-01-16¶

将 Windows CI 移至 GitHub Actions (GH#3373) Jacob Tomlinson
添加客户端加入和离开钩子 (GH#3371) Jacob Tomlinson
添加集群地图仪表板 (GH#3361) Jacob Tomlinson
在重试时关闭连接通讯 (GH#3365) James Bourbeau
在 worker 名称冲突的情况下修复调度器状态 (GH#3366) byjott
为 dask-worker CLI 添加 --worker-class 选项 (GH#3364) James Bourbeau
移除在 OS X 上失败的 locale 检查 (GH#3360) Jacob Tomlinson
重做版本检查 (GH#2627) Matthew Rocklin
添加 websocket 调度器插件 (GH#3335) Jacob Tomlinson
在 dask-worker 的 on_signal 函数中返回任务 (GH#3354) James Bourbeau
修复混合整数/字符串 worker 名称上的失败 (GH#3352) Benedikt Reinartz
发送数据时避免多次调用 nbytes (GH#3349) Markus Mohrhard
如果在 IPython 内核中且没有运行中的事件循环，则避免设置事件循环策略 (GH#3336) Mana Borwornpadungkitti
放宽间歇性失败的 test_profile_server (GH#3346) Matthew Rocklin

2.9.1 - 2019-12-27¶

在 dumps_function 缓存周围添加锁 (GH#3337) Matthew Rocklin
将 setuptools 添加到依赖项 (GH#3320) James Bourbeau
在 Graph 布局中使用 TaskPrefix.name (GH#3328) Matthew Rocklin
在性能报告示例中添加缺失的引号 (GH#3329) John Kirkham
为文档添加性能报告文档和颜色定义 (GH#3325) Benjamin Zaitlen
将 startstops 切换为字典并在传输中添加 worker 名称 (GH#3319) Jacob Tomlinson
为 out-of-tree comms 库添加插件入口点 (GH#3305) Patrick Sodré
prometheus 中的所有调度器任务状态 (GH#3307) fjetter
在日志中使用 worker 名称 (GH#3309) Stephan Erb
添加 TaskGroup 和 TaskPrefix 调度器状态 (GH#3262) Matthew Rocklin
通过心跳更新延迟 (GH#3310) fjetter
更新 Client._graph_to_futures 中任务图中的 Futures 内联 (GH#3303) James Bourbeau
使用 hostname 作为默认 IP 地址而不是 localhost (GH#3308) Matthew Rocklin
清理不稳定的 test_nanny_throttle (GH#3295) Tom Augspurger
为敏感操作向调度器添加锁 (GH#3259) Matthew Rocklin
记录每个 Scheduler 监听器的地址 (GH#3306) Matthew Rocklin
使 ConnectionPool.close 异步 (GH#3304) Matthew Rocklin

2.9.0 - 2019-12-06¶

添加 dask-spec CLI 工具 (GH#3090) Matthew Rocklin
连接池：不分发已关闭的连接 (GH#3301) byjott
网络问题时重试操作 (GH#3294) byjott
如果未安装 cryptography，则跳过 Security.temporary() 测试 (GH#3302) James Bourbeau
支持调度器中的多个监听器 (GH#3288) Matthew Rocklin
将 RMM 注释更新到正确的版本 (GH#3299) John Kirkham
为 performance_report 添加标题 (GH#3298) Matthew Rocklin
忘记修复慢速测试 (GH#3297) Benjamin Zaitlen
更新 SSHCluster docstring 参数 (GH#3296) James Bourbeau
worker.close() 等待 batched_stream.close() (GH#3291) Mads R. B. Kristensen
修复 UCX 中的异步监听器 (GH#3292) Benjamin Zaitlen
避免重复将依赖项添加到已在内存中的堆栈 (GH#3293) James Bourbeau
xfail ucx 空对象类型 dataframe (GH#3279) Benjamin Zaitlen
修复 distributed.wait 文档 (GH#3289) Tom Rochette
将 Python 3 语法测试移至主测试 (GH#3281) Matthew Rocklin
xfail Python 3.6 的 test_workspace_concurrency (GH#3283) Matthew Rocklin
为静态报告生成添加 performance_report 上下文管理器 (GH#3282) Matthew Rocklin
使用自定义 LRU 类更新函数序列化缓存 (GH#3260) James Bourbeau
使 Listener.start 异步 (GH#3278) Matthew Rocklin
移除 dask-submit 和 dask-remote (GH#3280) Matthew Rocklin
Worker profile server (GH#3274) Matthew Rocklin
改进带宽 workers 图 (GH#3273) Matthew Rocklin
使 Scheduler 和 Worker 之间的 profile 协程一致 (GH#3277) Matthew Rocklin
启用保存来自 server 线程的 profile 信息 (GH#3271) Matthew Rocklin
移除内存使用图 (GH#3269) Matthew Rocklin
将 offload 大小添加到配置 (GH#3270) Matthew Rocklin
修复 profile 图上的布局缩放 (GH#3268) Jacob Tomlinson
基于线程数设置 CPU 图中的 x_range (GH#3266) Matthew Rocklin
在仪表板中使用 base-2 值表示字节值轴 (GH#3267) Matthew Rocklin
连接失败时进行鲁棒的 gather (GH#3246) fjetter
使用较新 RMM 版本中的 DeviceBuffer (GH#3261) John Kirkham
修复 pytest 的开发要求 (GH#3264) Elliott Sales de Andrade
将验证选项添加到配置 (GH#3258) Matthew Rocklin

2.8.1 - 2019-11-22¶

修复调度器离开时 worker 挂起的问题 (GH#3250) Tom Augspurger
修复 NumPy 可写序列化 bug (GH#3253) James Bourbeau
如果 CUDA 不可用，则跳过 numba.cuda 测试 (GH#3255) Peter Andreas Entschev
添加按 key 的新内存使用仪表板图 (GH#3243) Matthew Rocklin
修复 array.shape() -> array.shape (GH#3247) Jed Brown
修复 pubsub.py 中的拼写错误 (GH#3244) He Jia
修复 cupy 数组超出作用域的问题 (GH#3240) Mads R. B. Kristensen
移除调度器中 gen.coroutine 的使用 (GH#3242) Jim Crist-Harif
在相关地方使用 inspect.isawaitable (GH#3241) Jim Crist-Harif

2.8.0 - 2019-11-14¶

添加 UCX 配置值 (GH#3135) Matthew Rocklin
放宽 test_MultiWorker (GH#3210) Matthew Rocklin
避免在导入时进行 ucp.init (GH#3211) Matthew Rocklin
清理 rpc 以避免间歇性测试失败 (GH#3215) Matthew Rocklin
如果给定协议，则 Scheduler 遵循协议 (GH#3212) Matthew Rocklin
在 bokeh 图中使用 legend_field= 关键字 (GH#3218) Matthew Rocklin
在 Nanny 中缓存 psutil.Process 对象 (GH#3207) Matthew Rocklin
将 gen.sleep 替换为 asyncio.sleep (GH#3208) Matthew Rocklin
避免对小消息进行 offloading 序列化 (GH#3224) Matthew Rocklin
添加 desired_workers 指标 (GH#3221) Gabriel Sailer
导入 distributed.comm.ucx 时快速失败 (GH#3228) Matthew Rocklin
向 Future repr 添加模块名称 (GH#3231) Matthew Rocklin
向 Pub/Sub repr 添加名称 (GH#3235) Matthew Rocklin
从 dask.system 导入 CPU_COUNT (GH#3199) James Bourbeau
高效序列化零步长 NumPy 数组 (GH#3180) James Bourbeau
在 workers 中缓存函数反序列化 (GH#3234) Matthew Rocklin
在 futures_of 中遵循 futures 的顺序 (GH#3236) Matthew Rocklin
将 dask 依赖项更新到 2.7.0 (GH#3237) James Bourbeau
避免设置 inf x_range (GH#3229) rockwellw
根据最近的行为清除 task stream (GH#3200) Matthew Rocklin
使用 profile 图的百分比字段 (GH#3238) Matthew Rocklin

2.7.0 - 2019-11-08¶

此版本放弃对 Python 3.5 的支持

向 README.rst 添加徽章 [skip ci] (GH#3152) James Bourbeau
如果 self.address 存在，不要覆盖它 (GH#3153) Gil Forsyth
移除对 debug 调度器和 worker bokeh 页面的过时引用。(GH#3160) darindf
更新 CONTRIBUTING.md (GH#3159) Jacob Tomlinson
为 worker 的执行任务计数添加 Prometheus 指标 (GH#3163) darindf
更新 Prometheus 文档 (GH#3165) darindf
修复 strides 为 None 时的 Numba 序列化问题 (GH#3166) Peter Andreas Entschev
Await Adaptive.recommendations 中的集群 (GH#3168) Simon Boothroyd
支持自动 TLS (GH#3164) Jim Crist
避免用数据请求淹没高内存 worker (GH#3071) Tom Augspurger
默认使用 sockcm 更新 UCX 变量 (GH#3177) Peter Andreas Entschev
从调度器地址获取 Nanny/Worker 中的协议 (GH#3175) Peter Andreas Entschev
为 Prometheus 数据收集添加 worker 和 tasks 状态 (GH#3174) darindf
对 offload to/from_frames 使用 async def 函数 (GH#3171) Mads R. B. Kristensen
子进程继承全局 dask 配置 (GH#3192) Mads R. B. Kristensen
XFail test_open_close_many_workers (GH#3194) Matthew Rocklin
放弃对 Python 3.5 的支持 (GH#3179) James Bourbeau
UCX: 避免 fork 后双重初始化 (GH#3178) Mads R. B. Kristensen
离线导入时抑制警告 (GH#3203) James A. Bednar
向 Client 方法添加资源、actor 和 traverse 的文档 (GH#2851) IPetrik
添加并发 scatter 操作的测试 (GH#2244) Matthew Rocklin
扩展 async 文档 (GH#2293) Dave Hirschfeld
添加 PatchedDeviceArray 以丢弃 cupy<7.0 的 stride 属性 (GH#3198) Richard J Zamora

2.6.0 - 2019-10-15¶

重构仪表板模块 (GH#3138) Jacob Tomlinson
在 setup.py 中使用 setuptools.find_packages (GH#3150) Matthew Rocklin
将死亡超时逻辑移至 Node.start (GH#3115) Matthew Rocklin
只有当 metric 是标量时，才将其包含在 WorkerTable 中 (GH#3140) Matthew Rocklin
添加 Nanny(config={...}) 关键字 (GH#3134) Matthew Rocklin
xfail Python 3.6 上的 test_worksapce_concurrency (GH#3132) Matthew Rocklin
使用 transition 方法扩展 Worker 插件 API (GH#2994) matthieubulte
如果用户向 Client 传入未使用关键字，则抛出异常 (GH#3117) Jonathan De Troye
将新的 SSHCluster 移至顶层 (GH#3128) Matthew Rocklin
提升 dask 依赖项 (GH#3124) Jim Crist

2.5.2 - 2019-10-04¶

在接收到 sigint 信号时，使 dask-worker 静默关闭 (GH#3116) Matthew Rocklin
在 dask-worker 中将 tornado.gen 的使用替换为 asyncio (GH#3114) Matthew Rocklin
UCX: 使用 RMM 和 Numba 分配 CUDA 数组 (GH#3109) Mads R. B. Kristensen
支持将 cluster.scale 作为 async 方法调用 (GH#3110) Jim Crist
在 SpecCluster 中根据地址而非名称识别丢失的 worker (GH#3088) James Bourbeau
添加 Client.shutdown 方法 (GH#3106) Matthew Rocklin
收集 worker-worker 和类型带宽信息 (GH#3094) Matthew Rocklin
通过 wire 发送噪声以保持 dask-ssh 连接活跃 (GH#3105) Gil Forsyth
多次重试调度器连接 (GH#3104) Jacob Tomlinson
为仪表板添加 logo favicon (GH#3095) James Bourbeau
移除 utils.py 函数，转而使用 dask/utils.py 中的等价函数 (GH#3042) Matthew Rocklin
降低默认 bokeh 日志级别 (GH#3087) Philipp Rudiger
检查 self.cluster.scheduler 是否为本地调度器 (GH#3099) Jacob Tomlinson

2.5.1 - 2019-09-27¶

支持没有 .security 或 ._close 方法的集群 (GH#3100) Matthew Rocklin

2.5.0 - 2019-09-27¶

使用新的 UCX Python 绑定 (GH#3059) Mads R. B. Kristensen
修复 worker preload 配置 (GH#3027) byjott
修复生成多个 worker 的 spec 小部件 (GH#3067) Loïc Estève
使 Client.get_versions 兼容 async (GH#3064) Jacob Tomlinson
添加配置选项以获得更长的错误回溯 (GH#3086) Daniel Farrell
让 Client 从传入的 Cluster 获取 Security (GH#3079) Matthew Rocklin
如果 Cluster.dashboard_link 存在，则在 Client._repr_html_ 中遵循它 (GH#3077) Matthew Rocklin
添加 dask cluster 文档中的监控内容 (GH#3072) Arpit Solanki
cupy 和 numba 的协议专门处理序列化 (GH#3047) Mads R. B. Kristensen
允许在 SSHCLuster 中指定 worker 类型 (GH#3061) Jacob Tomlinson
在 repr 中使用 Cluster.scheduler_info 作为 workers= 的值 (GH#3058) Matthew Rocklin
允许 SpecCluster 按内存和核心进行扩展 (GH#3057) Matthew Rocklin
在 preload 输入中允许完整脚本 (GH#3052) Matthew Rocklin
检查多个 cgroups 目录，对小数个 cpu 进行取整 (GH#3056) Jim Crist
添加关于禁用工作窃取的简述 (GH#3055) Chris White

2.4.0 - 2019-09-13¶

移除 six (GH#3045) Matthew Rocklin
将缺失的测试数据添加到 sdist tarball (GH#3050) Elliott Sales de Andrade
使用 unittest 标准库中的 mock (GH#3049) Elliott Sales de Andrade
使用 cgroups 资源限制来确定默认线程和内存 (GH#3039) Jim Crist
将任务反序列化移至任务执行之前 (GH#3015) James Bourbeau
在 distributed 中移除 joblib shim 模块 (GH#3040) John Kirkham
重定向配置文档页面 (GH#3038) Matthew Rocklin
在 dask-worker cli 中支持 --name 0 和 --nprocs 关键字 (GH#3037) Matthew Rocklin
从 SpecCluster.workers 中移除丢失的 worker (GH#2990) Guillaume Eynard-Bontemps
清理 test_local.py::test_defaults (GH#3017) Matthew Rocklin
将 Queue.__init__ 中的 print 语句替换为调试消息 (GH#3035) Mikhail Akimov
将内存利用率图的 x_range 限制设置为 memory-limit (GH#3034) Matthew Rocklin
依赖 cudf 代码库进行 cudf 序列化 (GH#2998) Benjamin Zaitlen
为 Cluster 添加 fallback html repr (GH#3023) Jim Crist
为 comms 添加 zstandard 压缩支持 (GH#2970) Abael He
在 dashboard_link 中使用 os.environ 时避免冲突 (GH#3021) Matthew Rocklin
修复 ConnectionPool 限制处理 (GH#3005) byjott
支持生成多个 worker 的 Spec jobs (GH#3013) Matthew Rocklin
调整 Logs 样式 (GH#3012) Jim Crist
为 cudf 反序列化函数名使用更好的名称 (GH#3008) Benjamin Zaitlen
使 spec.ProcessInterface 成为有效的 no-op worker (GH#3004) Matthew Rocklin
从 new_worker_spec 返回字典而不是 name/worker 对 (GH#3000) Matthew Rocklin
修复文档中的小拼写错误 (GH#3002) Mohammad Noor
在使用核心和内存进行扩展时允许更多关键字选项 (GH#2997) Matthew Rocklin
将 cuda_ipc 添加到 UCX environment 以用于 NVLink (GH#2996) Benjamin Zaitlen
向 Cluster 和 Client reprs 添加 threads= 和 memory= (GH#2995) Matthew Rocklin
修复 PyNVML 初始化 (GH#2993) Richard J Zamora

2.3.2 - 2019-08-23¶

跳过启动信息中的异常 (GH#2991) Jacob Tomlinson

2.3.1 - 2019-08-22¶

为 SpecCluster 调度器添加独立的外部地址支持 (GH#2963) Jacob Tomlinson
将 cudf 序列化/反序列化推迟到该库 (GH#2881) Benjamin Zaitlen
挂起测试的临时解决方案现在调用 ucp.fin() (GH#2967) Mads R. B. Kristensen
移除不必要的项目符号 (GH#2972) Pav A
直接从 diagnostics.progressbar 导入 progress (GH#2975) Matthew Rocklin
在 ensure_bytes 中处理 buffer protocol 对象 (GH#2969) Tom Augspurger
修复文档语法和树结构 (GH#2981) Pav A
改进接口不存在时 get_ip_interface 的错误消息 (GH#2964) Loïc Estève
向 scale 添加 cores= 和 memory= 关键字 (GH#2974) Matthew Rocklin
使 workers 对错误的自定义指标具有鲁棒性 (GH#2984) Matthew Rocklin

2.3.0 - 2019-08-16¶

检查 pynvml 时捕获所有异常 (GH#2961) Matthew Rocklin
通过小的基本集合向下传递序列化 (GH#2948) Peter Andreas Entschev
使用 pytest.warning(Warning) 而不是 Exception (GH#2958) Matthew Rocklin
允许 server_kwargs 覆盖仪表板中的默认值 (GH#2955) Bruce Merry
更新 utils_perf.py (GH#2954) Shayan Amani
在 retire_workers 中使用 str 对名称进行规范化 (GH#2949) Matthew Rocklin
更新 client.py (GH#2951) Shayan Amani
添加 GPUCurrentLoad 仪表板图 (GH#2944) Matthew Rocklin
将 GPU 诊断信息从 worker 传递到调度器 (GH#2932) Matthew Rocklin
从 collections.abc 导入 (GH#2938) Jim Crist
修复 Worker docstring 格式 (GH#2939) James Bourbeau
将 setup 文档重定向到 docs.dask.org (GH#2936) Matthew Rocklin
在 gen.coroutine 中封装 offload (GH#2934) Matthew Rocklin
将 TCP.close 更改为 coroutine 以避免任务挂起警告 (GH#2930) Matthew Rocklin
修复 black 字符串规范化问题 (GH#2929) Jim Crist
将核心功能从 SpecCluster 移至 Cluster (GH#2913) Matthew Rocklin
向 ProcessInterface 添加 aenter/aexit 协议 (GH#2927) Matthew Rocklin
向仪表板添加实时 CPU 利用率图 (GH#2922) Matthew Rocklin
即使不检查，也在干净测试中始终杀死进程 (GH#2924) Matthew Rocklin
为 SSH 测试中的进程添加超时 (GH#2925) Matthew Rocklin
添加有关 spec.ProcessInterface 的文档 (GH#2923) Matthew Rocklin
清理测试中的 async 警告 (GH#2920) Matthew Rocklin
请求不存在的任务或 worker 时返回 404 (GH#2921) Martin Durant
重新调度未知任务时引发信息性警告 (GH#2916) James Bourbeau
修复 docstring (GH#2917) Martin Durant
在 worker 和调度器之间添加 keep-alive 消息 (GH#2907) Matthew Rocklin
重写 Adaptive/SpecCluster 以支持缓慢到达的 worker (GH#2904) Matthew Rocklin
断开连接时调用 heartbeat 而不是 reconnect (GH#2906) Matthew Rocklin

2.2.0 - 2019-07-31¶

在 LocalCluster 中遵循安全配置 (GH#2822) Russ Bubley
在 worker 文档中添加 Nanny (GH#2826) Christian Hudon
不要将 False add-keys 报告发送给调度器 (GH#2421) tjb900
在 SpecCluster repr 中包含类型名称 (GH#2834) Jacob Tomlinson
扩展 prometheus metrics endpoint (GH#2833) Gabriel Sailer
添加替代的 SSHCluster 实现 (GH#2827) Matthew Rocklin
在 get_worker 中不要重用已关闭的 worker (GH#2841) Pierre Glaser
SpecCluster: 将 init 逻辑移至 start 中 (GH#2850) Jacob Tomlinson
在 API 文档中记录 distributed.Reschedule (GH#2860) James Bourbeau
在测试构建的安装中添加 fsspec (GH#2859) Martin Durant
使 await/start 在 Scheduler/Worker/Nanny 之间更一致 (GH#2831) Matthew Rocklin
为 asyncio 测试添加 cleanup fixture (GH#2866) Matthew Rocklin
在 Adaptive 中只使用与调度器的远程连接 (GH#2865) Matthew Rocklin
添加 Server.finished async 函数 (GH#2864) Matthew Rocklin
在 Client HTML repr 中对齐文本并移除项目符号 (GH#2867) Matthew Rocklin
测试 dask-scheduler –idle-timeout flag (GH#2862) Matthew Rocklin
移除 Client.upload_environment (GH#2877) Jim Crist
在 core 中将 gen.coroutine 替换为 async/await (GH#2871) Matthew Rocklin
在每次测试前强制杀死所有进程 (GH#2882) Matthew Rocklin
清理 Security 类和配置 (GH#2873) Jim Crist
移除 SpecCluster scale down 中未使用的变量 (GH#2870) Jacob Tomlinson
添加 SpecCluster ProcessInterface (GH#2874) Jacob Tomlinson
添加 Log(str) 和 Logs(dict) 类以获得漂亮的 HTML reprs (GH#2875) Jacob Tomlinson
将 Client._asynchronous 传递给 Cluster._asynchronous (GH#2890) Matthew Rocklin
向 Spec Cluster 添加默认 logs 方法 (GH#2889) Matthew Rocklin
将 processes 关键字重新添加到 clean 中 (GH#2891) Matthew Rocklin
更新 black (GH#2901) Matthew Rocklin
将 Worker.local_dir 属性移至 Worker.local_directory (GH#2900) Matthew Rocklin
从 TapTools 链接到仪表板中的 worker 信息页面 (GH#2894) Matthew Rocklin
避免在 Client._ensure_connected 关闭时出现异常 (GH#2893) Matthew Rocklin
将 Pythonic kwargs 转换为 SSHCluster 的 CLI Keywords (GH#2898) Matthew Rocklin
在 CLI 中使用 kwargs (GH#2899) Matthew Rocklin
通过向 SpecCluster 提供 name= 关键字来命名 SSHClusters (GH#2903) Matthew Rocklin
请求从 Scheduler 到 SpecCluster 的 worker 信息馈送 (GH#2902) Matthew Rocklin
清空兼容性文件 (GH#2896) Matthew Rocklin
移除 future 导入 (GH#2897) Matthew Rocklin
在相关地方使用 click 的 show_default=True (GH#2838) Christian Hudon
更优雅地关闭 worker (GH#2905) Matthew Rocklin
使用 –lifetime 关键字优雅地关闭 worker (GH#2892) Matthew Rocklin
向 Client._repr_html_ 添加 closing </li> tags (GH#2911) Matthew Rocklin
在 Logs._repr_html_ 中添加行尾间距 (GH#2912) Matthew Rocklin

2.1.0 - 2019-07-08¶

修复阻止错误消息的拼写错误 (GH#2825) Russ Bubley
移除 dask-mpi (GH#2824) Matthew Rocklin
更新以在任务旅程文档中使用 update_graph (GH#2821) James Bourbeau
修复 `memory_info=None` 时的 Client repr (GH#2816) Matthew Rocklin
修复 key（而不是 TaskState）可能出现在 ts.waiting_on 中的情况 (GH#2819) tjb900
使用仅关键字参数 (GH#2814) Matthew Rocklin
放宽集群上下文管理器中对 worker 引用的检查 (GH#2813) Matthew Rocklin
为仪表板添加 HTTPS 支持 (GH#2812) Jim Crist
使用 dask.utils.format_bytes (GH#2810) Tom Augspurger

2.0.1 - 2019-06-26¶

我们忽略了在 setup.py 文件中包含 python_requires=，导致 Python 2 用户错误地获得了 2.0.0 版本的软件包。这已在 2.0.1 版本中修复，并且我们已从 PyPI 中移除了 2.0.0 的文件。

在 setup.py 中添加 python_requires 条目 (GH#2807) Matthew Rocklin
在 TaskStream 图中正确管理超出 deque 限制的任务 (GH#2797) Matthew Rocklin
修复 memory_limit=None 时的诊断页面 (GH#2770) Brett Naul

2.0.0 - 2019-06-25¶

放弃对 Python 2 的支持
在发布前放宽警告 (GH#2796) Matthew Rocklin
废弃 –bokeh/–no-bokeh CLI (GH#2800) Tom Augspurger
修复 dask-worker 的 bokeh service_kwargs 中的拼写错误 (GH#2783) Tom Augspurger
更新命令行 CLI 选项文档 (GH#2794) James Bourbeau
从 TLS 文档中移除“实验性”字样 (GH#2793) James Bourbeau
在 ncores= 关键字周围添加警告 (GH#2791) Matthew Rocklin
为 scheduler 和 worker CLI 添加 –version 选项 (GH#2782) Tom Augspurger
Worker 初始化超时时抛出异常 (GH#2784) Tom Augspurger
在整个代码库中将 ncores 替换为 nthreads (GH#2758) Matthew Rocklin
添加未知的 pytest marker (GH#2764) Tom Augspurger
延迟查找允许的失败 (GH#2761) Tom Augspurger
在 nbytes 图的 ColumnDataSource 中将 address 更改为 worker (GH#2755) Matthew Rocklin
移除 Prometheus Handlers 中的模块状态 (GH#2760) Matthew Rocklin
添加 UCX 压力测试 (GH#2759) Matthew Rocklin
添加 nanny 日志 (GH#2744) Tom Augspurger
将部分自适应逻辑移至 scheduler (GH#2735) Matthew Rocklin
添加 SpecCluster.new_worker_spec 方法 (GH#2751) Matthew Rocklin
修复 worker 仪表板 (GH#2747) Matthew Rocklin
为 scheduler/worker 类添加异步上下文管理器 (GH#2745) Matthew Rocklin
在发送图之前修复资源键的表示 (GH#2733) Michael Spiegel
允许用户配置 workers 是否为守护进程 (GH#2739) Caleb
在 appveyor 和 Python 3.5 中使用 pip 将 pytest 锁定在 >=4 版本 (GH#2737) Matthew Rocklin
添加实验性 UCX 通信 (GH#2591) Ben Zaitlen Tom Augspurger Matthew Rocklin
优雅地关闭 nannies (GH#2731) Matthew Rocklin
为 progressbars 添加 kwargs (GH#2638) Manuel Garrido
重新添加 LocalCluster.__repr__. (GH#2732) Loïc Estève
将 bokeh 模块移至 dashboard (GH#2724) Matthew Rocklin
在退出时关闭 clusters (GH#2730) Matthew Rocklin
添加 SchedulerPlugin TaskState 示例 (GH#2622) Matt Nicolls
添加 SpecificationCluster (GH#2675) Matthew Rocklin
用 worker plugins 替换 register_worker_callbacks (GH#2453) Matthew Rocklin
从 scheduler dashboard 代理 worker dashboards (GH#2715) Ben Zaitlen
为 Scheduler.check_idle_saturated 添加 docstring (GH#2721) Matthew Rocklin
在 Client docstring 中引用 LocalCluster (GH#2719) Matthew Rocklin
移除 Scikit-Learn BaseEstimator 序列化的特殊处理 (GH#2713) Matthew Rocklin
修复 Pub class docstring 中的两个拼写错误 (GH#2714) Magnus Nord
支持上传包含多个模块的文件 (GH#2587) Sam Grayson
将主 workers bokeh 页面更改为 /status (GH#2689) Ben Zaitlen
在 Client 中干净地停止周期性回调 (GH#2705) Matthew Rocklin
禁用 Progress, Byte Stored 和 Tasks Processing 图的平移工具 (GH#2703) Mathieu Dugré
如果进程不再存在，则在 Nanny 的内存监视器中捕获错误 (GH#2701) Matthew Rocklin
处理 worker 刚离开时的心跳 (GH#2702) Matthew Rocklin
修改多 worker dashboard 图表的直方图样式 (GH#2695) Mathieu Dugré
添加方法以等待 n 个 workers 后再继续 (GH#2688) Daniel Farrell
支持对 delayed(None) 进行计算 (GH#2697) Matthew Rocklin
清理 localcluster (GH#2693) Matthew Rocklin
Worker 的目录使用 dask.config 中的 ‘temporary-directory’ (GH#2654) Matthew Rocklin
移除对 Iterators 和 Queues 的支持 (GH#2671) Matthew Rocklin

1.28.1 - 2019-05-13¶

这是由于上游配置更改而发布的小型错误修复版本。

对“scheduler-address”使用配置访问器方法 (GH#2676) James Bourbeau

1.28.0 - 2019-05-08¶

为 TaskState 添加 Type 属性 (GH#2657) Matthew Rocklin
在进度条标题栏添加等待任务计数 (GH#2663) James Bourbeau
DOC: 清理对 cluster 对象的引用 (GH#2664) K.-Michael Aye
允许 scheduler 在关闭时礼貌地关闭 workers (GH#2651) Matthew Rocklin
在 Client 中使用 get_worker 前检查 direct_to_workers (GH#2656) Matthew Rocklin
修复了关于在不那么冗长时保持现有级别的注释 (GH#2655) Brett Randall
为 scheduler 添加空闲超时 (GH#2652) Matthew Rocklin
避免废弃警告 (GH#2653) (GH#2357) Matthew Rocklin
对反序列化函数使用 LRU 缓存 (GH#2623) Matthew Rocklin
将 Worker._close 重命名为 Worker.close (GH#2650) Matthew Rocklin
添加 Comm 关闭簿记 (GH#2648) Matthew Rocklin
在 Client docstring 中解释 LocalCluster 行为 (GH#2647) Matthew Rocklin
在 KilledWorker 异常中添加最后一个 worker 以帮助调试 (GH#2610) @plbertrand
为 dask-ssh 设置工作的 worker 类 (GH#2646) Martin Durant
将 as_completed 方法添加到文档 (GH#2642) Jim Crist
为 Client._reconnect 添加超时 (GH#2639) Jim Crist
限制 test_spill_by_default 的内存，重新启用它 (GH#2633) Peter Andreas Entschev
在 worker -> nanny 通信中使用正确的地址 (GH#2640) Jim Crist
修复大于 64MB 的 bytes 块的反序列化问题 (GH#2637) Peter Andreas Entschev

1.27.1 - 2019-04-29¶

自适应：建议在有 workers 空闲时关闭它们 (GH#2330) Michael Delgado
提高 GC 阈值 (GH#2624) Matthew Rocklin
为 LocalCluster 添加 interface= 关键字 (GH#2629) Matthew Rocklin
为 LocalCluster 添加 worker_class 参数 (GH#2625) Matthew Rocklin
从测试矩阵中移除 Python 2.7 (GH#2631) Matthew Rocklin
为 diskutils 测试添加试验次数 (GH#2630) Matthew Rocklin
修复 LocalCluster docstring 中的参数名称 (GH#2626) Loïc Estève
集成用于低级别分析的堆栈跟踪 (GH#2575) Peter Andreas Entschev
应用 Black 来标准化代码样式 (GH#2614) Matthew Rocklin
为 start_worker cmd 添加缺失的空格 (GH#2613) condoratberlin
更新了 logging 模块文档链接，从 docs.python.org/2 到 docs.python.org/3. (GH#2635) Brett Randall

1.27.0 - 2019-04-12¶

为 scheduler 和 worker bokeh 添加基本健康端点 (GH#2607) amerkel2
改进了 –memory-limit 选项描述的准确性 (GH#2601) Brett Randall
在查看内存中的依赖任务时检查 self.dependencies (GH#2606) deepthirajagopalan7
添加 RabbitMQ SchedulerPlugin 示例 (GH#2604) Matt Nicolls
为 scheduler update_graph plugin 添加 resources (GH#2603) Matt Nicolls
在 serialize_error 中使用 ensure_bytes (GH#2588) Matthew Rocklin
在 Worker 构造函数中明确指定数据存储 (GH#2600) Matthew Rocklin
将 bokeh 端口关键字更改为 dashboard_address (GH#2589) Matthew Rocklin
.detach_() pytorch 张量，将数据序列化为 numpy 数组 (GH#2586) Muammar El Khatib
如果创建临时目录花费时间过长，则添加警告 (GH#2561) Matthew Rocklin
修复 pub-sub 文档中的拼写错误 (GH#2599) Loïc Estève
允许在 wait 中使用 return_when=’FIRST_COMPLETED’ (GH#2598) Nikos Tsaousis
通过 Nanny 将 kwargs 转发给 Worker (GH#2596) Brian Chu
使用 ensure_dict 而非 dict (GH#2594) James Bourbeau
在 LocalCluster 中指定协议 (GH#2489) Matthew Rocklin

1.26.1 - 2019-03-29¶

修复 LocalCluster 在每个 worker 过度承诺线程时不会过度分配内存的问题 (GH#2541) George Sakkis
使关闭操作能应对缺少地址的情况 (GH#2542) Matthew Rocklin
修复注释中的拼写错误 (GH#2546) Brett Jurman
修复 prometheus metrics 双重初始化问题 (GH#2544) Marco Neumann
跳过没有 bokeh 的 test_duplicate_clients (GH#2553) Elliott Sales de Andrade
为 servers 添加 blocked_handlers (GH#2556) Chris White
始终 yield Server.handle_comm 协程 (GH#2559) Tom Augspurger
使用 yaml.safe_load (GH#2566) Matthew Rocklin
从构建根目录获取可执行文件 (GH#2551) Elliott Sales de Andrade
修复 Torando 6 测试失败 (GH#2570) Matthew Rocklin
修复 test_sync_closed_loop (GH#2572) Matthew Rocklin

1.26.0 - 2019-02-25¶

更新样式以修复最近的 flake8 更新 (GH#2500) (GH#2509) Matthew Rocklin
修复 gen_cluster 日志消息中的拼写错误 (GH#2503) Loïc Estève
关闭事件循环时允许 KeyError (GH#2498) Matthew Rocklin
避免对 TCP ThreadPoolExecutor 进行线程测试 (GH#2510) Matthew Rocklin
在 SubgraphCallable 内查找 Futures (GH#2505) Jim Crist
关闭并发送消息时避免 AttributeError (GH#2514) Matthew Rocklin
为 dask_mpi.py 添加废弃警告 (GH#2522) Julia Kent
放宽统计分析测试 (GH#2527) Matthew Rocklin
支持替代的 –remote-dask-worker SSHCluster() 和 dask-ssh CLI (GH#2526) Adam Beberg
在转换中迭代完整的 plugin 列表 (GH#2518) Matthew Rocklin
创建 Prometheus 端点 (GH#2499) Adam Beberg
对 prometheus 测试使用 pytest.importorskip (GH#2533) Matthew Rocklin
MAINT: 如果未安装则跳过 prometheus 测试 (GH#2534) Olivier Grisel
修复间歇性测试失败 (GH#2535) Matthew Rocklin
如果 nprocs 关键字设置为一，则避免在 dask-ssh 中使用它 (GH#2531) Matthew Rocklin
将 Tornado 最低版本提升至 5.0

1.25.3 - 2019-01-31¶

修复缺少连接时过度使用线程的问题 (GH#2403) Daniel Farrell
修复文档中的拼写错误 (GH#2457) Loïc Estève
使用 LocalCluster 启动更少但更大的 workers (GH#2452) Matthew Rocklin
在 read 循环中首先检查 length 是否非零 (GH#2465) John Kirkham
DOC: 在脚本中使用 local cluster (GH#2462) Peter Killick
DOC/API: 基类 write / read 的签名 (GH#2472) Tom Augspurger
在测试中支持 Pytest 4 (GH#2478) Adam Beberg
确保 LocalCluster 在事件循环中的异步行为 (GH#2484) Matthew Rocklin
修复虚假的 CancelledError (GH#2485) Loïc Estève
关闭客户端时正确重置 dask.config 中的 scheduler 和 shuffle (GH#2475) George Sakkis
更明确地说明 resources 是每个 worker 的 (GH#2470) Loïc Estève
移除对 center 的引用 (GH#2488) Matthew Rocklin
在测试中将客户端清除超时扩展到 10 秒 (GH#2493) Matthew Rocklin
在 progressbar 中传播 key 关键字 (GH#2492) Matthew Rocklin
如果 Client 中存在，则使用提供的 cluster 的 IOLoop (GH#2494) Matthew Rocklin

1.25.2 - 2019-01-04¶

在异步模式下更好地清理 LocalCluster 日志 (GH#2448) Matthew Rocklin
如果无法导入 bokeh，则添加简短错误消息 (GH#2444) Dirk Petersen
为 Nanny 添加可选环境变量 (GH#2431) Matthew Rocklin
使 direct 关键字的 docstring 条目统一 (GH#2441) Matthew Rocklin
使 LocalCluster.close 支持异步 (GH#2437) Matthew Rocklin
gather_dep: 不要请求我们已经知道不需要的依赖项 (GH#2428) tjb900
为 Client.run docstring 添加参数 (GH#2429) Matthew Rocklin
在 run/run_scheduler 中支持 coroutines 和 async-def 函数 (GH#2427) Matthew Rocklin
为 ThreadPoolExecutors 中的线程命名 (GH#2408) Matthew Rocklin

1.25.1 - 2018-12-15¶

正确序列化 numpy.ma.masked 对象 (GH#2384) Jim Crist
关闭 dashboard 中的 bokeh 属性验证 (GH#2387) Jim Crist
完全初始化 WorkerState 对象 (GH#2388) Jim Crist
修复 scheduler docstring 中的拼写错误 (GH#2393) Russ Bubley
DOC: 修复 distributed.worker.Worker docstring 中的拼写错误 (GH#2395) Loïc Estève
移除后从事件日志中移除 clients 和 workers (GH#2394) tjb900
通过提供 length 关键字支持 msgpack 0.6.0 (GH#2399) tjb900
在大消息测试中使用 async-await (GH#2404) Matthew Rocklin
修复 normalize_collection 中的竞态条件 (GH#2386) Jim Crist
修复上游 HighLevelGraph 修复后的 redict collection (GH#2413) Matthew Rocklin
为 Lock.acquire() 添加一个 blocking 参数 (GH#2412) Stephan Hoyer
修复长 traceback 测试 (GH#2417) Matthew Rocklin
更新 x509 证书以符合当前 OpenSSL 标准 (GH#2418) Diane Trout

1.25.0 - 2018-11-28¶

修复了 Scheduler Dashboard 主页上的 404 错误 (GH#2361) Michael Wheeler
将两个 Worker 类合并为一个 (GH#2363) Matthew Rocklin
避免 pyarrow 和 msgpack 中的警告 (GH#2364) Matthew Rocklin
避免 Actor 的 Future 中的竞态条件 (GH#2374) Matthew Rocklin
在 Client.get_versions 中支持 missing packages 关键字 (GH#2379) Matthew Rocklin
修复序列化 masked arrays (GH#2373) Jim Crist

1.24.2 - 2018-11-15¶

添加对 Bokeh 1.0 的支持 (GH#2348) (GH#2356) Matthew Rocklin
修复导致失去对 Tornado 4 支持的回归问题 (GH#2353) Roy Wedge
避免废弃警告 (GH#2355) (GH#2357) Matthew Rocklin
修复 worker 文档中的拼写错误 (GH#2349) Tom Rochette

1.24.1 - 2018-11-09¶

使用 tornado 内置的 AnyThreadLoopEventPolicy (GH#2326) Matthew Rocklin
调整 openssl 1.1 的 TLS 测试 (GH#2331) Marius van Niekerk
如果在 Jupyter notebook 服务器内，则避免设置事件循环策略 (GH#2343) Matthew Rocklin
将 preload 脚本添加到 conf (GH#2325) Guillaume Eynard-Bontemps
为 Numpy masked arrays 添加序列化器 (GH#2335) Peter Killick
使用 psutil.Process.oneshot (GH#2339) NotSqrt
从 worker 获取客户端时使用 worker SSL 上下文 (GH#2301) Anonymous

1.24.0 - 2018-10-26¶

从代码库中移除 Joblib Dask Backend (GH#2298) Matthew Rocklin
在 Scheduler.restart 中包含 worker tls 协议 (GH#2295) Matthew Rocklin
适应 Bokeh 1.0 的新选择 (GH#2292) Matthew Rocklin
为 Future 和 Client 添加显式重试方法 (GH#2299) Matthew Rocklin
在 bokeh 链接中指向主 worker 页面 (GH#2300) Matthew Rocklin
多次 gathering 时限制并发 (GH#2303) Matthew Rocklin
添加 tls_cluster pytest fixture (GH#2302) Matthew Rocklin
将 ConnectionPool.open 和 active 转换为属性 (GH#2304) Matthew Rocklin
将 export_tb 更改为 format_tb (GH#2306) Eric Ma
将 joblib 页面重定向到 dask-ml (GH#2307) Matthew Rocklin
在错误消息中包含不可序列化的对象 (GH#2310) Matthew Rocklin
在 Python 3 中从 collections.abc 导入 Mapping, Iterator, Set (GH#2315) Gaurav Sheni
扩展 Client.scatter docstring (GH#2320) Eric Ma
更新以适应新的 flake8 (GH#2321) Matthew Rocklin

1.23.3 - 2018-10-05¶

如果不是 NotImplementedError，则在 dask 序列化中出错 (GH#2251) Matthew Rocklin
在 GraphLayout 中保护优先级中缺失的键 (GH#2259) Matthew Rocklin
不要在 Client.gather 中拉取数据两次 (GH#2263) Adam Klein
为 cluster 测试添加 pytest fixture (GH#2262) Matthew Rocklin
清理 bokeh 回调 (GH#2261) (GH#2278) Matthew Rocklin
修复 memory_limit=None 的 bokeh 错误 (GH#2255) Brett Naul
在 Client.map 中将大关键字放入任务图 (GH#2281) Matthew Rocklin
从 protocol.numpy 移除冗余的 blosc threading 代码 (GH#2284) Mike Gevaert
将 ncores 添加到 workertable (GH#2289) Matthew Rocklin
支持对没有扩展名的文件进行 upload_file 操作 (GH#2290) Matthew Rocklin

1.23.2 - 2018-09-17¶

丢弃 dependent 而不是移除 (GH#2250) Matthew Rocklin
使用 dask_sphinx_theme Matthew Rocklin
移除 Bokeh 索引页 (GH#2241) John Kirkham
恢复更改以保持链接相对 (GH#2242) Matthew Rocklin
docs: 修复 setup.rst 文件中损坏的 AWS 链接 (GH#2240) Vladyslav Moisieienkov
在 as_completed 中返回已取消的 futures (GH#2233) Chris White

1.23.1 - 2018-09-06¶

混合使用不同客户端的 futures 时抛出信息性错误 (GH#2227) Matthew Rocklin
为 unpack_remotedata 调用添加 byte_keys (GH#2232) Matthew Rocklin
为 get_task_stream 添加 gist/rawgit 文档 (GH#2236) Matthew Rocklin
通过等待 scheduler 停止信号来静默 Client.close (GH#2237) Matthew Rocklin
在不同屏幕尺寸上美观地显示系统图表 (GH#2239) Derek Ludwig
在 TaskStreamPlugin.rectangles 中修改传入的 workers dict (GH#2238) Matthew Rocklin

1.23.0 - 2018-08-30¶

为 Client 添加 direct_to_workers Matthew Rocklin
为 workers 添加 Scheduler.proxy Matthew Rocklin
实现 Actors Matthew Rocklin
修复 tooltip (GH#2168) Loïc Estève
修复 scale / 避免返回协程 (GH#2171) Joe Hamman
澄清 dask-worker –nprocs (GH#2173) Yu Feng
在 TCP 通信中连接所有小消息的 bytes (GH#2172) Matthew Rocklin
添加 dashboard_link 属性 (GH#2176) Jacob Tomlinson
始终卸载 to_frames (GH#2170) Matthew Rocklin
如果所需的端口已被占用，则发出警告 (GH#2191) (GH#2199) Matthew Rocklin
为事件循环线程添加 profile 页面 (GH#2144) Matthew Rocklin
对 dask 序列化使用 dispatch，并添加 sklearn, pytorch (GH#2175) Matthew Rocklin
处理 busy signal 的边缘情况 (GH#2182) Matthew Rocklin
在查看内存中的任务时检查 self.dependencies (GH#2196) Matthew Rocklin
添加从每个 worker 记录额外自定义指标的功能 (GH#2169) Loïc Estève
修复端口是 tuple 时的格式问题 (GH#2204) Loïc Estève
描述 ZeroMQ 是什么 (GH#2211) Mike DePalatis
微小的拼写错误修复 (GH#2214) Anderson Banihirwe
将 Python 3.7 添加到 travis.yml (GH#2203) Matthew Rocklin
为 get_task_stream 添加 plot= 关键字 (GH#2198) Matthew Rocklin
在 Client.get_versions 中添加对可选版本的支持 (GH#2216) Matthew Rocklin
在 dashboard 中为单独的 bokeh 图形添加路由 (GH#2185) Matthew Rocklin
在 busy signal 后对缺失的依赖项保持弹性 (GH#2217) Matthew Rocklin
使用 CSS Grid 对 dashboard 上的状态页面进行布局 (GH#2213) Derek Ludwig 和 Luke Canavan
修复主 ioloop 线程上 queues 的反序列化问题 (GH#2221) Matthew Rocklin
添加 worker 初始化函数 (GH#2201) Guillaume Eynard-Bontemps
折叠 dashboard 中的导航栏 (GH#2223) Luke Canavan

1.22.1 - 2018-08-03¶

为 Nanny 添加 worker_class= 关键字以支持不同的 worker 类型 (GH#2147) Martin Durant
清理间歇性 worker 失败 (GH#2152) (GH#2146) Matthew Rocklin
修复 msgpack encoding=’utf-8’ 的 PendingDeprecationWarning (GH#2153) Olivier Grisel
使用 hash 函数使 bokeh 颜色具有确定性 (GH#2143) Matthew Rocklin
允许客户端查询任务流图 (GH#2122) Matthew Rocklin
在线程名称中使用 PID 和计数器 (GH#2084) (GH#2128) Dror Birkman
测试 worker 限制在取消后被清除 (GH#2107) Matthew Rocklin
在 graph_to_futures 中扩展 resources (GH#2131) Matthew Rocklin
为 pyarrow 添加自定义序列化支持 (GH#2115) Dave Hirschfeld
更新 dask-scheduler cli preload 的帮助文本 (GH#2120) Matt Nicolls
添加了另一个嵌套并行性测试 (GH#1710) Tom Augspurger
TextProgressBar 后默认插入换行符 (GH#1976) Phil Tooley
从 scale 中淘汰 workers (GH#2104) Matthew Rocklin
允许 worker 使用 busy signal 拒绝数据请求 (GH#2092) Matthew Rocklin
不要忘记释放的键 (GH#2098) Matthew Rocklin
更新停止 worker 的示例 (GH#2088) John Kirkham
从日志消息中移除了硬编码的内存终止分数 (GH#2096) Bartosz Marcinkowski
调整 worker 文档，以适应配置文件位置和处理方式的更改 (GH#2094) Aurélien Ponte
优先从同一主机 gathering 数据 (GH#2090) Matthew Rocklin
使用文本错误处理反序列化 comm 上的异常 (GH#2093) Matthew Rocklin
修复 docstring 中的拼写错误 (GH#2087) Loïc Estève
为序列化函数提供通信上下文 (GH#2054) Matthew Rocklin
允许在 publish_dataset 中显式传递 name (GH#1995) Marius van Niekerk
在 yield 点附近避免访问 Worker.scheduler_delay (GH#2074) Matthew Rocklin
在格式化 bytes 中支持 TB 和 PB (GH#2072) Matthew Rocklin
为 Python 2 中 as_completed 的 for 循环添加测试 (GH#2071) Matthew Rocklin
允许 adaptive 在没有 cluster 的情况下存在 (GH#2064) Matthew Rocklin
Worker 数据传输等待接收方确认 (GH#2052) Matthew Rocklin
在 Client.sync 中支持 async def 函数 (GH#2070) Matthew Rocklin
为 LocalCluster 的 docstring 添加 asynchronous 参数 Matthew Rocklin
比较前规范化地址 (GH#2066) Tom Augspurger
Worker.scheduler 使用 ConnectionPool Matthew Rocklin
在 str_graph 中避免引用循环 Matthew Rocklin
在 gather 的 while 循环外部拉取数据 (GH#2059) Matthew Rocklin

1.22.0 - 2018-06-14¶

全面修订配置 (GH#1948) Matthew Rocklin
将 get= 关键字替换为 scheduler= (GH#1959) Matthew Rocklin
在 msgpack 中使用 tuples (GH#2000) Matthew Rocklin 和 Marius van Niekerk
统一处理高流量连接 (GH#1970) Matthew Rocklin
在 joblib 连接器中自动 scatter 大型参数 (GH#2020) (GH#2030) Olivier Grisel
将 click Python 3 locales 失败转换为警告 (GH#2001) Matthew Rocklin
依赖 dask 实现的 sizeof (GH#2042) Matthew Rocklin
将废弃的 workers.iloc 替换为 workers.values() (GH#2013) Grant Jenks
引入序列化族 (GH#1912) Matthew Rocklin
添加 PubSub (GH#1999) Matthew Rocklin
为文档添加 Dask 样式表 Matthew Rocklin
避免对部分完成的结果进行重复计算 (GH#1840) Matthew Rocklin
在测试中对 popen 使用 sys.prefix (GH#1954) Matthew Rocklin
在 manifest 中包含 yaml 文件 Matthew Rocklin
使用 self.sync 以使 Client.processing 在异步上下文中工作 (GH#1962) Henry Doupe
修复已关闭客户端上 repr 不正确的问题 (GH#1965) Matthew Rocklin
在 dask-worker 中解析 –death-timeout 关键字 (GH#1967) Matthew Rocklin
在 BatchedSend 中支持 serializers (GH#1964) Matthew Rocklin
使用正常序列化机制序列化已发布的 dataset (GH#1972) Matthew Rocklin
为 LocalCluster 添加安全支持 (GH#1855) Marius van Niekerk
添加 ConnectionPool.remove 方法 (GH#1977) Tony Lorenzo
当 scheduler 关闭时干净地关闭 workers (GH#1981) Matthew Rocklin
在 upload_file 中添加 .pyz 支持 (GH#1781) @bmaisson
将 comm 添加到 packages (GH#1980) Matthew Rocklin
将 dask.set_options 替换为 dask.config.set Matthew Rocklin
排除不包含 .iloc 的 sortedcontainers 版本 (GH#1993) Russ Bubley
在 PyPy 下排除 gc 统计 (GH#1997) Marius van Niekerk
管理 dask 中最近的 config 和 dataframe 更改 (GH#2009) Matthew Rocklin
清理测试中残留的 clients (GH#2012) Matthew Rocklin
在 Client._ensure_connected 期间使用超时 (GH#2011) Martin Durant
避免 joblib 后端中的引用循环 (GH#2014) Matthew Rocklin, also Olivier Grisel
DOC: 修复测试示例 (GH#2017) Tom Augspurger
为 Adaptive 添加 worker_key 参数 (GH#1992) Matthew Rocklin
在字符串化之前，使用任务的真实键设置优先级 (GH#2006) Matthew Rocklin
通过正常通道序列化 worker 异常 (GH#2016) Matthew Rocklin
在进度条中包含异常 (GH#2028) Matthew Rocklin
避免在 All 中记录孤立的 futures (GH#2008) Matthew Rocklin
如果不 spill 到磁盘，则不使用 spill-to-disk 字典 Matthew Rocklin
仅当 key 存在时才避免重复计算 (GH#2036) Matthew Rocklin
在 progress 中使用 client 连接和序列化参数 (GH#2035) Matthew Rocklin
在关闭上下文管理器时重新连接 worker 客户端 (GH#2041) Matthew Rocklin
失去依赖项时避免忘记出错的任务 (GH#2047) Matthew Rocklin
避免 graph_layout 中的冲突 (GH#2050) Matthew Rocklin
在 profile 图中避免递归调用 bokeh 回调 (GH#2048) Matthew Rocklin

1.21.8 - 2018-05-03¶

移除错误的 print 语句 (GH#1957) Matthew Rocklin
只添加一次 reevaluate_occupancy 回调 (GH#1953) Tony Lorenzo

1.21.7 - 2018-05-02¶

doctest 渲染需要换行符 (GH#1917) Loïc Estève
在异步模式下支持 Client._repr_html_ (GH#1909) Matthew Rocklin
为 dask-ssh 命令添加参数 (GH#1910) Irene Rodriguez
净化 get_dataset trace (GH#1888) John Kirkham
修复 queues 无法干净清理的错误 (GH#1922) Matthew Rocklin
在 upload file 中安全删除缓存文件 (GH#1921) Matthew Rocklin
在测试中关闭 tornado IOLoop 时接受 KeyError (GH#1937) Matthew Rocklin
当 gather(…, errors=’skip’) 时，静默 client 和 scheduler (GH#1936) Matthew Rocklin
澄清 couldn’t gather keys 警告 (GH#1942) Kenneth Koski
在 joblib 中支持 submit 关键字 (GH#1947) Matthew Rocklin
在 bokeh server 中避免使用外部资源 (GH#1934) Matthew Rocklin
从 Datasets 中移除 __contains__ (GH#1889) John Kirkham
修复 queue 超时问题 (GH#1950) Matthew Rocklin
将 msgpack-python 替换为 msgpack (GH#1927) Loïc Estève

1.21.6 - 2018-04-06¶

修复数字环境变量配置 (GH#1885) Joseph Atkins-Kurkish
在较旧的 lz4 库中支持 bytearrays (GH#1886) Matthew Rocklin
移除 nanny 中的启动超时 (GH#1852) Matthew Rocklin
不要在同步中记录错误 (GH#1894) Matthew Rocklin
将陈旧锁警告降级到 info 日志级别 (GH#1890) Matthew Rocklin
修复 key 的 UnboundLocalError (GH#1900) John Kirkham
解决 Python 2 中的部署问题 (GH#1905) Matthew Rocklin
在 Client.get 方法中支持重试和优先级 (GH#1902) Matthew Rocklin
如果适用，向任务页面添加额外属性 (GH#1901) Matthew Rocklin
向 as_completed 添加 count 方法 (GH#1897) Matthew Rocklin
将默认超时延长至 10 秒 (GH#1904) Matthew Rocklin

1.21.5 - 2018-03-31¶

将默认允许的 tick 时间增加到 3 秒 (GH#1854) Matthew Rocklin
处理在其他 worker 拥有数据时出错的 worker (GH#1853) Matthew Rocklin
关闭 Nanny 中的 multiprocessing 队列以减少打开的文件描述符 (GH#1862) Matthew Rocklin
将 nanny 启动超时延长至 30 秒，并使其可配置 (GH#1865) Matthew Rocklin
注释掉默认配置文件 (GH#1871) Matthew Rocklin
更新以修复 bokeh 0.12.15 更新错误 (GH#1872) Matthew Rocklin
将事件循环无响应警告降级到 INFO 级别 (GH#1870) Matthew Rocklin
添加 fifo 超时以控制优先级生成 (GH#1828) Matthew Rocklin
向 Client 添加 retire_workers API (GH#1876) Matthew Rocklin
在 Nanny.memory_monitor 中捕获 NoSuchProcess 错误 (GH#1877) Matthew Rocklin
向 nanny 队列通信添加 uid (GH#1880) Matthew Rocklin

1.21.4 - 2018-03-21¶

避免将 bytearrays 传递给 snappy 解压缩 (GH#1831) Matthew Rocklin
在 Adaptive 中指定 IOLoop (GH#1841) Matthew Rocklin
在整个客户端中使用 connect-timeout 配置值 (GH#1839) Matthew Rocklin
在 Client.get 中支持 direct= 关键字参数 (GH#1845) Matthew Rocklin

1.21.3 - 2018-03-08¶

添加 cluster 超类并改进适应性 (GH#1813) Matthew Rocklin
修复 Tornado 5.0 的测试并支持 Python 2 (GH#1818) Matthew Rocklin
修复在依赖项丢失时 recreate_error 中的错误 (GH#1815) Matthew Rocklin
在 Scheduler 中添加 worker 生存时间 (GH#1811) Matthew Rocklin
基于 total_occupancy 调整适应性 (GH#1807) Matthew Rocklin
在 worker_client 中支持调用 compute (GH#1814) Matthew Rocklin
向 profile 图中添加百分比 (GH#1817) Brett Naul
在 dask-ssh 中覆盖远程 Python 的选项 (GH#1812) Sven Kreiss

1.21.2 - 2018-03-05¶

修复在窃取时未检查 idle/saturated 的错误 (GH#1801) Matthew Rocklin
修复在 scheduler 意外关闭时 client 嘈杂的错误 (GH#1806) Matthew Rocklin
在所有地方使用基于字符串的 timedeltas（如 '500 ms'） (GH#1804) Matthew Rocklin
即使被静默，也保留 scheduler 和 worker 中的日志 (GH#1803) Matthew Rocklin
在 Adaptive 中支持 minimum, maximum, wait_count 关键字 (GH#1797) Jacob Tomlinson 和 Matthew Rocklin
支持 LocalCluster 的异步协议，将 start= 替换为 asynchronous= (GH#1798) Matthew Rocklin
当 nanny 等待 scheduler 时，避免重新启动 worker (GH#1793) Matthew Rocklin
在可用时使用 IOStream.read_into() (GH#1477) Antoine Pitrou
将 LocalCluster 日志级别从 CRITICAL 降低到 WARN (GH#1785) Andy Jones
将 futures_of 添加到 API 文档 (GH#1783) John Kirkham
使 client 中的诊断链接可配置 (GH#1810) Matthew Rocklin

1.21.1 - 2018-02-22¶

修复了在仅使用线程的 LocalCluster 中 distributed.joblib 的未捕获异常 (GH#1775) Tom Augspurger
在 info worker 页面中格式化字节 (GH#1752) Matthew Rocklin
为 scheduler/worker –preload 模块添加直通参数。 (GH#1634) Alex Ford
使用新的 LZ4 API (GH#1757) Thrasibule
将 dask.optimize 替换为 dask.optimization (GH#1754) Matthew Rocklin
添加图布局引擎和 bokeh 图 (GH#1756) Matthew Rocklin
仅当 name 存在时才用 –nprocs 扩展 name (GH#1776) Matthew Rocklin
为 stealing PeriodicCallback 指定 IOLoop (GH#1777) Matthew Rocklin
修复了分布式.joblib 没有进程的问题 Tom Augspurger
使用 set.discard 避免 stealing 中的 KeyErrors (GH#1766) Matthew Rocklin
避免在 steal 期间任务已释放时出现 KeyError (GH#1765) Matthew Rocklin
添加 versions 路由以避免在 Client.get_versions 中使用 run (GH#1773) Matthew Rocklin
向 Client 添加 write_scheduler_file (GH#1778) Joe Hamman
如果提供了 tls 信息，则将默认主机设置为 tls:// (GH#1780) Matthew Rocklin

1.21.0 - 2018-02-09¶

重构 scheduler 以使用 TaskState 对象而不是字典 (GH#1594) Antoine Pitrou
在 workers 页面绘制 CPU 占用总百分比 (GH#1624) Matthew Rocklin
在 Throttled GC 中使用线程 CPU 时间 (GH#1625) Antoine Pitrou
修复 memory_limit=None 的错误 (GH#1639) Matthew Rocklin
将 futures_of 添加到顶级 api (GH#1646) Matthew Rocklin
在 Client 中序列化大数据时发出警告 (GH#1636) Matthew Rocklin
修复删除锁文件时 Windows 的间歇性故障 (GH#1652) Antoine Pitrou
添加 GC 行为不良的诊断和日志记录 (GH#1635) Antoine Pitrou
添加客户端-调度器心跳 (GH#1657) Matthew Rocklin
在 retire_workers 中返回 worker info 字典 (GH#1659) Matthew Rocklin
确保 dumps_function 适用于不可哈希的函数 (GH#1662) Matthew Rocklin
从 client-name 配置变量收集 client name ids (GH#1664) Matthew Rocklin
允许在 dask-worker 中同时使用 –name 和 –nprocs (GH#1665) Matthew Rocklin
添加对分组自适应伸缩和自适应行为覆盖的支持 (GH#1632) Alex Ford
在 worker 和 client 之间共享 scheduler RPC (GH#1673) Matthew Rocklin
允许 retries= 在 ClientExecutor 中使用 (GH#1672) @rqx
改进 get_client 和 dask.compute 示例的文档 (GH#1638) Scott Sievert
在 worker 中支持 DASK_SCHEDULER_ADDRESS 环境变量 (如果存在) (GH#1680) Matthew Rocklin
在 retries 中支持元组键 (GH#1681) Matthew Rocklin
在 bokeh dashboard 中使用相对链接 (GH#1682) Matthew Rocklin
使消息日志长度可配置，默认为零 (GH#1691) Matthew Rocklin
弃用 Client.shutdown (GH#1699) Matthew Rocklin
在配置文档中添加安装 pyyaml 的警告 (GH#1701) Cornelius Riemenschneider
处理 distributed.joblib 中的嵌套并行 (GH#1705) Tom Augspurger
重新启动进程时，不要等待 Worker.executor 干净关闭 (GH#1708) Matthew Rocklin
添加对用户定义优先级的支持 (GH#1651) Matthew Rocklin
捕获并记录 worker 锁文件附近的 OSErrors (GH#1714) Matthew Rocklin
移除 worker 优先级。与 dask.order 的变更一致 (GH#1730) Matthew Rocklin
在 Bokeh dashboard 中使用进程测量的内存而不是 nbytes (GH#1737) Matthew Rocklin
启用 Locks 的序列化 (GH#1738) Matthew Rocklin
支持 Tornado 5 beta (GH#1735) Matthew Rocklin
在测试后清理 remote_magic client 缓存 (GH#1743) Min RK
允许将服务端口指定为 (host, port) (GH#1744) Bruce Merry

1.20.2 - 2017-12-07¶

在每次测试后清除 deque handlers (GH#1586) Antoine Pitrou
处理 FutureState.set_error 中的反序列化 (GH#1592) Matthew Rocklin
向测试添加进程泄露检查器 (GH#1596) Antoine Pitrou
自定义子进程的进程标题 (GH#1590) Antoine Pitrou
将 linting 设为单独的 CI job (GH#1599) Antoine Pitrou
修复 get_client() 没有全局客户端的错误 (GH#1595) Daniel Li
移除 Worker.host_health，更正 WorkerTable 指标 (GH#1600) Matthew Rocklin
当调用 retire_workers 时，不要将任务标记为可疑。解决了 (GH#1607) Russ Bubley
不要在 workers_to_close 中包含正在处理的 workers (GH#1609) Russ Bubley
不允许 Adaptive 同时伸缩和缩容 (GH#1608) Russ Bubley
解析 –memory-limit 中的 bytestrings (GH#1615) Matthew Rocklin
如果存在，使用环境变量作为 scheduler 地址 (GH#1610) Matthew Rocklin
修复 logger.warn 的弃用警告 (GH#1616) Brett Naul

1.20.1 - 2017-11-26¶

为 ssl-crippled 环境将 import ssl 语句包装在 try-except 块中，(GH#1570) Xander Johnson
在 Nanny 中支持零 memory-limit (GH#1571) Matthew Rocklin
避免 PeriodicCallback 双重启动 (GH#1573) Matthew Rocklin
添加一次性工作空间设施 (GH#1543) Antoine Pitrou
在 task_stream 图中使用 format_time (GH#1575) Matthew Rocklin
避免在 compute 中延迟 finalize 调用 (GH#1577) Matthew Rocklin
关于 secede 的文档修复 (GH#1583) Scott Sievert
跟踪测试泄露时添加 tracemalloc 选项 (GH#1585) Antoine Pitrou
向 Bokeh server 添加 JSON 路由 (GH#1584) Matthew Rocklin
在 Variables 和 Queues 中优雅处理异常 (GH#1580) Matthew Rocklin

1.20.0 - 2017-11-17¶

移除 pandas.msgpack 的使用 (GH#1473) Matthew Rocklin
添加获取/设置 scheduler 元数据的方法 Matthew Rocklin
添加分布式锁 Matthew Rocklin
为 worker 任务添加重新调度异常 Matthew Rocklin
修复 bytearrays 的 nbytes() Matthew Rocklin
捕获 scheduler 和 worker 日志 Matthew Rocklin
在高 worker 内存使用时，数据逐出后进行垃圾回收 (GH#1488) Olivier Grisel
向 bokeh server 添加 scheduler HTML 路由 (GH#1478) (GH#1514) Matthew Rocklin
添加 pytest 插件用于测试资源泄露 (GH#1499) Antoine Pitrou
改进 scheduler 状态的文档 (GH#1498) Antoine Pitrou
更正 ThrottledGC 中的 warn_if_longer 超时 (GH#1496) Fabian Keller
在 as_completed 中捕获已取消 future 的竞争条件 (GH#1507) Matthew Rocklin
事务性工作窃取 (GH#1489) (GH#1528) Matthew Rocklin
在 PyPy 中避免 forkserver (GH#1509) Matthew Rocklin
添加对 get/set datasets 的字典访问 (GH#1508) Mike DePalatis
支持 Tornado 5 (GH#1509) (GH#1512) (GH#1518) (GH#1534) Antoine Pitrou
在 Dask 中移动 thread_state (GH#1523) Jim Crist
使用新的 Dask collections 接口 (GH#1513) Matthew Rocklin
向 dask-mpi 添加 nanny 标志 Matthew Rocklin
移除基于 JSON 的 HTTP server Matthew Rocklin
避免在 repr/str 中进行 I/O 操作 (GH#1536) Matthew Rocklin
修复 MPI4Py 项目的 URL (GH#1546) Ian Hopkinson
允许对失败的任务进行自动重试 (GH#1524) Antoine Pitrou
清理和加速测试 (GH#1548) (GH#1549) (GH#1552) (GH#1553) (GH#1560) (GH#1564) Antoine Pitrou
将 HDFS 功能移至 hdfs3 库 (GH#1561) Jim Crist
修复在使用事件页面但没有事件时的错误 (GH#1562) @rbubley
改进元组中任务的诊断命名 (GH#1566) Kelvyn Yang

1.19.3 - 2017-10-16¶

处理 profile.identity 中的 None 情况 (GH#1456)
Asyncio 重写 (GH#1458)
添加 rejoin 函数作为 secede 的搭档 (GH#1462)
嵌套 compute (GH#1465)
比较 Bokeh 版本时使用 LooseVersion (GH#1470)

1.19.2 - 2017-10-06¶

as_completed 不会阻塞已取消的 futures (GH#1436)
在取消时通知等待的线程/协程 (GH#1438)
默认设置 Future(inform=True) (GH#1437)
将 Scheduler.transition_story 重命名为 story (GH#1445)
Future 默认使用 default client (GH#1449)
向 Client.call_stack 添加 keys= 关键字 (GH#1446)
向 worker 添加 get_current_task (GH#1444)
确保 Client 在 ioloop 启动前保持异步 (GH#1452)
移除 bokeh 图中“点击查看 worker 页面” (GH#1453)
添加 Client.current() (GH#1450)
干净处理重新启动超时 (GH#1442)

1.19.1 - 2017-09-25¶

修复 TaskStream 图的工具问题 (GH#1425)
将 profile 模块移到顶级 (GH#1423)

1.19.0 - 2017-09-24¶

避免在消息日志中存储消息 (GH#1361)
fileConfig 不禁用现有 loggers (GH#1380)
将 upload_file 磁盘 I/O 卸载到单独线程 (GH#1383)
添加缺失的 SSLContext (GH#1385)
从 sys._curent_frames 收集 worker 线程信息 (GH#1387)
添加 nanny 超时 (GH#1395)
如果内存使用率超过 95%，则重新启动 worker (GH#1397)
使用 psutil 跟踪 workers 内存使用情况 (GH#1398)
在 workers 中跟踪 scheduler 延迟时间 (GH#1400)
向 profile 图添加时间滑块 (GH#1403)
将 memory-limit 关键字更改为指代最大字节数 (GH#1405)
添加 cancel(force=) 关键字 (GH#1408)

1.18.2 - 2017-09-02¶

在 as_completed 中静默通过已取消的 futures (GH#1366)
修复 Python 2 中的 unicode 键错误 (GH#1370)
支持数字 worker 名称
添加 dask-mpi 可执行文件 (GH#1367)

1.18.1 - 2017-08-25¶

在 fire-and-forget 工作负载中清理遗忘的键 (GH#1250)
处理缺失的扩展 (GH#1263)
允许在 persisted 集合上进行 recreate_exception (GH#1253)
向阻塞的 client 方法添加 asynchronous= 关键字 (GH#1272)
将 bokeh 图限制为水平平移 (GH#1274)
将 client.shutdown 重命名为 client.close (GH#1275)
避免阻塞事件循环 (GH#1270)
避免 Client.get_versions 的 cloudpickle 错误 (GH#1279)
对 Tornado IOStream.write futures 进行 yield (GH#1289)
如果在同步语句中，则假定异步行为 (GH#1284)
避免关闭时的错误消息 (GH#1297), (GH#1296) (GH#1318) (GH#1319)
向 get_client 添加 timeout= 关键字 (GH#1290)
重新启动时遵守超时 (GH#1304)
清理测试中的文件描述符和内存泄露 (GH#1317)
弃用 Executor (GH#1302)
向 ThreadPoolExecutor.shutdown 添加超时 (GH#1330)
清理 AsyncProcess 处理 (GH#1324)
允许 Python 2 scheduler 中的 unicode 键 (GH#1328)
避免泄露被窃取的数据 (GH#1326)
改进 nanny 启动失败时的错误处理 (GH#1337), (GH#1331)
使 Adaptive 更灵活
在 worker 中支持 --contact-address 和 --listen-address (GH#1278)
移除旧的 dworker, dscheduler 可执行文件 (GH#1355)
如果 nanny 进程失败，则退出 workers (GH#1345)
自动 pep8 和 flake (GH#1353)

1.18.0 - 2017-07-08¶

多线程安全 (GH#1191), (GH#1228), (GH#1229)
改进字节计数处理 (GH#1198) (GH#1224)
添加 get_client, secede 函数，重构 worker-client 关系 (GH#1201)
允许使用 logging.dictConfig() 进行日志配置 (GH#1206) (GH#1211)
将序列化和反序列化卸载到单独线程 (GH#1218)
支持 fire-and-forget 任务 (GH#1221)
支持 bytestrings 作为键（用于 Julia） (GH#1234)
解决测试边界情况 (GH#1236), (GH#1237), (GH#1240), (GH#1241), (GH#1242), (GH#1244)
在更多情况下自动使用 scatter/gather(direct=True) (GH#1239)

1.17.1 - 2017-06-14¶

从 travis-ci 移除 Python 3.4 测试 (GH#1157)
移除 ZMQ 支持 (GH#1160)
修复 Python 2.7 中的 memoryview nbytes 问题 (GH#1165)
重新启用 counters (GH#1168)
改进 scheduler.restart (GH#1175)

1.17.0 - 2017-06-09¶

在 scheduler 停机期间定期重新评估 worker 占用率 (GH#1038) (GH#1101)
添加 AioClient asyncio 兼容客户端 API (GH#1029) (GH#1092) (GH#1099)
更新 Keras 序列化器 (GH#1067)
支持 TLS/SSL 连接以增强安全性 (GH#866) (GH#1034)
当传递 --local-directory 时始终创建新的 worker 目录 (GH#1079)
使用 joblib 前端时支持预散布数据 (GH#1022)
使 workers 对 sizeof 函数的故障 (GH#1108) 和写入磁盘 (GH#1096) 更健壮
向 as_completed 添加 is_empty 和 update 方法 (GH#1113)
移除 _get 协程并替换为 get(..., sync=False) (GH#1109)
改进与 async/await 语法的 API 兼容性 (GH#1115) (GH#1124)
添加分布式队列 (GH#1117) 和共享变量 (GH#1128) 以启用客户端间协调
支持客户端到 worker 的直接散布和收集 (GH#1130) 以及散布数据时的性能增强
bokeh web dashboard 的样式改进 (GH#1126) (GH#1141) 并移除了外部 bokeh 进程
Future 和 Client 对象的 HTML 表示 (GH#1136)
在 client.compute 中支持嵌套集合 (GH#1144)
在异步模式下使用正常的 client API (GH#1152)
移除旧的 distributed.collections 子模块 (GH#1153)

1.16.3 - 2017-05-05¶

将 bokeh 模板文件添加到 MANIFEST (GH#1063)
不要将 worker_client.get 设置为默认 get (GH#1061)
清理 Client().shutdown() 时的日志记录 (GH#1055)

1.16.2 - 2017-05-03¶

支持 async with Client 语法 (GH#1053)
使用内部 bokeh server 作为默认诊断 server (GH#1047)
改进 bokeh 图在空时的样式 (GH#1046) (GH#1037)
支持稀疏数组的高效序列化 (GH#1040)
在 worker 中优先处理新到达的工作 (GH#1035)
使用 joblib 后端预散布数据 (GH#1022)
使 client.restart 对 worker 故障更健壮 (GH#1018)
支持在 dask-worker 或 dask-scheduler 进程中预加载模块或脚本 (GH#1016)
在命令行接口中指定网络接口 (GH#1007)
Client.scatter 支持单个元素 (GH#1003)
对所有通过 comms 的 memoryviews 使用 blosc 压缩 (GH#998)
添加 concurrent.futures 兼容的 Executor (GH#997)
添加 as_completed.batches 方法并返回结果 (GH#994) (GH#971)
允许 worker_clients 选择性地留在线程池中 (GH#993)
添加 bytes-stored 和 tasks-processing 诊断直方图 (GH#990)
Run 支持非 msgpack 可序列化的结果 (GH#965)

1.16.1 - 2017-03-22¶

在 LocalCluster 中使用 inproc 传输 (GH#919)
添加结构化和可查询的集群事件日志 (GH#922)
使用连接池进行 worker 间通信 (GH#935)
在关闭时健壮地关闭 spawned worker 进程 (GH#928)
Worker 死亡超时 (GH#940)
在进度条中更可视化地报告异常 (GH#941)
将磁盘和序列化事件渲染到任务流可视化中 (GH#943)
支持 async for / await 协议 (GH#952)
确保在 worker 进程中重新播种随机生成器 (GH#953)
将源代码作为 zip 模块上传 (GH#886)
在本地进程中重放远程异常 (GH#894)

1.16.0 - 2017-02-24¶

客户端提交的先来先服务优先级 (GH#840)
可以指定 Bokeh 内部端口 (GH#850)
允许被窃取的任务从任一 worker 返回 (GH#853), (GH#875)
在执行期间添加 worker 资源限制 (GH#857)
通过 Channels 发送小数据 (GH#858)
更好地估计 SciPy 稀疏矩阵内存成本 (GH#863)
避免窃取长时间运行的任务 (GH#873)
保持 NumPy 数组的 fortran 顺序 (GH#876)
向 dask-scheduler 添加 --scheduler-file 关键字 (GH#877)
添加 Keras 模型的序列化器 (GH#878)
支持从 zip 文件上传模块 (GH#886)
改进 Bokeh dashboards 的标题 (GH#895)

1.15.2 - 2017-01-27¶

修复了具有大型 dtypes 或形状的数组被不正确压缩的错误 (GH#830 GH#832 GH#833)
扩展 as_completed 以在迭代期间接受新的 futures (GH#829)
向 dask-ssh 启动工具添加 --nohost 关键字 (GH#827)
支持 scheduler 关闭远程 workers，对自适应集群很有用 (:pr: 811 GH#816 GH#821)
添加 Client.run_on_scheduler 方法用于在 scheduler 上运行调试函数 (GH#808)

1.15.1 - 2017-01-11¶

与 Bokeh 0.12.4 兼容 (GH#803)
如果无益，避免压缩数组 (GH#777)
优化 worker 间数据传输 (GH#770) (GH#790)
向 worker 添加 –local-directory 关键字 (GH#788)
使 workers 能够携带自己的数据到达集群。对于 worker 离开后返回很有用 (GH#785)
解决使用 local_client 时的线程安全错误 (GH#802)
解决 worker 中的调度问题 (GH#804)

1.15.0 - 2017-01-02¶

Worker 主要重构 (GH#704)
Scheduler 主要重构 (GH#717) (GH#722) (GH#724) (GH#742) (GH#743
向 Client.get_versions 添加 check (默认为 False) 选项，以便在客户端、调度器和 worker 版本不匹配时引发错误 (GH#664)
Future.add_done_callback 在单独线程中执行 (GH#656)
清理 numpy 序列化 (GH#670)
支持 Tornado v4.5 协程的序列化 (GH#673)
在 Python 2 中使用 CPickle 而非 Pickle (GH#684)
在 Python 3 的 Unix 上使用 Forkserver 而非 Fork (GH#687)
支持抽象资源用于每任务约束 (GH#694) (GH#720) (GH#737)
添加 TCP 超时 (GH#697)
向 workers 添加嵌入式 Bokeh server (GH#709) (GH#713) (GH#738)
向 scheduler 添加嵌入式 Bokeh server (GH#724) (GH#736) (GH#738)
为 Windows 添加更精确的计时器 (GH#713)
添加 Versioneer (GH#715)
支持客户端间通道 (GH#729) (GH#749)
Scheduler 性能改进 (GH#740) (GH#760)
改进负载平衡和工作窃取 (GH#747) (GH#754) (GH#757)
在 workers 上运行 Tornado 协程
避免对 Pandas 数据帧进行缓慢的 sizeof 调用 (GH#758)

1.14.3 - 2016-11-13¶

移除隐式依赖于 nodejs 的自定义 Bokeh 导出工具 (GH#655)
清理 scheduler 日志记录 (GH#657)

1.14.2 - 2016-11-11¶

在自定义序列化中支持更多 numpy dtypes, (GH#627), (GH#630), (GH#636)
更新 Bokeh 图 (GH#628)
改进溢写到磁盘的启发式算法 (GH#633)
向任务流图添加导出工具
对于非常多的帧，反转 loads 中的帧顺序 (GH#651)
等待写入时添加超时 (GH#653)

1.14.0 - 2016-11-03¶

添加 Client.get_versions() 函数，返回 scheduler、workers 和 client 的软件和包信息 (GH#595)
改进 Windows 支持 (GH#577) (GH#590) (GH#583) (GH#597)
显式清理 rpc 对象 (GH#584)
根据已知 futures 规范化集合 (GH#587)
向 map 添加 key= 关键字以指定键名 (GH#589)
自定义数据序列化 (GH#606)
重构 web 界面 (GH#608) (GH#615) (GH#621)
允许用户在 Worker 中提供 Executor (GH#609)
通过 LocalCluster 传递 Worker kwargs

1.13.3 - 2016-10-15¶

Schedulers 可以干净地让 workers 退役
添加 Future.add_done_callback 用于 concurrent.futures 兼容性
更新 web 界面以与 Bokeh 0.12.3 保持一致
显式关闭 streams，避免竞争条件，并在 Windows 上支持更健壮的重新启动。
改进 dask.dataframe 的 shuffled 性能
添加自适应分配集群管理器
减少处理大量 workers 时的管理开销
dask-ssh --log-directory . 不再出错
scheduler 的微性能调优

1.13.2¶

将 dask_worker 恢复为默认使用 fork 而非 subprocess
Scatter 保留类型信息
Bokeh 总是使用 subprocess 而非 spawn

1.13.1¶

修复 dask_worker 可执行文件的关键 Windows 错误

1.13.0¶

将 Executor 重命名为 Client (GH#492)
向 dask-worker 添加 --memory-limit 选项，在内存不足时启用溢写到磁盘的行为 (GH#485)
向 dask-worker 和 --dask-scheduler 添加 --pid-file 选项 (GH#496)
添加 upload_environment 函数以分发 conda 环境。这是实验性的，未文档化，并且可能在不通知的情况下更改。 (GH#494)
向 Client.compute 和 Client.persist 添加 workers= 关键字参数，支持使用 Dask 集合进行位置限制的工作负载 (GH#484)
添加 upload_environment 函数以分发 conda 环境。这是实验性的，未文档化，并且可能在不通知的情况下更改。 (GH#494)
- 向 client.run 函数添加可选的 dask_worker= 关键字，该关键字提供 worker 或 nanny 对象
- 向 Client.run 添加 nanny=False 关键字，允许在 nannies 以及普通 workers 上执行任意函数

1.12.2¶

此版本添加了一些新功能并移除了死代码

在 scheduler 上发布和共享数据集供多个客户端使用 (GH#453)。参见发布数据集。
从其他任务启动任务 (实验性) (GH#471)。参见从任务启动任务。
移除未使用代码，特别是 Center 对象和旧的客户端函数 (GH#478)
Executor() 和 LocalCluster() 现在在没有 Bokeh 的情况下也能健壮运行 (GH#481)
从依赖项中移除了 s3fs 和 boto3。这些已移至 Dask 中。

1.12.1¶

此版本主要是错误修复版本，修复了上次大型重构引入的问题。

修复先前重构引入的问题
- 确保客户端之间的幂等性
- 对永久丢失分散数据的场景进行压力测试
IPython 修复
- 为 Executor 添加 start_ipython_scheduler 方法
- 为 worker 添加 %remote magic 命令
- 清理代码和测试
连接池以保持复用并减少打开文件句柄的数量
重新实现工作窃取算法
支持取消元组键，例如在 dask.arrays 中出现的元组键
开始针对 worker 中可能多余的数据进行同步
改进 bokeh 图表的样式
- 添加跟踪字节数的内存图表
- 使进度条更紧凑并对齐颜色
- 添加 workers/ 页面，包含 worker 表、栈/处理图和内存图
添加此版本说明文档

1.12.0¶

此版本主要是一个重构版本。内部结构发生了显著变化，但新功能不多。

对调度器进行重大重构，以使用 transitions 系统
调整协议以遍历复杂消息，寻找大型字节串
添加 dask-submit 和 dask-remote
重构 HDFS 写入以与 dask 库中的更改保持一致
当连接断开或调度器失败时，Executor 会重新连接到调度器
支持 sklearn.external.joblib 和普通的 joblib

Spans

Communications

Dask.distributed 2025.5.0 文档

更新日志

目录

更新日志¶

2023.9.3¶

重点改进¶

减少合并和混洗图优化期间的内存消耗¶

安静地关闭 JupyterLab¶

2023.9.2¶

重点改进¶

减少点对点 (P2P) 混洗的内存占用¶

改进的插件 API¶

针对配置选项的重命名发出弃用警告¶

2023.9.1¶

增强功能¶

弃用¶

维护¶

2023.9.0¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.8.1¶

新功能¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.8.0¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.7.1¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.7.0¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.6.1¶

增强功能¶

错误修复¶

维护¶

2023.6.0¶

增强功能¶

错误修复¶

维护¶

2023.5.1¶

增强功能¶

错误修复¶

维护¶

2023.5.0¶

增强功能¶

错误修复¶

维护¶

2023.4.1¶

增强功能¶

错误修复¶

维护¶

2023.4.0¶

增强功能¶

错误修复¶

维护¶

2023.3.2.1¶

错误修复¶

2023.3.2¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.3.1¶

增强功能¶

错误修复¶

文档¶

维护¶

2023.3.0¶