跨多个参与提供者并发训练请求者图

ChatGPT中文站

? 发布说明 ?

我们很高兴地宣布Ravenverse的下一个版本,该版本支持跨多个参与提供者同时训练请求者图。

请求方

1. 现在,基于深度学习图形的复杂度、运算、权重大小和其他一些参数,我们的后端自动确定并设置计算图所需的参与者数量。请求者不能再在ravop.execute()函数中手动设置此数值。

2. 在Ravenverse GitHub存储库中,我们根据GPT-2模型进行了微调,并添加了示例脚本。请求者可以先生成一个“。pt”(pytorch)模型文件,然后在Ravenverse中进行分布式训练。例如,我们添加了一个诗歌生成器GPT,可以训练它根据不同的情感(如恐惧、期待、神秘、恐怖等)写诗。此外,还有一个使用GPT的数字排序应用程序,它接受输入向量并简单地将其排序。

3. 为子图形成实施了新颖的优化技术。图编译时间显著加速。

提供方

4.改进的乒乓刷新速率,更快地将子图分配给提供者。

5. 具有减小有效载荷大小以更高效地传输结果的新子图计算机制。观察到巨大加速。

6. 在断开连接情况下,备份提供商支持维护图表进度。

7. 基于图形复杂性修改的GPU基准测试度量。

我们的图书馆:

Ravpy: https://pypi.org/project/ravpy/ Ravop: https://pypi.org/project/ravop/ RavDL: https://pypi.org/project/ravdl/

您可以在各自的存储库“Readme”文件中找到每个库的文档。请尝试使用它们,并让我们知道是否遇到任何问题。

乌鸦协议 GitHub:https://github.com/ravenprotocol

享受这个新版本!❤️

— 乌鸦协议团队

2023-10-20 16:52:52 AI中文站翻译自原文