对话 Gensyn 创始人：利用去中心化网络最大化利用闲置计算资源，助力机器学习

区块链为打破需要单一决策者或仲裁者的需要提供了一种方式，因为它能够实现大群体之间的共识。

视频链接：《Ben Fielding & Harry Grieve: Gensyn – The Deep Learning Compute Protocol》

主持人：Dr. Friederike Ernst，Epicenter 播客

主讲人：Ben Fielding & Harry Grieve，Gensyn 联合创始人

整理 & 编译：Sunny，深潮 TechFlow

区块链 AI 计算协议 Gensyn 于 6 月 12 日宣布完成了由 a16z 领投的 4,300 万美元 A 轮融资。

Gensyn 的使命是为用户提供与拥有私有计算集群相等的计算规模访问权限，并且至关重要的是实现公平的访问，避免受到任何中央实体的控制或关闭。同时，Gensyn 是一种专注于训练机器学习模型的去中心化计算协议。

回顾去年底 Gensyn 创始人 Harry 和 Ben 与 Epicenter 的播客可以发现其深入探讨计算资源调查，包括 AWS、本地基础设施和云基础设施，以了解如何优化和利用这些资源来支持 AI 应用的发展。

同时，他们也详细探讨 Gensyn 的设计理念、目标和市场定位，以及在设计过程中所面临的各种约束、假设和执行策略。

播客中介绍 Gensyn 链下网络中的四个主要角色，探索 Gensyn 链上网络的特点，以及 Gensyn 代币和治理的重要性。

此外，Ben 和 Harry 也分享了一些有趣的 AI 科普，让大家更深入地了解人工智能的基本原理和应用。

区块链作为去中心化 AI 基础设施的信任层

主持人询问了 Ben 和 Harry 为什么将他们在 AI 和深度学习的丰富经验与区块链结合在一起？

Ben 表示，他们的决定并不是一蹴而就的，而是经过一段相对长的时间。Gensyn 的目标是建立大规模的 AI 基础设施，在研究如何实现最大规模的扩展性时，他们意识到需要一个无需信任层。

他们需要能够整合计算能力，而不依赖于集中式的新供应商接入，否则就会遇到行政扩张的限制。为了解决这个问题，他们开始探索可验证计算研究，但他们发现这始终需要一个被信任的第三方或法官来检查计算。

这个限制导致他们走向了区块链。区块链为打破需要单一决策者或仲裁者的需要提供了一种方式，因为它能够实现大群体之间的共识。

Harry 也分享了他的理念，他和 Ben 强烈地支持自由言论，对审查制度感到担忧。

在他们转向区块链之前，他们正在研究联邦学习，这是一个你在分布式数据源上训练多个模型，然后将它们组合在一起创建一个可以从所有数据源学习的元模型的深度学习领域。他们与银行合作进行这种方法。然而，他们很快就意识到，更大的问题是获取可以训练这些模型的计算资源或处理器。

为了最大化整合计算资源，他们需要一个去中心化的协调方式，这就是区块链的用武之地。

市场计算资源调查：AWS，本地基础设施和云基础设施

Harry 解释了运行 AI 模型的不同计算资源选择，取决于模型规模。

学生可能会使用 AWS 或本地机器，初创公司可能会选择按需的 AWS 或预定的更便宜的选项。

但对于大规模的 GPU 需求，AWS 可能受到成本和可扩展性的限制，通常会选择建立内部基础设施。

研究显示，许多组织正努力扩大规模，有些甚至选择购买并自行管理 GPU。总的来说，购买 GPU 长期看来比在 AWS 运行更划算。

机器学习计算资源的选择包括云计算、本地运行 AI 模型，或建立自己的计算集群。Gensyn 的目标是提供等同于拥有自有集群的计算规模的访问权限，而且关键是要实现公平的访问，这不能被任何中央实体控制或关闭。

表格一：目前市场上所有的计算资源选择

对 Gensyn 设计理念、目标和市场定位的探讨

主持人问到 Gensyn 与以前的区块链计算项目，比如 Golem Network，有什么不同。

Harry 解释说，Gensyn 的设计理念主要沿着两个轴线进行考虑：

1. 协议的精细程度：与 Golem 这样的通用计算协议不同，Gensyn 是一种专注于训练机器学习模型的精细协议。
2. 验证的可扩展性：早期的项目通常依赖于声誉或者较不容忍拜占庭故障的复制方式，这对于机器学习的结果并没有足够的信心。Gensyn 的目标是利用加密世界中的计算协议的学习经验，并将其特别应用于机器学习，以优化速度和成本，同时确保满意的验证水平。

Harry 补充说，当考虑网络必须具备的性质时，它需要针对机器学习工程师和研究人员。它需要有验证部分，但关键是在允许任何人参与的方面，它需要既能抵抗审查，又对硬件保持中立。

设计过程中的约束，假设和执行

在 Gensyn 的平台设计过程中，Ben 强调了对系统约束和假设的重视。他们的目标是创造一个能够将整个世界转化为 AI 超级计算机的网络，为此，他们需要在产品假设、研究假设和技术假设之间寻找平衡。

对于为什么将 Gensyn 建设为自己的第一层区块链，他们的理由是为了在共识机制等关键技术领域保持更大的灵活性和决策自由。他们希望能够未来证明他们的协议，不想在项目的早期阶段就施加不必要的限制。此外，他们相信在未来，各个链条将能够通过一种广泛接受的信息协议进行互动，因此他们的决定也符合这一愿景。

图表二：产品假设、研究假设和技术假设，限制和执行

Gensyn 链下网络中的四个主要角色

在这次 Gensyn 经济讨论中，介绍了四个主要角色：提交者，工作者，验证者和举报者。提交者可以向 Gensyn 网络提交各种问题，包括生成特定图像或开发可以驾驶汽车的 AI 模型等。

提交者 （Submitter）提交任务

Harry 解释了如何使用 Gensyn 来训练模型。用户首先定义期望的结果，例如根据文本提示生成图像，然后构建一个模型，该模型以文本提示为输入并生成相应的图像。训练数据对于模型的学习和改进至关重要。准备好模型架构和训练数据后，用户会将他们与诸如学习率计划和训练持续时间等超参数一起提交给 Gensyn 网络。这个训练过程的结果就是已训练的模型，用户可以托管并使用该模型。

当被问及如何选择未经训练的模型时，Harry 提出了两种方法。

• 第一种是基于当前流行的基础模型概念，其中大公司如 OpenAI 或 Midjourney 会构建基础模型，然后用户可以对该基础模型进行特定数据训练。
• 第二种选择是从零开始构建模型，与基础模型方法不同。

在 Gensyn 中，开发者可以使用类似于进化优化的方法提交各种架构，以便进行训练和测试，并不断优化以构建期望的模型。

Ben 从他们的角度提供了对基础模型的深入观点，他们认为这是该领域的未来。

Gensyn 作为一个协议，我们希望它能被实现进化优化技术或类似方法的 DApps 所使用。这些 DApps 可以将个别的架构提交给 Gensyn 协议进行训练和测试，通过迭代精炼来构建理想的模型。

Gensyn 的目标是提供纯粹的机器学习计算基础，鼓励围绕它开发生态系统。

虽然预训练模型可能会引入偏见，因为组织可能使用专有数据集或隐瞒训练过程的信息，但 Gensyn 的解决方案是开放训练过程，而不是消除黑盒子或依赖全确定性。通过集体设计和训练基础模型，我们可以创建全球模型，而不会受到任何特定公司数据集的偏见。

工作者（Solver)

对于任务分配，一个任务对应一个服务器。但一个模型可能会被拆分成多个任务。

大型语言模型在设计时会充分利用当时可用的最大硬件容量。这个概念可以扩展到网络，考虑设备的异质性。

对于特定的任务，如验证者或工作者，可以选择从 Mempool 中接手。从那些表示愿意接手该任务的人中，会随机选择一名工作者。如果模型和数据不能适应特定的设备，但设备的所有者声称可以，可能会因系统拥塞导致罚款。

一个任务是否可以在一台机器上运行，是由一个可以验证的随机函数决定的，该函数从可用的工作者子集中选择一个工作者。

关于验证工作者能力的问题，如果工作者没有声称的计算能力，他们将无法完成计算任务，这将在提交证明时被检测到。

但是，任务的大小是一个问题。如果任务设置得过大，可能会导致系统问题，比如拒绝服务攻击（DoS），其中工作者声称要完成任务，但永远不完成，浪费时间和资源。

因此，任务大小的决定至关重要，需要考虑到并行化和优化任务结构等因素。研究人员正在积极研究和探索基于各种约束条件的最佳方法。

一旦启动测试网，还将考虑实际情况，观察系统在现实世界中的运行情况。

定义完美的任务大小是具有挑战性的，Gensyn 已经准备好根据现实世界的反馈和经验进行调整和改进。

在链上进行大规模计算的验证机制和检查点 (Checkpoints)

Harry 和 Ben 表明验证计算的正确性是一个重要的挑战，因为它不像哈希函数那样具有确定性，所以无法简单地通过哈希验证来确定是否进行了计算。为了解决这个问题，理想方案是利用对整个计算过程进行零知识证明的应用。目前，Gensyn 还在努力实现这种能力。

目前，Gensyn 介绍了使用检查点的混合方法，通过概率机制和检查点来验证机器学习计算。通过结合随机审计方案和梯度空间路径，可以建立一个相对稳健的检查。此外，还引入了零知识证明来增强验证过程，并在模型的全局损失上进行了应用。

验证者（Verifier）和举报者（Whistleblower）

主持人和 Harry 讨论了在验证过程中涉及的两个额外角色：验证者（Verifier）和举报者（whistleblower）。他们详细说明了这两个角色的具体职责和作用。

验证者的任务是确保检查点的正确性，而举报者的任务是确保验证者履行其职责的准确性。举报者解决了验证者的困境问题，确保验证者的工作是正确的和可信任的。验证者故意在工作中引入错误，举报者的角色是识别和揭示这些错误，从而确保验证过程的完整性。

验证者故意引入错误以测试举报者的警觉性，并确保系统的有效性。如果工作有错误，验证者会检测到错误并通知举报者。错误随后记录在区块链上，并在链上进行验证。定期地，并且以与系统安全性相关的速率，验证者有意引入错误以保持举报者的参与度。如果举报者发现问题，他们会参与到一个称为「pinpoint protocol」的游戏中，通过它他们可以将计算缩小到神经网络的特定区域的默克尔树中的一个具体点。然后，这些信息会提交给链上进行仲裁。这是验证者和举报者过程的简化版本，他们将在种子轮结束后进行了进一步的开发和研究。

Gensyn 链上网络

Ben 和 Harry 详细讨论了 Gensyn 协调协议在链上的工作方式和实施细节。他们首先提到了构建网络区块的过程，其中涉及到质押代币作为该质押网络的一部分。然后，他们解释了这些组成部分与 Gensyn 协议的关系。

Ben 解释说，Gensyn 协议在很大程度上是一个基于 vanilla substrate 波卡网络协议。他们采用了基于权益证明的 Grandpa Babe 共识机制，验证者以通常的方式操作。然而，之前介绍的所有机器学习组件都是在链下进行的，涉及到各种链下参与者执行各自的任务。

这些参与者通过质押来获得激励，可以通过 Substrate 中的质押板块或通过在智能合约中提交特定数量的代币进行质押。当他们的工作最终得到验证时，他们将获得奖励。

Ben 和 Harry 提到的挑战在于确保质押金额、可能的减持金额和奖励金额之间的平衡，以防止出现懒惰或恶意行为的激励。

此外，他们还讨论了增加举报者会带来的复杂性，但由于规模化计算的需求，他们的存在对于确保验证者的诚实性至关重要。虽然他们不断探索通过零知识证明技术可能消除举报者的方法。他们表示，目前的系统与 lite paper 中描述的相符，但他们正在积极努力简化每个方面。

主持人问及他们是否有某种数据可用性的解决方案，Henry 解释说他们在 substrate 之上引入了一个名为 proof of availability（POA）的层。该层利用纠删码等技术来解决他们在广泛的存储层市场上遇到的限制。他们表示会对已经实施了这样解决方案的开发人员非常感兴趣。

Ben 补充说，他们的需求不仅仅涉及到存储训练数据，还包括中间证明数据，这些数据不需要长期存储。例如，在他们完成特定数量的区块发布时，可能只需要保留大约 20 秒。然而，目前他们在 Arweave 上支付的存储费用是覆盖数百年的范围，对于这些短期需求来说是不必要的。他们正在寻找一种既具备 Arweave 的保证和功能，又能以更低的成本满足短期存储需求的解决方案。

Gensyn 代币和治理

Ben 解释了 gensyn token 在生态系统中的重要性，它在抵押、惩罚、提供奖励和维护共识等方面起着关键作用。它的主要目的是确保系统的财务合理性和完整性。Ben 还提到了谨慎使用通胀率来支付验证者，并利用博弈论机制。

他强调了 Gensyn token 的纯粹技术用途，并表示他们会在技术上确保引入 Gensyn token 的时机和必要性。

Harry 表示他们在深度学习社区中属于少数派，特别是 AI 学者对加密货币相关的广泛怀疑之下。尽管如此，他们意识到了加密货币的技术和意识形态方面的价值。

然而，在网络启动时，他们预计大多数深度学习用户主要会使用法定货币进行交易，而转换为代币将在幕后无缝进行。

在供应方面，工作者和提交者将积极参与代币交易，并且他们已经收到了来自以太坊矿工的兴趣，这些矿工拥有大量的 GPU 资源并寻求新的机会。

在此，重要的是确保消除深度学习和机器学习从业者对加密货币术语（如代币）的恐惧，将其与用户体验的界面分离。Gensyn 表示这是一个令人兴奋的用例，将 Web 2 和 Web 3 的世界联系在一起，因为它具有经济合理性和支持其存在所需的技术。

图一：基于播客整理的 Gensyn 链上链下网络的运行模式，运作机理若有错误，请读者及时提出 （图片来源：深潮）

科普人工智能

AI、深度学习和机器学习

Ben 分享了他对近年来 AI 领域的发展的看法。他认为，尽管 AI 和机器学习领域在过去七年里经历了一系列的小爆发，但目前的进步似乎正在创造真正的影响和有价值的应用，这些应用能与更广泛的听众产生共鸣。深度学习是这些变化的基本驱动力。深度神经网络展示了其超越传统计算机视觉方法设定的基准的能力。此外，如 GPT-3 等模型也加速了这一进步。

Harry 进一步解释了 AI、机器学习和深度学习之间的区别。他认为，这三个术语经常被混用，但它们有显著的差异。他比喻说，AI、机器学习和深度学习就像俄罗斯套娃一样，AI 是最外层。

• 宽义上讲，AI 是指编程让机器执行任务。
• 机器学习则是在 90 年代和 2000 年初开始盛行，它利用数据来确定决策的概率，而不是依赖于具有 if-then 规则的专家系统。
• 深度学习在机器学习基础上建立，但允许更复杂的模型。

图表三：人工智能，机器学习，和深度学习的区别

人工狭义智能，人工通用智能，人工超级智能

在这个部分中，主持人和嘉宾对人工智能的三个关键领域进行了深入探讨：人工狭义智能（ANI），人工通用智能（AGI），和人工超级智能（ASI）。

• 人工狭义智能（Artificial Narrow Intelligence，ANI）：当前的人工智能主要处在这个阶段，即机器非常擅长执行特定的任务，例如，通过模式识别从医学扫描中检测特定类型的癌症。
• 人工通用智能（Artificial General Intelligence，AGI）：AGI 是指机器能够执行对人类来说相对简单，但在计算系统中反映出来却很具挑战性的任务。举例来说，让机器能够在拥挤的环境中顺利导航，同时对周围所有的输入进行离散假设，这就是 AGI 的一个示例。AGI 是指模型或系统能够像人类一样执行日常任务。
• 人工超级智能（Artificial Super Intelligence，ASI）：在达到人工通用智能之后，机器可能会进一步发展为人工超级智能。这是指机器由于其模型的复杂性，增加的计算能力，无限的寿命和完美的记忆，从而超越人类的能力。这个概念经常在科幻和恐怖电影中被探索。

此外，嘉宾还提到，人脑与机器的融合，例如通过脑 - 机接口，可能是实现 AGI 的一条途径，但这也引发了一系列的道德和伦理问题。

解开深度学习黑盒：确定性与概率性

Ben 解释说，深度学习模型的黑盒性质归因于它们的绝对大小。你仍然在通过网络中一系列决策点跟踪路径。只不过这个路径非常大，很难将模型内的权重或参数与它们的具体值相连，因为这些值是在输入了数百万个样本后得出的。你可以确定地做到这一点，你可以跟踪每一个更新，但你最终生成的数据量将会非常大。

他看到有两件事情发生：

随着我们对正在构建的模型的理解越来越多，黑盒的本质正在逐渐消失。深度学习是一个研究领域，经历了一个有趣的快速时期，进行了大量的实验，这些实验并不是由研究的基础驱动的。而是更多的看看我们能从中得到什么。因此，我们向其投入更多的数据，尝试新的架构，只是看看会发生什么，而不是从基本原理出发，设计这个东西，并确切地知道它是如何运作的。所以有这样一个激动人心的时期，一切都是黑盒。但他认为这种快速增长正在开始放缓，我们正在看到人们重新审视这些架构，并检查并说，「为什么这个效果这么好？我们深入研究一下，证明一下。」所以在某种程度上，这种帷幕正在揭开。

另一件发生的事情可能更具争议，那就是人们对计算系统是否需要完全确定，还是我们可以生活在一个概率世界中的观点的转变。我们作为人类生活在一个概率世界中。自动驾驶汽车的例子可能最清楚，当我们开车时，我们接受会发生随机事件，可能会有小事故，可能会有自动驾驶汽车系统出现问题。但是我们完全不能接受这一点，我们说这必须是一个完全确定的过程。自动驾驶汽车行业的挑战之一就是，他们假设人们会接受应用于自动驾驶汽车的概率机制，但实际上人们并没有接受。他认为这种情况会改变，可能会有争议的是，我们作为一个社会，是否会允许概率计算系统与我们共存？他不确定这条路是否会顺利，但他认为这会发生。

梯度优化法：深度学习的核心优化方法

梯度优化是深度学习的核心方法之一，它在神经网络训练中起到了关键作用。在神经网络中，一系列层参数实质上就是实数。网络训练涉及的是将这些参数设定为可以让数据正确传递并在网络的最后阶段触发期望输出的实际值。

基于梯度的优化方法在神经网络和深度学习领域中带来了巨大的变革。这个方法使用梯度，也就是对网络中各层参数相对于误差的微分。通过应用链式法则，可以将梯度在整个层级网络中反向传播。在这个过程中，你可以确定你在误差表面的位置。误差可以被模型化为欧氏空间中的一个表面，这个表面看起来是一个充满高低起伏的区域。优化的目标就是找到能够使误差最小化的区域。

梯度对于每一层都显示你在这个表面上的位置以及你应该更新参数的方向。你可以利用梯度在这个起伏的表面上导航，找到能够减少误差的方向。步长的大小取决于表面的倾斜程度。如果倾斜得厉害，你就会跳得更远；如果倾斜度不大，你就会跳得更小。本质上，你只是在这个表面上导航，寻找一个凹槽，而梯度可以帮助你确定位置和方向。

这个方法是一个巨大的突破，因为梯度提供了一个清晰的信号和有用的方向，相比于在参数空间中随机跳跃，它能够更有效地指导你知道你在表面的哪个位置，以及你是在山顶上，还是在沟壑中，或者在平坦的区域。

尽管深度学习中存在许多技术可以解决找到最优解的问题，但现实世界中的情况通常更为复杂。有许多在深度学习训练中使用的正则化技术使之成为一门艺术而非科学。而这就是为什么基于梯度的优化在现实中的应用更像艺术而非精确的科学。

图二：简单来说优化目标就是找到谷底的（图片来源：深潮）

总结

Gensyn 的目标是在构建全球最大的机器学习计算资源系统，可以充分利用那些被闲置或者未充分使用的计算资源，如个人的智能手机、电脑等设备。

在机器学习和区块链的语境下，账本保存的记录通常是计算结果，也就是我们已经通过机器学习处理过的数据状态。这个状态可以是：「这波数据我已经机器学习了，有效，发生时间为 X 年 X 月」。这个记录的主要目标是表达结果状态，而不是详述计算过程。

而在这个框架中，区块链有着重要的作用：

• 区块链提供了一种记录数据状态结果的方式。它的设计可以确保数据的真实性，防止篡改和抵赖。
• 区块链内部有着经济激励机制，通过它可以协调计算网络中不同角色的行为，例如提到的四个角色：提交者，工作者，验证者和举报者。
• 通过对当前云计算市场的调查，我们发现云计算并非全无可取，而是各种计算方式都有其特定的问题。区块链的去中心化计算方式可以在一些场景中发挥作用，但并不能全面替代传统的云计算，也就是说，区块链并不是万能的解决方案。
• 最后，AI 可以看作是一种生产力，然而，如何有效地组织和训练 AI 则属于生产关系的范畴。这包括合作、众包和激励等因素。在这方面，Web 3.0 提供了大量可能的解决方案和场景。

因此，我们可以理解为，区块链与 AI 的结合，特别是在数据和模型的共享、计算资源的协调和结果的验证等方面，为解决 AI 的训练和使用过程中的一些问题提供了新的可能性。

引用