运作方式
一次会话有四个步骤:发现、连接、推理与结算。没有任何一个步骤由 GenKaKu Labs 运营。
1. 发现
Worker 在程序中注册,每个钱包一个账户(["worker", wallet]),其中包含:
- peer ID,以其 multihash 字节存储——与钱包相同的 ed25519 密钥,
- 费率:每已开始分钟的 micro-USDC。这是 worker 最贵的模型,因为一个账户必须服务整个 型号目录,
- 可选的 locator:用户可以拨号的 multiaddr,
- 一个 active 标志与两个计数器,
earned与settlements。
用户端用一次 getProgramAccounts 调用、以账户 discriminator 筛选,就能读取整个目录。没有
需要信任的目录 API,也没有可重放的日志:账户状态本身就是列表。
Locator 是可选的。只有运营者打开 publishAddress 时,worker 才会公开它的地址,而一旦上链,
发布就是永久的。
写在链上的费率是上限。Worker 以不同价格卖出多个模型,但只有一个费率字段,所以它列出最贵 的那一个,而每个会话的价格都必须等于或低于它。Worker 自己的 sidecar 会在生成 token 之前 拒绝低于该模型报价的会话。
私密 worker
Worker 可以离开市场而不离开程序。切到私密模式时,它
- 停止向 seed 公告(seed 的回答集是公开的,在那里上架等于公开这个模式要隐藏的 peer id),
- 保留链上的数据行并维持 active,但 locator 为空——
open_session会拒绝 inactive 的 worker,而结算仍然要付款给该账户, - 只响应允许清单上的钱包。检查用的是传输层已认证的
connection.remotePeer,再换算成钱包, 因此被允许的使用者不需要 token,而被偷走的配对码换到别的机器也没有用。
允许清单由一次性配对码填充:worker 产生一组,使用者兑换一次,之后该码即作废。同一个钱包 重试是幂等的;换一个钱包重试会被拒绝。解除配对会立即移除该钱包。
对其他所有人来说发现机制没有改变:使用者的列表就是公开目录加上 seed,而私密 worker 只会经由 使用者完成的配对进入其中。
客户端显示什么
User 插件自己维护一份盘面视图,只存在于该 profile:
- 搜寻模型、worker 显示名称与钱包,
- 排序:推荐、价格、实测延迟、完成场次、模型名称或 worker 名称,
- 一份
(worker, model)键的勾选清单,最多十个,正好就是聊天模型选单提供的项目。勾选单位 是 worker,所以两个 worker 的同一模型是两列——选单因此标注成worker · model。
某个 profile 第一次打开面板时,会依当前排序自动勾选前十列,让插件在没人设置前就能用。之后清单 就完全依照使用者勾选的,包括空的。
2. 连接
User 插件向 worker 的 peer ID 创建 libp2p 连接。hello 交换(/genkaku/hello/0)会固定:
- peer ID,它必须编码它所宣称的钱包(会实际检查,不是假定),
- 对一个新鲜 nonce 的签名,证明该进程握有那把密钥,
- 每小时报价与计费模式。
如果两个节点能直接互相触及——同一个 LAN、一个公网 IPv4、一个全局 IPv6——token 就会直接在 两者之间传输。如果不行,会话会经由公开的 seed relay 进行。
Relay 转发的是加密的 libp2p 流量。它读不到提示词或输出,但它的运营者可以看到连接中继 数据:节点地址、时间与流量。把经过 relay 的会话视为内容私密,但「谁在和谁通话」并非 私密。
这个版本没有 NAT 穿透(没有 DCUtR)。要么两个节点可以直接拨号,要么由 relay 承载会话。
3. 推理
Worker 用 Ollama 在本机运行模型,并通过同一条连接流式输出 token。市场永远看不到提示词;worker 运营者看得到。
报价为零的 offer 完全跳过链,免费提供服务。
4. 结算
付费会话采用每小时报价、按已开始分钟累计:
- worker 公告每小时价格,
- 用户端把它换算成每分钟费率,只取整一次,
- 每个已开始的分钟算一分钟,
- 两分钟的工作付两分钟,不是一小时。
对于付费模型,用户在第一个 token 之前把钱存入该会话的托管。那是一笔交易,默认预付 十分钟;没用完的会退回。会话结束时:
- 用户端把它最大的累计收据送给 worker——那是它同意支付的上限;
- worker 就该收据涵盖的分钟计费,并自行签署结算:它的交易签名就是它提供过服务的证明;
- 99% 进入 worker 的可提取余额,1% 进入金库;
- 用户端关闭会话,未使用的押金立即退回。
Worker 用 claim 提取余额;自上次结算经过十分钟后,任何人都可以发送。那段延迟就是用户
仍能关闭会话的窗口,所以 worker 不会因为用户正要取消的那一分钟而拿到钱。
因此结算对用户只花一笔交易(打开),对 worker 也只花一笔(结算)。手续费是几分之一美分: Solana 依运算单位收费,而不是依市场价格收 gas。
客户端也有自己的天花板。支出政策不允許的 session 会在组出任何交易之前以 HTTP 402
拒绝,所以不会收押金、钱包也不会签名;上面说的退款与关闭只发生在真的付过钱的 session 上。
字段见支出上限。
什么替换了 orchestrator
| 旧模式 | GenKaKu |
|---|---|
| 服务器派工 | 用户从程序的账户挑选 worker |
| 服务器保存提示词 | 直接点对点连接 |
| 服务器计量用量 | 已开始分钟累计、签名收据 |
| 服务器付款 | 链上释放托管 |
信任假设变小,因为中间的东西变少。但它们不是零:你仍然要信任 worker 看到提示词,如果你的 会话经过 relay,也要信任 relay 看到元数据,还要信任你自己运行的代码。