본문으로 건너뛰기

작동 방식

세션에는 네 단계가 있습니다. 발견, 연결, 추론, 정산입니다. 어느 단계도 GenKaKu Labs가 운영하지 않습니다.

1. 발견​

워커는 지갑마다 계정 하나(["worker", wallet])로 프로그램에 등록하며, 다음을 보관합니다.

  • peer ID: 멀티해시 바이트로 저장되며, 지갑과 같은 ed25519 키입니다.
  • 요율: 시작된 분당 micro-USDC. 계정 하나가 카탈로그 전체를 서비스해야 하므로 워커의 가장 비싼 모델 가격입니다.
  • 선택적 로케이터: 클라이언트가 다이얼할 수 있는 multiaddr.
  • active 플래그와 두 개의 카운터, earned와 settlements.

클라이언트는 계정 discriminator로 필터링한 한 번의 getProgramAccounts 호출로 디렉터리 전체를 읽습니다. 신뢰할 디렉터리 API도, 재생할 로그도 없습니다. 계정 상태가 곧 목록입니다.

로케이터는 선택 사항입니다. 워커는 운영자가 publishAddress를 켤 때만 주소를 공개하며, 한 번 온체인에 올라가면 게시는 영구적입니다.

온체인에 기록된 요율은 상한입니다. 워커는 서로 다른 가격으로 여러 모델을 팔지만 요율 필드는 하나뿐이므로 가장 비싼 모델을 올리고, 모든 세션은 그 이하 또는 같은 가격이어야 합니다. 워커 자신의 사이드카는 모델의 견적보다 낮은 세션을 토큰 생성 전에 거부합니다.

비공개 워커​

워커는 프로그램을 떠나지 않고 시장을 떠날 수 있습니다. 비공개 모드에서는

  • 시드에 알리기를 멈춥니다(시드의 응답 집합은 공개이므로 거기 올리는 것은 이 모드가 숨기려는 바로 그 peer id를 공개하는 일입니다),
  • 체인의 행은 active로 유지하되 로케이터를 비웁니다. open_session은 inactive 워커를 거부하고 정산은 그 계정에 지불해야 하기 때문입니다,
  • 허용 목록의 지갑에만 응답합니다. 검사는 전송 계층이 인증한 connection.remotePeer를 지갑으로 변환해 수행하므로, 허용된 사용자는 토큰이 필요 없고 훔친 코드도 다른 머신에서는 쓸모없습니다.

허용 목록은 일회용 페어링 코드로 채웁니다. 워커가 하나를 발급하고 사용자가 한 번 교환하면 코드는 소비됩니다. 같은 지갑에서 재시도하면 멱등적으로 성공하고, 다른 지갑에서는 거부됩니다. 페어링 해제는 그 지갑을 즉시 제거합니다.

다른 모든 사람에게 발견 방식은 그대로입니다. 클라이언트 목록은 공개 디렉터리와 시드이고, 비공개 워커는 사용자가 완료한 페어링을 통해서만 그 안에 들어옵니다.

클라이언트가 보여 주는 것​

사용자 플러그인은 프로필 안에 자체적인 판면 보기를 유지합니다.

  • 모델, 워커 표시 이름, 지갑을 가로지르는 검색,
  • 추천, 가격, 측정 지연 시간, 제공 세션 수, 모델 이름, 워커 이름에 의한 정렬,
  • (worker, model) 키의 체크 목록. 최대 10개이며 채팅 모델 선택기가 제공하는 것과 정확히 같습니다. 체크 단위는 워커이므로 두 워커의 같은 모델은 두 행이고, 그래서 선택기는 worker · model로 표시합니다.

프로필이 처음 패널을 열면 선택한 정렬 기준 상위 10행이 자동으로 체크되어 아무도 설정하기 전에도 동작합니다. 그 뒤로는 사용자가 체크한 그대로이며 빈 목록도 포함됩니다.

2. 연결​

사용자 플러그인은 워커의 peer ID로 libp2p 연결을 엽니다. hello 교환(/genkaku/hello/0)은 다음을 고정합니다.

  • peer ID. 주장하는 지갑을 인코딩해야 하며, 가정하지 않고 검사합니다.
  • 새 nonce에 대한 서명. 그 프로세스가 키를 보유함을 증명합니다.
  • 시간당 견적과 과금 모드.

두 피어가 서로 직접 도달할 수 있다면(같은 LAN, 공인 IPv4, 글로벌 IPv6) 토큰은 둘 사이를 곧장 오갑니다. 그럴 수 없다면 세션은 공개 시드 릴레이를 거칩니다.

릴레이는 암호화된 libp2p 트래픽을 전달합니다. 프롬프트나 출력을 읽을 수는 없지만, 그 운영자는 연결 메타데이터(피어 주소, 시각, 양)를 볼 수 있습니다. 릴레이를 거친 세션은 내용은 비공개이지만 누가 누구와 대화하는지는 비공개가 아니라고 보세요.

이 빌드에는 NAT 홀 펀칭(DCUtR)이 없습니다. 피어가 직접 다이얼 가능하거나, 릴레이가 세션을 나르거나 둘 중 하나입니다.

3. 추론​

워커는 Ollama로 모델을 로컬에서 실행하고 같은 연결로 토큰을 스트리밍합니다. 마켓플레이스는 프롬프트를 절대 보지 못하고, 워커 운영자는 봅니다.

가격이 0인 오퍼는 체인을 완전히 건너뛰고 무료로 제공됩니다.

4. 정산​

유료 세션은 시간당 견적과 시작된 분 누적을 사용합니다.

  • 워커가 시간당 가격을 공지하고,
  • 클라이언트가 이를 분당 요율로 환산하며, 올림은 한 번만 하고,
  • 시작된 분은 각각 1분으로 계산하며,
  • 2분짜리 작업은 1시간이 아니라 2분치를 지불합니다.

유료 모델의 경우 사용자는 첫 토큰 전에 세션의 에스크로에 입금합니다. 이는 트랜잭션 하나이며 기본적으로 10분치를 선불하고, 쓰지 않은 부분은 돌려받습니다. 세션이 끝나면:

  1. 클라이언트가 가장 큰 누적 영수증을 워커에게 보냅니다. 그것이 지불에 동의한 상한입니다.
  2. 워커는 그 영수증이 대상으로 하는 분을 청구하고 정산에 직접 서명합니다. 그 트랜잭션 서명이 서비스를 제공했다는 증거입니다.
  3. **99%**는 워커의 인출 가능 잔액으로, **1%**는 재무로 갑니다.
  4. 클라이언트가 세션을 닫고, 사용하지 않은 보증금이 즉시 반환됩니다.

워커는 claim으로 잔액을 인출하며, 마지막 정산 후 10분이 지나면 누구나 보낼 수 있습니다. 그 지연은 사용자가 아직 세션을 닫을 수 있는 창이므로, 사용자가 막 취소하려던 1분에 대해 워커가 지불받는 일은 없습니다.

따라서 정산은 사용자에게 트랜잭션 하나(개설), 워커에게도 트랜잭션 하나(정산)만 듭니다. 수수료는 1센트의 몇 분의 일입니다. Solana는 시장 가격의 gas가 아니라 컴퓨트 유닛에 대해 청구합니다.

클라이언트에도 자체 상한이 있습니다. 지출 정책이 허용하지 않는 세션은 트랜잭션을 만들기 전에 HTTP 402로 거절되므로 보증금을 받지 않고 지갑도 서명하지 않습니다. 위의 환불과 종료는 실제로 지불된 세션에서만 일어납니다. 항목은 지출 한도를 참고하세요.

오케스트레이터를 대체하는 것​

예전 모델GenKaKu
서버가 작업을 배정사용자가 프로그램의 계정에서 워커를 고름
서버가 프롬프트를 저장직접 피어 연결
서버가 사용량을 계량시작된 분 누적, 서명된 영수증
서버가 지급온체인에서 해제되는 에스크로

중간에 있는 것이 줄어든 만큼 신뢰 가정도 작아집니다. 그러나 0은 아닙니다. 프롬프트에 대해서는 여전히 워커를, 세션이 릴레이를 거친다면 메타데이터에 대해서는 릴레이를, 그리고 직접 실행하는 코드를 신뢰합니다.