001InfraRustEdge2025

Halcyon Edge

Runtime edge global untuk inferensi AI berlatensi rendah.

[01] SYS.COREuptime 99.992%
PeranFounder · Principal Engineer
KlienHalcyon Labs
Tahun2025
StatusLive
/ konteks

Menangani 14 miliar request/bulan di 18 region dengan cold start di bawah 40ms. Dibangun dengan Rust di atas WasmEdge; menyediakan SDK untuk TS / Go / Python.

Berawal dari eksperimen pribadi, projek ini tumbuh menjadi karya yang paling dikenal dari saya. Premis teknisnya sederhana — kebanyakan tim terlalu sibuk membangun runtime dan kurang membangun antarmukanya — dan respons pengguna awal membenarkan itu.

Apa yang kami bangun

Runtime ditulis ulang sepenuhnya dengan Rust, CLI dikirim sebagai satu binary, dan control plane-nya berjalan santai di tiga mesin. Seluruh sistemnya muat dalam sesuatu yang tim normal sebut prototipe.

"Konsol deploy tercepat yang pernah saya pakai. Rasanya lebih dekat ke plugin Vim daripada produk SaaS — dan itu pujian tertinggi dari saya."

Eka Setiawan — Staff Eng, Anthemic

Hasil

  • 01Menurunkan latensi cold start p99 sebesar 62%.
  • 02Memangkas biaya infrastruktur per request sekitar 4×.
  • 03Menggaet 14 tim berbayar di kuartal pertama setelah rilis.
  • 04Membuka runtime sebagai open source berlisensi MIT pada 2025.
← sebelumnya

ASCII Studio

Art toy

berikutnya →

Shell.fm

Devtool · TUI