Platform Jaeger Integrasi ClickHouse, Raih Kompresi Data Masif

Platform distributed tracing Jaeger v2.18.0 resmi menghadirkan dukungan penyimpanan ClickHouse untuk mengoptimalkan pengelolaan data telemetri berskala masif. Arsitektur basis data column-oriented tersebut dinilai sangat ideal dalam menangani arus data tulis yang besar serta menyajikan analisis kueri berkecepatan tinggi.

"Apa yang membuat saya paling bersemangat bukanlah ketersediaan ClickHouse, melainkan arsitekturnya yang praktis dirancang khusus untuk telemetri skala besar," ujar pengembang utama Jaeger mengenai integrasi penyimpanan terbaru ini.

Dalam uji coba benchmark menggunakan 10 juta span di atas 1 juta trace pada satu node, sistem ini mampu mempertahankan performa tinggi saat proses ingesti data. Tingkat kompresi yang dihasilkan juga tergolong impresif dengan pencapaian rasio hingga 8,6 kali lipat pada tabel span.

Penggunaan penyimpanan berbasis kolom memungkinkan efisiensi tinggi karena sifat data trace yang repetitif, seperti nama layanan dan kode status. Hal ini membuat ukuran penyimpanan data di diska menyusut drastis tanpa mengorbankan kecepatan akses kueri.

Desain Skema dan Performa Kueri Jaeger

Perancangan skema penyimpanan memerlukan strategi khusus untuk menyeimbangkan performa pencarian trace dan pemfilteran atribut secara simultan. Tim pengembang memutuskan untuk mengurutkan kunci utama berdasarkan nama layanan, nama operasi, dan waktu mulai demi efisiensi kueri pencarian.

Untuk mengatasi potensi penurunan performa saat mengambil data trace secara spesifik, sistem memanfaatkan indeks skip bloom filter serta view materialisasi tambahan. Pendekatan ini memastikan proses pencarian ID trace tetap efisien meskipun data terus bertambah.

Selain itu, dukungan tipe data kompleks pada model OpenTelemetry diakomodasi melalui kolom bersarang khusus di dalam tabel basis data. Struktur tersebut mempermudah analisis atribut tanpa harus merusak performa indeks utama pada tingkat teratas.

Dukungan ClickHouse pada Jaeger v2.18.0 saat ini sudah dapat dicoba oleh para pengembang dalam tahap alfa. Integrasi ini diharapkan mampu membantu tim teknik dalam memantau performa layanan mikro secara lebih efisien dan andal.