Perkembangan teknologi Artificial Intelligence (AI) saat ini berlangsung sangat cepat. Model AI modern membutuhkan ribuan hingga ratusan ribu GPU untuk melakukan proses pelatihan (training) yang kompleks. Namun, semakin besar skala infrastruktur AI yang digunakan, semakin besar pula tantangan yang harus dihadapi, terutama pada sisi jaringan.
Salah satu masalah terbesar yang sering terjadi adalah kemacetan jaringan atau network congestion. Ketika ribuan GPU saling bertukar data secara bersamaan, lalu lintas data yang sangat padat dapat menyebabkan penurunan performa, memperlambat proses training, bahkan meningkatkan biaya operasional.
Untuk mengatasi masalah tersebut, Broadcom menghadirkan teknologi baru bernama CAST (Congestion-Aware Sprayed Traffic), sebuah solusi yang dirancang untuk meningkatkan efisiensi jaringan AI tanpa memerlukan perubahan besar pada infrastruktur yang sudah ada.
Mengapa Kemacetan Jaringan Menjadi Masalah Besar?
Bayangkan sebuah kota besar pada jam sibuk. Ribuan kendaraan bergerak menuju pusat kota melalui jalan yang sama. Semakin banyak kendaraan yang menggunakan jalur tersebut, semakin besar kemungkinan terjadi kemacetan.
Hal yang sama terjadi pada lingkungan AI modern. Saat ribuan GPU bekerja bersama untuk melatih model AI, mereka harus terus bertukar informasi dalam jumlah sangat besar. Jika terlalu banyak data melewati jalur jaringan yang sama, kemacetan tidak dapat dihindari.
Akibatnya, proses training menjadi lebih lambat. Sebagai contoh, jika sebuah model AI dapat selesai dilatih dalam waktu tiga minggu, kemacetan jaringan dapat memperpanjang proses tersebut menjadi empat minggu atau lebih. Bagi perusahaan yang menginvestasikan jutaan dolar dalam infrastruktur AI, perbedaan waktu tersebut tentu sangat signifikan.
Mengenal Teknologi RoCE
Banyak pusat data AI menggunakan teknologi RDMA over Converged Ethernet (RoCE). Teknologi ini memungkinkan server dan GPU berkomunikasi dengan sangat cepat melalui jaringan Ethernet.
Keunggulan RoCE adalah mampu memberikan performa tinggi dengan biaya yang lebih efisien dibandingkan solusi jaringan khusus lainnya. Namun, agar performanya tetap optimal, lalu lintas data harus dikelola dengan baik. Jika terjadi kemacetan, manfaat RoCE dapat berkurang secara signifikan.
Apa Itu CAST?
CAST atau Congestion-Aware Sprayed Traffic merupakan teknologi yang dikembangkan untuk membantu mengurangi kemacetan jaringan pada lingkungan AI berskala besar.
Secara sederhana, CAST bekerja dengan memantau kondisi setiap jalur jaringan yang tersedia. Teknologi ini mengukur waktu perjalanan data atau Round-Trip Time (RTT) untuk mengetahui jalur mana yang sedang padat dan jalur mana yang masih lancar.
Setelah itu, CAST secara otomatis mengarahkan lebih banyak lalu lintas data ke jalur yang lebih cepat dan lebih sedikit mengalami kemacetan.
Dengan cara ini, distribusi data menjadi lebih seimbang dan performa jaringan dapat meningkat secara signifikan.
Keunggulan CAST Dibandingkan Metode Lain
Sebelum CAST diperkenalkan, salah satu pendekatan yang banyak dibahas adalah Packet Spraying. Metode ini membagi paket data ke berbagai jalur jaringan secara acak.
Meskipun terlihat efektif, Packet Spraying memiliki beberapa kelemahan yang cukup kompleks untuk diterapkan dalam lingkungan produksi.
CAST hadir sebagai alternatif yang lebih praktis dengan beberapa keunggulan utama.
1. Kompatibel dengan Infrastruktur yang Sudah Ada
CAST dapat langsung digunakan pada jaringan RoCE v2 yang saat ini banyak digunakan di pusat data AI.
Artinya, perusahaan tidak perlu mengganti perangkat keras atau membangun infrastruktur baru untuk mendapatkan manfaat dari teknologi ini.
2. Tidak Memerlukan Pengurutan Ulang Paket Data
Pada metode Packet Spraying, paket data dapat tiba dalam urutan yang berbeda sehingga sistem harus melakukan proses penyusunan ulang terlebih dahulu.
Proses ini membutuhkan waktu tambahan dan dapat mengurangi performa.
CAST menghindari masalah tersebut dengan menjaga urutan paket data tetap konsisten selama proses pengiriman.
3. Lebih Cepat Mendeteksi Kehilangan Data
Karena urutan paket tetap terjaga, sistem dapat dengan cepat mengetahui jika ada paket yang hilang selama proses transmisi.
Kemampuan ini membantu mengurangi pengiriman ulang data yang tidak perlu dan menghindari penambahan beban pada jaringan yang sudah padat.
4. Pemanfaatan Jalur Jaringan Lebih Optimal
CAST mampu memanfaatkan banyak jalur jaringan secara bersamaan.
Jika dianalogikan dengan lalu lintas jalan raya, CAST tidak hanya menggunakan jalan utama, tetapi juga memanfaatkan jalan alternatif yang masih kosong sehingga perjalanan menjadi lebih cepat.
Pentingnya Pemantauan Kemacetan Secara Real-Time
Salah satu kekuatan utama CAST adalah kemampuannya memantau kondisi jaringan secara real-time.
Metode tradisional biasanya membagi lalu lintas data secara merata tanpa mempertimbangkan apakah suatu jalur sedang padat atau tidak.
CAST bekerja lebih cerdas. Dengan terus memantau RTT, teknologi ini dapat mendeteksi perubahan kondisi jaringan dan langsung menyesuaikan distribusi lalu lintas data.
Hasilnya, kemacetan dapat diminimalkan sebelum berdampak besar pada performa aplikasi AI.
Peningkatan Performa yang Terbukti
CAST dirancang sebagai plugin yang dapat terintegrasi langsung dengan pustaka komunikasi AI populer seperti NVIDIA NCCL dan AMD RCCL.
Karena berbentuk plugin, implementasinya relatif mudah dan tidak memerlukan perubahan besar pada infrastruktur yang sudah berjalan.
Berdasarkan pengujian yang dilakukan oleh Edgecore Networks, salah satu penyedia solusi jaringan terkemuka, penggunaan CAST mampu meningkatkan performa hingga 36% pada berbagai operasi AI seperti all-reduce, all-gather, dan reduce-scatter.
Peningkatan ini paling terasa saat menangani data berukuran besar, yaitu kondisi yang paling rentan terhadap kemacetan jaringan.
Kesimpulan
Seiring bertambah besarnya klaster AI dan meningkatnya kebutuhan komputasi, efisiensi jaringan menjadi faktor yang sangat menentukan keberhasilan proses training AI.
CAST dari Broadcom menawarkan pendekatan yang cerdas dan praktis untuk mengatasi kemacetan jaringan tanpa perlu melakukan perubahan besar pada infrastruktur yang ada. Dengan kemampuan memantau kondisi jaringan secara real-time dan mengarahkan lalu lintas data ke jalur yang paling optimal, CAST membantu meningkatkan performa, mempercepat proses training AI, serta memaksimalkan investasi perusahaan pada infrastruktur teknologi.
Bagi organisasi yang mulai membangun atau memperluas lingkungan AI berskala besar, solusi seperti CAST dapat menjadi langkah penting untuk memastikan jaringan tetap efisien, stabil, dan siap mendukung kebutuhan AI masa depan.
broadcom Indonesia merupakan bagian dari PT. iLogo Infralogy Indonesia, yang bertindak sebagai partner resmi broadcom.
Selain itu, kami juga berperan sebagai penyedia layanan (vendor) sekaligus distributor berbagai produk Infrastruktur IT dan Cybersecurity terbaik di Indonesia.