Ekosistem terbuka yang terdiri dari komponen infrastruktur machine learning (ML) yang berperforma tinggi, portabel, dan dapat diperluas yang menyederhanakan pengembangan ML dengan mendefragmentasi alat antara framework frontend dan backend hardware. Dibangun oleh para pemimpin industri di bidang pemodelan AI, software, dan hardware.
Rapat Komunitas 17/12/2024 @09.00 PT
Slide dan rekaman dari Fall Dev Lab kini tersedia.

XLA

XLA (Accelerated Linear Algebra) adalah compiler open source untuk machine learning. Compiler XLA mengambil model dari framework populer seperti PyTorch, TensorFlow, dan JAX, serta mengoptimalkan model untuk eksekusi berperforma tinggi di berbagai platform hardware termasuk GPU, CPU, dan akselerator ML.
XLA sudah di-build bawaan untuk banyak framework ML. Untuk informasi tentang cara menggunakan XLA dalam kasus tersebut, lihat dokumentasi dan halaman framework individual.
Dokumentasi XLA mencakup sejumlah topik dasar dan lanjutan, seperti cara mengintegrasikan plugin PJRT baru, mengimplementasikan backend XLA baru, dan mengoptimalkan runtime program XLA.

StableHLO

StableHLO adalah operasi yang ditetapkan untuk operasi tingkat tinggi (HLO) dalam model machine learning (ML). Pada dasarnya, ini adalah lapisan portabilitas antara framework ML dan compiler ML yang berbeda: Framework ML yang menghasilkan program StableHLO kompatibel dengan compiler ML yang menggunakan program StableHLO.
Dokumentasi StableHLO mencakup sejumlah topik, seperti spesifikasi OpSet StableHLO, dan cara mengekspor grafik StableHLO dari framework ML umum.

Shard

Shardy adalah sistem partisi tensor berbasis MLIR untuk semua dialek. Dibuat dari kolaborasi tim GSPMD dan PartIR, fitur ini menggabungkan yang terbaik dari kedua sistem, dan pengalaman bersama dari tim dan pengguna.
Dokumentasi Shardy membahas konsep sharding, ringkasan dialek, dan tutorial memulai untuk menggunakan Shardy dari JAX atau mengintegrasikan Shardy ke dalam pipeline MLIR kustom.

musik

PJRT adalah antarmuka yang tidak bergantung pada hardware dan framework untuk compiler dan runtime ML. Saat ini termasuk dalam distribusi XLA. Lihat GitHub XLA dan dokumentasi untuk informasi selengkapnya tentang cara menggunakan dan mengintegrasikan PJRT.

Komunitas

Bergabunglah ke milis openxla-discuss untuk mendapatkan berita tentang rilis, acara, dan pembaruan besar lainnya. Channel ini juga merupakan saluran utama kami untuk diskusi desain dan pengembangan.
Bergabunglah dengan OpenXLA Discord untuk berpartisipasi dalam chat tentang topik XLA dan StableHLO.
Rapat diadakan setiap bulan melalui Google Meet pada hari Selasa kedua atau ketiga pukul 09.00 PT. Silakan lihat dokumen rapat atau diskusikan openxla untuk tanggal dan topik tertentu.
Ikuti terus semua berita dan pengumuman terbaru dari komunitas OpenXLA.
Kami menyambut baik kontribusi dari komunitas. Lihat panduan kontribusi kami untuk informasi selengkapnya.

Partner industri

Project OpenXLA dikembangkan secara kolaboratif oleh organisasi hardware dan software ML terkemuka.
Logo Alibaba

Alibaba

“Di Alibaba, OpenXLA dimanfaatkan oleh pelanggan Elastic GPU Service untuk melatih dan menyajikan model PyTorch yang besar. Kami telah melihat peningkatan performa yang signifikan bagi pelanggan yang menggunakan OpenXLA, terutama peningkatan kecepatan sebesar 72% untuk GPT2 dan 88% untuk Swin Transformer pada GPU NVIDIA. Kami bangga menjadi anggota pendiri Project OpenXLA dan bekerja sama dengan komunitas open source untuk mengembangkan compiler ML canggih yang memberikan performa dan pengalaman pengguna terbaik bagi pelanggan Alibaba Cloud.” - Yangqing Jia, VP, AI and Data Analytics, Alibaba

Logo Amazon Web Services

Amazon Web Services

“Kami sangat senang menjadi anggota pendiri Proyek OpenXLA, yang akan mendemokrasikan akses ke infrastruktur AI yang berperforma tinggi, skalabel, dan dapat diperluas, serta kolaborasi lebih lanjut dalam komunitas open source untuk mendorong inovasi. Di AWS, pelanggan kami menskalakan aplikasi AI generatif mereka di AWS Trainium dan Inferentia. Selain itu, Neuron SDK kami mengandalkan XLA untuk mengoptimalkan model ML guna mendapatkan performa tinggi dan performa terbaik di kelasnya per watt. Dengan ekosistem OpenXLA yang kuat, developer dapat terus berinovasi dan menghasilkan performa hebat dengan infrastruktur ML yang berkelanjutan, dan mengetahui bahwa kode mereka portabel untuk digunakan pada hardware pilihan mereka.” - Nafea Bshara, Vice President dan Distinguished Engineer, AWS

Logo AMD

AMD

“Kami sangat antusias dengan arah masa depan OpenXLA di rangkaian besar perangkat AMD (CPU, GPU, AIE) dan bangga menjadi bagian dari komunitas ini. Kami menghargai project dengan tata kelola terbuka, penerapan yang fleksibel dan luas, fitur canggih, dan performa terbaik, dan kami menantikan kolaborasi berkelanjutan untuk memperluas ekosistem open source bagi developer ML.” - Alan Lee, Corporate Vice President, Software Development, AMD

Logo Anyscale

Semua skala

"Anyscale mengembangkan teknologi yang terbuka dan skalabel seperti Ray untuk membantu praktisi AI mengembangkan aplikasi mereka dengan lebih cepat serta menyediakannya bagi lebih banyak pengguna. Baru-baru ini, kami berpartner dengan project ALPA untuk menggunakan OpenXLA guna menampilkan pelatihan model berperforma tinggi untuk model Bahasa Besar dalam skala besar. Kami senang dapat berpartisipasi dalam OpenXLA dan bersemangat karena upaya open source ini mampu menjalankan workload AI pada berbagai platform hardware secara efisien, sehingga mengurangi hambatan masuk, mengurangi biaya, dan memajukan bidang AI dengan lebih cepat." - Philipp Moritz, CTO, Anyscale

Logo Apple

Apel

Apple Inc. merancang, memproduksi dan memasarkan smartphone, komputer pribadi, tablet, perangkat wearable, dan aksesori, serta menjual berbagai layanan terkait.

Logo Arm

Arm

“Project OpenXLA menandai pencapaian penting dalam perjalanan menyederhanakan pengembangan software ML. Kami sepenuhnya mendukung misi OpenXLA dan berharap dapat memanfaatkan stabilitas dan standardisasi OpenXLA di seluruh roadmap hardware dan software Arm® NeoverseTM.” - Peter Greenhalgh, Vice President of Technology and Fellow, Arm.

Logo Cerebras

Cerebras

“Di Cerebras, kami membangun akselerator AI yang dirancang untuk mempercepat dan mempermudah pelatihan model AI terbesar. Sistem dan software kami memenuhi kebutuhan pengguna di mana pun mereka berada, sehingga memungkinkan pengembangan, penskalaan, dan iterasi yang cepat menggunakan framework ML standar tanpa perubahan. OpenXLA membantu memperluas jangkauan pengguna dan mempercepat waktu penyelesaian solusi dengan menyediakan antarmuka umum ke framework ML dengan level yang lebih tinggi pada Cerebras Wafer-Scale Engine. Kami sangat senang melihat ekosistem OpenXLA tersedia untuk interaksi, kontribusi, dan penggunaan komunitas yang lebih luas di GitHub.” - Andy Hock, VP dan Head of Product, Cerebras Systems

Logo Google

Google

“Software open source memberi kesempatan kepada semua orang untuk membantu menciptakan terobosan di AI. Di Google, kami berkolaborasi dalam Project OpenXLA untuk memperkuat komitmen kami terhadap open source dan mendorong penggunaan alat AI yang meningkatkan standar performa ML, mengatasi inkompatibilitas antara framework dan hardware, serta dapat dikonfigurasi ulang untuk menangani kasus penggunaan yang disesuaikan dari developer. Kami antusias untuk mengembangkan alat ini dengan komunitas OpenXLA, sehingga developer dapat mendorong kemajuan di berbagai lapisan stack AI yang berbeda.” - Jeff Dean, Senior Fellow dan SVP, Google Research and AI

Logo Graphcore

Musik Graphcore

“Pipeline kompilator IPU kami telah menggunakan XLA sejak diluncurkan untuk publik. Berkat independensi dan stabilitas platform XLA, XLA memberikan frontend yang ideal untuk menghadirkan silikon baru. Fleksibilitas XLA memungkinkan kami mengekspos fitur hardware baru IPU dan mencapai performa tercanggih dengan berbagai framework. Jutaan kueri setiap hari dilayani oleh sistem yang menjalankan kode yang dikompilasi oleh XLA. Kami sangat senang dengan arahan OpenXLA dan berharap untuk terus berkontribusi pada proyek open source. Kami percaya bahwa hal ini akan membentuk komponen inti di masa depan AI/ML.” - David Norman, Director of Software Design, Graphcore

Logo Wajah Memeluk

Wajah Memeluk

“Mempermudah dalam menjalankan model apa pun secara efisien pada hardware apa pun adalah tantangan teknis yang mendalam, dan merupakan tujuan penting bagi misi kami untuk mendemokrasikan machine learning yang baik. Di Hugging Face, kami mengaktifkan XLA untuk model pembuatan teks TensorFlow dan kecepatannya mencapai ~100x. Selain itu, kami berkolaborasi erat dengan tim engineering di Intel, AWS, Habana, Graphcore, AMD, Qualcomm, dan Google, membangun jembatan open source antara framework dan setiap silikon, untuk menawarkan efisiensi unik kepada pengguna akhir melalui library Optimum kami. OpenXLA menjanjikan elemen penyusun standar yang dapat kami gunakan untuk membangun interoperabilitas yang sangat dibutuhkan, dan kami tidak sabar untuk mengikuti dan berkontribusi!” - Morgan Funtowicz, Head of Machine Learning Optimization, Hugging Face

Logo Intel

Intel

“Di Intel, kami percaya pada akses terbuka yang terdemokratisasi ke AI. CPU Intel, GPU, akselerator Habana Gaudi, dan software AI yang didukung oneAPI termasuk OpenVINO, mendorong workload ML di mana saja, mulai dari superkomputer exascale hingga deployment cloud besar. Bersama dengan anggota OpenXLA lainnya, kami berusaha mendukung alat compiler ML berbasis standar dan komponen yang mendorong inovasi di berbagai lingkungan hardware dan framework untuk mempercepat sains dan penelitian yang mengubah dunia.” - Greg Lavender, Intel SVP, CTO & GM of Software & Advanced Technology Group

Logo Meta

Meta

“Dalam riset, di Meta AI, kami telah menggunakan XLA, teknologi inti project OpenXLA, guna mendukung model PyTorch untuk Cloud TPU dan mampu mencapai peningkatan performa yang signifikan pada project penting. Kami percaya bahwa open source mempercepat laju inovasi di dunia, dan kami sangat antusias untuk menjadi bagian dari Proyek OpenXLA.” - Soumith Chintala, Lead Maintainer, PyTorch

Logo NVIDIA

NVIDIA

“Sebagai anggota pendiri Proyek OpenXLA, NVIDIA sangat antusias untuk berkolaborasi dalam pengembangan AI/ML dengan komunitas OpenXLA dan yakin bahwa dengan lebih banyak engagement dan adopsi OpenXLA, developer ML akan diberdayakan dengan infrastruktur AI yang canggih.” - Roger Bringmann, VP, Compiler Software, NVIDIA.

Kontak

Untuk pertanyaan langsung, hubungi pengelola - pengelola di openxla.org