Hibrit bulutta üretken yapay zeka ve esneklik buluşuyor
Red Hat, Inc, Red Hat OpenShift üzerine inşa edilen ve işletmelerin hibrit bulutlarda geniş ölçekte yapay zekâ özellikli uygulamalar oluşturmasını ve sunmasını sağlayan açık bir hibrit yapay zeka (AI) ve makine öğrenimi (ML) platformu olan Red Hat OpenShift AI’daki gelişmeleri duyurdu. Bu güncellemeler, Red Hat’in yapay zekâ vizyonunu vurguluyor ve Red Hat’in müşteri seçimine olan bağlılığını, temel donanımdan platform üzerinde oluşturmak için kullanılan Jupyter ve PyTorch gibi hizmetlere ve araçlara kadar akıllı iş yükleri dünyasına taşıyor. Bu sayede daha hızlı inovasyon, daha fazla üretkenlik ve bulut ortamları kullanılsın ya da kullanılmasın hem öngörülü (tahmine dayalı) hem de üretken modellere olanak tanıyan daha esnek, ölçeklenebilir ve uyarlanabilir bir açık kaynak platformu aracılığıyla yapay zekayı günlük iş operasyonlarına dahil etme kapasitesi sağlanıyor.
Müşteriler, yapay zekâ modellerini deneme aşamasından üretime taşırken artan donanım maliyetleri, veri gizliliği endişeleri ve verilerini SaaS tabanlı modellerle paylaşma konusunda güven eksikliği gibi birçok zorlukla karşılaşıyor. Üretken Yapay Zekâ (GenAI) hızla değişiyor ve birçok kurum, şirket içinde veya bulutta çalışabilen güvenilir bir çekirdek Yapay Zeka platformu kurmakta zorlanıyor.
Red Hat’in yapay zekâ stratejisi, hibrit bulutta esneklik sağlayarak, önceden eğitilmiş veya seçilmiş temel modelleri müşteri verileriyle geliştirme olanağı ve çeşitli donanım ve yazılım hızlandırıcılarını etkinleştirme özgürlüğü sunuyor. Red Hat OpenShift AI’ın yeni ve geliştirilmiş özellikleri, en son AI/ML yeniliklerine erişim ve geniş bir AI merkezli iş ortağı ekosisteminin desteği ile bu ihtiyaçları karşılıyor. Platformun en son sürümü olan Red Hat OpenShift AI 2.9 şunları sunuyor:
• Uçta model hizmeti, yapay zekâ modellerinin dağıtımını tek nodlu OpenShift kullanarak uzak konumlara kadar genişletiyor. Kesintili veya hava boşluklu ağ erişimine sahip kaynak kısıtlı ortamlarda çıkarım yetenekleri sağlıyor. Bu teknolojinin önizleme özelliği sayesinde kurumlar çekirdekten buluta ve uca kadar ölçeklenebilir, tutarlı bir operasyonel deneyim ve kullanıma hazır gözlemlenebilirlik yeteneği elde ediyor.
• Geliştirilmiş model sunumu tüm model türleri için hizmet sunmayı düzenleyen Kubernetes özel kaynak tanımı KServe desteği, vLLM ve metin oluşturma çıkarım sunucusu (TGIS), LLM’ler için hizmet motorları ve doğal dil işleme (NLP) modellerini ve görevlerini yöneten Caikit-nlp-tgis çalışma zamanı dahil olmak üzere hem tahmine dayalı hem de GenAI’yi desteklemek için birden fazla model sunucusu kullanma becerisi içeriyor. Geliştirilmiş model sunumu, kullanıcıların birden fazla kullanım durumu için tek bir platformda tahmine dayalı ve GenAI çalıştırmasına olanak tanıyarak maliyetleri düşürüp işlemleri basitleştiriyor. Böylece LLM’ler için kullanıma hazır model sunumu sağlanıyor ve çevredeki kullanıcı iş akışı basitleştiriliyor.
• Ray ile dağıtılmış iş yüklerinde daha hızlı, daha verimli veri işleme ve model eğitimi için birden fazla küme node’undan faydalanan CodeFlare ve KubeRay kullanılıyor. Ray, yapay zekâ iş yüklerini hızlandırmaya yönelik bir çerçevenin adı; KubeRay ise bu iş yüklerinin Kubernetes üzerinde yönetilmesine yardımcı oluyor. CodeFlare, Red Hat OpenShift AI’nın dağıtılmış iş yükü yeteneklerinin merkezinde yer alıyor ve görev düzenleme ve izlemeyi basitleştirmeye yardımcı olan kullanıcı dostu bir çerçeve sağlıyor. Merkezi kuyruklama ve yönetim özellikleri, optimum düğüm kullanımını mümkün kılar ve GPU’lar gibi kaynakların doğru kullanıcılara ve iş yüklerine tahsis edilmesini sağlıyor.
• Şu anda teknoloji önizlemesi olarak sunulan VS Code ve RStudio dahil olmak üzere IDE’leri ve araç takımlarını kullanma esnekliği sağlayan proje çalışma alanları ve ek çalışma alanı görüntüleri aracılığıyla ileri düzey model geliştirme ve çeşitli kullanım durumları ve model türleri için geliştirilmiş CUDA.
• Performans ve operasyonel metrikler için model izleme görselleştirmeleri, yapay zekâ modellerinin nasıl performans gösterdiğine dair gözlemlenebilirliği artırıyor.
• Yeni hızlandırıcı profilleri, yöneticilerin model geliştirme ve modele hizmet eden iş akışları için kullanılabilen farklı donanım hızlandırıcı türlerini yapılandırmasına olanak tanıyor. Bu, belirli bir iş yükü için uygun hızlandırıcı türüne basit, self servis kullanıcı erişimi sağlıyor.
IBM’in watsonx.ai’sini destekleyen Red Hat OpenShift AI’ya ek olarak, AGESIC ve Ortec Finance de dahil olmak üzere farklı sektörlerdeki işletmeler daha fazla yapay zekâ inovasyonu ve büyümesi için kendilerini Red Hat OpenShift AI ile donatıyor.
