Cloudaanbieder Nutanix lanceert een oplossing voor AI en ML in hun cloudplatform. De dienst heet Nutanix GPT-in-a-Box. Het gaat om een full-stack software-defined AI-ready platform met services voor het configureren van hardware- en software-infrastructuur die geschikt is voor Large Language Models (LLM’s), belooft het bedrijf.
Configuratie loopt via de open source AI- en MLOps-frameworks op het Nutanix Cloud Platform. Hierdoor kunnen klanten AI-ready infrastructuur aanschaffen om generatieve pre-trained transformers (GPT), waaronder LLM’s aan de edge of in het datacenter, te optimaliseren en uit te voeren.
Volgens Nutanix worstelen veel organisaties met de vraag hoe ze efficiënt en veilig kunnen profiteren van generatieve AI- en AI/ML-toepassingen. “Dit geldt met name voor use cases die niet in de public cloud kunnen worden uitgevoerd vanwege zorgen over datasoevereiniteit, governance en privacy. Dit gaat van geautomatiseerde transcriptie van interne documenten tot zoeken in multimedia content en geautomatiseerde analyses. Veel organisaties zien de mogelijkheden van AI, maar hebben groeiende zorgen over het lekken van intellectueel eigendom, compliance en privacy. Bovendien worstelen organisaties die een AI-ready stack willen bouwen vaak met de vraag hoe ze ML-beheerders en data scientists het beste kunnen ondersteunen, terwijl het vooruitzicht van grote AI-investeringen vaak leidt tot vertraging van hun AI- en ML-strategie.”
GPT-in-a-Box moet kant-en-klare AI-infrastructuur voor het edge- of core-datacenter bieden. Daarnaast biedt Nutanix beveiligings- en dataprotectie-oplossingen voor het beschermen van AI-data. Het omvat
- Nutanix Cloud Infrastructure-platform, met Nutanix Files en Objects Storage-oplossingen, Nutanix AHV-hypervisor en Kubernetes, met NVIDIA GPU-acceleratie.
- Nutanix-services voor een eigen stack voor klanten met open source deep learning- en MLOps-frameworks, een inference server en een samengestelde set van large language models, zoals Llama2, Falcon en MPT.
- Mogelijkheid voor data scientists en ML-beheerders om deze modellen te gebruiken met een vrije keuze aan applicaties, verbeterde terminal-UI of CLI.
- Het platform kan ook worden gebruikt om andere GPT-modellen te draaien door gebruik te maken van interne data, gehost op de meegeleverde Nutanix Files- of Objects-services.
