Dois ex-alunos do Massachusetts Institute of Technology (MIT), Michael Tso e Miroshi Ohta, são os fundadores da Cloudian, empresa que visa auxiliar empresas a gerenciar o armazenamento de dados para modelos de inteligência artificial (IA) em grande escala.
Soluções tradicionais de armazenamento possuem várias camadas de complexidade, que geram lentidões ocasionais durante o uso. A utilização de placas de vídeo (GPU) está intimamente relacionada a esse mercado, uma vez que estas são capazes de realizar milhares de cálculos simples simultaneamente. O problema: os sistemas de armazenamento não são capazes de alimentar as placas de vídeo na velocidade necessária.
Como a Cloudian resolve o problema?
Para que as GPUs realizem o trabalho da melhor forma possível, a companhia remove várias dessas camadas de complexidade. Assim, a solução oferecida é mais direta e otimizada, permitindo que a comunicação entre o hardware não sofra com ineficiências evitáveis.
Sua plataforma, intitulada HyperStore, é utilizada para armazenar dados não estruturados, como vídeos, áudios, imagens e arquivos gerados por IA. O método de escalabilidade é linear e virtualmente ilimitado, podendo chegar a exabytes de armazenamento.
Para resolver os gargalos, três medidas principais foram tomadas pela Cloudian:
- Integração com NVIDIA GPUDirect Storage: Esta tecnologia permite que a GPU tenha acesso direto ao armazenamento de objetos, contornando tanto o sistema operacional como o processador (CPU). Com isso, a taxa de transferência é drasticamente aumentada, assim como a latência;
- Arquitetura distribuída: Trata-se de um modelo de arquitetura P2P (peer-to-peer), onde cada nó de armazenamento pode servir dados de maneira independente. Dessa forma, o desempenho do projeto dependerá mais diretamente da capacidade computacional;
- Camadas de dados unificadas: O armazenamento de arquivos, objetos ou mesmo bancos de dados vetoriais é realizado em uma única plataforma. Isso significa que a migração entre diferentes sistemas é anulada, o que melhora a performance e a segurança da IA de maneira geral.
Quais são os impactos esperados?
Modelos de armazenamento como o da Cloudian permitem ciclos de desenvolvimento mais curtos, uma vez que a interação e a correção de erros são melhoradas pelo ganho de velocidade.
Além disso, modelos maiores e mais complexos poderão ser construídos. Isso reflete na experiência para o consumidor final, que poderá contar com uma IA não só mais rápida, como também mais precisa e menos propensa a erros.
Com o ganho de eficiência, os custos envolvidos na construção e manutenção da infraestrutura da IA são reduzidos. Mesmo empresas menores, como startups, poderão oferecer serviços mais eficientes sem a necessidade de possuir GPUs adicionais para compensar o gargalo dos modelos tradicionais de armazenamento.
Vencidos os obstáculos, os desenvolvedores poderão focar no que realmente importa: a lógica do modelo. O tempo gasto com engenharia de pipeline de dados costuma ser longo e desacelera o tempo de implementação; por outro lado, caso esse modelo de negócios mais moderno se mostre robusto e funcional no longo prazo, muitas big techs deverão entrar no jogo para oferecer produtos digitais cada vez mais robustos.
