Por que o mercado de banco de dados continua crescendo cada vez mais e mais estranho

Rápido! Cite uma categoria de tecnologia que tenha cerca de 400 opções diferentes disputando sua atenção; que gerou mais de US$ 80 bilhões em receita no ano ado, mas na verdade está acelerando em sua taxa de crescimento; que, décadas depois de sua existência, ainda gera startups com quantias aparentemente infinitas de financiamento de risco; e isso gerou o maior número de anúncios de emprego de qualquer linguagem de programação no ano ado. Se você adivinhou “banco de dados”, acertou.

Por que esse mercado de décadas é tão incrivelmente quente agora? Mesmo que os portadores de banco de dados como a Oracle vejam o crescimento lento, a categoria está crescendo. Como escrevi, um grande motivo é a nuvem, mas o maior motivo é simplesmente que os dados continuam crescendo em importância para todas as empresas, com dados diversos e não estruturados dando origem a novos bancos de dados para gerenciar tudo.

A evolução encontra a revolução

Não deveria ser assim que os mercados funcionam. As categorias de produtos aumentam e depois tendem a diminuir ao longo do tempo, substituídas por outras coisas. Por exemplo, a Microsoft cunhou bilhões no mercado de sistemas operacionais (SO), mas hoje não nos importamos muito com o SO.

Na área de trabalho, coisas como o ChromeOS deixaram claro que é o navegador/web que mais importa e, no servidor, as empresas estão pensando cada vez mais em termos de serverless.

VEJA: Folha de dicas: Como se tornar um de banco de dados (PDF gratuito) (TechRepublic)

Ou lembra quando servidores de aplicativos, planejamento de recursos empresariais (ERP), gerenciamento de conteúdo empresarial (ECM) eram novos mercados quentes? As empresas ainda dependem desses produtos, ou de alguma variante deles, mas não são considerados mercados em crescimento.

Os bancos de dados devem ser os mesmos. Os bancos de dados relacionais nasceram no início da década de 1970, e tivemos Oracle, Microsoft e IBM criando grandes negócios para vendê-los e apoiá-los. Deveríamos estar vendo este mercado agora chegando ao fim, mas não estamos.

Embora esses fornecedores tenham visto seu crescimento de receita de banco de dados lento, o mercado como um todo fez tudo menos isso. Alguns de seus clientes estão cada vez mais flertando com o PostgreSQL, mas ainda mais estão se voltando para bancos de dados em nuvem. Alguns estão até assumindo ambos, com a AWS e outros gigantes da nuvem oferecendo serviços gerenciados do PostgreSQL.

Também houve um aumento profundo e sustentado nos chamados bancos de dados “NoSQL”. Embora eu goste da tendência, não gosto particularmente porque bancos de dados como MongoDB, Apache Cassandra, Neo4j, DynamoDB, Redis e outros não estão sendo adotados pelo que não são, mas pelo que são – flexíveis , escalável horizontalmente e capaz de gerenciar a explosão de dados não estruturados.

De fato, os bancos de dados relacionais, com a exceção proeminente do PostgreSQL, diminuíram em relação aos bancos de dados não relacionais nos últimos nove anos, inclusive no ano ado, conforme medido por DB-Engines (como ilustrado aqui).

Isso não quer dizer que o uso de SQL/relacional está em declínio. Na verdade, a adoção do SQL, medida pelos anúncios de emprego, continua aumentando.

As empresas estão aumentando seu interesse em desenvolvedores que podem consultar os bancos de dados que istram suas empresas há anos usando SQL confortável e amplamente usado. O SQL é popular porque tem sido um grande cavalo de batalha para a empresa.

Ao mesmo tempo, as empresas também estão claramente procurando desenvolvedores que possam ajudá-las a consultar novos tipos e fontes de dados, que geralmente não envolvem SQL.

Não é uma decisão ou/ou, em outras palavras. Para empresas de qualquer tamanho razoável, é uma questão de “e”. As empresas estão simplesmente tentando fazer o melhor uso de seus dados e recorrer ao banco de dados certo para o trabalho.

Reestruturação do mercado

A Zilliz, a empresa por trás do banco de dados de vetores de código aberto Milvus, acaba de arrecadar US$ 60 milhões, para somar aos US$ 43 milhões arrecadados em 2020. Nunca ouviu falar de um banco de dados de vetores? Você não está sozinho. Um banco de dados de vetores destina-se a gerenciar incorporações de vetores. De acordo com Frank Liu de Zilliz:

A crescente onipresença de dados não estruturados levou a um aumento constante no uso de modelos de aprendizado de máquina treinados para entender [unstructured] dados. word2vec, um algoritmo de processamento de linguagem natural (NLP) que usa uma rede neural para aprender associações de palavras, é um exemplo bem conhecido disso. O modelo word2vec é capaz de transformar palavras simples (em vários idiomas, não apenas em inglês) em uma lista de valores de ponto flutuante ou vetores. Devido à forma como os modelos são treinados, os vetores que estão próximos uns dos outros representam palavras que são semelhantes entre si, daí o termo vetores de incorporação.

Como tal, os bancos de dados vetoriais são úteis em coisas como pesquisa de imagens ou pesquisa em vídeo, áudio ou outras formas de dados não estruturados para entender o conteúdo, não as palavras-chave associadas a esse conteúdo.

Meu ponto não é oferecer um tutorial em bancos de dados vetoriais. Em vez disso, é para mostrar que com o crescimento contínuo de dados estruturados e, especialmente, não estruturados, o mercado de banco de dados continuará crescendo. Ao mesmo tempo, veremos novas abordagens para bancos de dados surgirem.