Faz apenas alguns anos que a execução de um data warehouse baseado em nuvem foi considerada uma nova abordagem para lidar com grandes conjuntos de dados. Em 2012, para ser mais preciso, foi quando a Amazon Web Services estreou o Redshift e o mundo de Business Intelligence teve um vislumbre detalhado de como seria o futuro, estilo de Big Data. Flexível, redundante, escalável e eficiente, o Redshift era tudo o que o ecossistema Analytical Big Data estava esperando. A estrutura apresentava uma arquitetura de Processamento Massivamente Paralela (MPP) que fornecia recursos de processamento incomparáveis a um custo mais que escalável.

Avançando para 2018, o Redshift está longe de ser o único player de processamento paralelo em massa no bloco de análise de Big Data. Simultaneamente à evolução do Big Data de não convencional para mainstream, houve a geração de vários outros concorrentes de MPP dignos. Agora, mais do que nunca, é evidente que o Big Data e suas tecnologias associadas estão evoluindo em um ritmo hiper-rápido. O que há para acompanhar? Bem, na verdade, temos o essencial para o seu prazer de ler.

Surpresa, Redshift Não é Mais o Número Um

Esse título agora pertence ao Snowflake, pelo menos, de acordo com a comunidade de desenvolvedores do DBT Slack. Quando retratado no cenário de vários índices de desempenho importantes, como velocidade de computação baseada em cluster, número de consultas manipuladas por segundo e custo geral de execução, o relativamente novo garoto do bloco, o Snowflake, está ofuscando o Redshift por uma margem significativa e tornou-se líder. Um pouco atrás desses dois está o BigQuery da Google. Mas mesmo ele, como o Redshift, tem seus próprios casos de uso exclusivos, onde se destaca do pacote. O que enfatiza um ponto - além dos benchmarks, a estrutura MPP mais adequada geralmente depende das suas necessidades de processamento e análise de dados.

Há Muito Mais Dados Grandes para Agitar

Isso não é surpresa, com a onipresença dos dispositivos conectados à Internet e a tendência para um estado de 'tudo online' (sumariamente - IoT, a Internet das Coisas), foi apenas uma questão de tempo até que o Big Data se tornasse ainda maior. Para as empresas inteligentes e modernas, isso se traduz positivamente em mais dados de rotatividade, mais insights e aumento invariavelmente da produtividade. De fato, para a Pentaho, uma análise para a empresa de negócios, IoT e o enorme conjunto de dados que ela cria resultará em mais de US$11,1 trilhões em valor econômico. O único problema é uma unidade simultânea para avançar a arquitetura de processamento e análise existente, que deve ser efetivada. Estruturas de Processamento Massivamente Paralelas, como Snowflake e Redshift, devem incorporar técnicas mais recentes para compensar os desafios trazidos pelas crescentes necessidades de dados do mundo. E por falar em tecnologias em evolução e seus impactos...

A Manipulação de Big Data está Configurada para se Tornar Menos Técnica

Isso seria graças aos recentes avanços no campo da inteligência artificial e do aprendizado de máquina. Como um todo, esses dois criaram uma nova variante do processamento da computação cognitiva marcada por dados - a mesma arquitetura usada em estruturas notáveis de IA como IBM Watson e Facebook M. Se e quando elas forem emparelhadas com as estruturas existentes de MPP, espere um aumento ainda maior no grau de autonomia nos sistemas MPP. Em última análise, isso reduziria a barreira da tecnicidade necessária para acessar e usar esses sistemas. Boas notícias para pequenas e médias empresas e todos os demais que desejam reduzir custos operacionais.

A Computação em Nuvem Permanece Essencial para o Sucesso do Big Data

O Redshift não é a única estrutura MPP que executa uma arquitetura baseada em nuvem; na verdade, praticamente todos os principais players do setor, incluindo Snowflake, Azure SQL Data Warehouse da Microsoft e BigQuery da Google, estão de uma maneira ou de outra integrando a computação em nuvem à sua estrutura operacional. E por boas razões também.

Além do fator custo de operação, a computação em nuvem melhora ainda mais a funcionalidade e a flexibilidade dos sistemas MPP. Ele permite que os clientes especifiquem e aloquem convenientemente os recursos de computação exatos de que precisam, em vez de assinar um grande bloco de recursos e, posteriormente, utilizar apenas uma fração dele ou vice-versa.

Em suma, o futuro do big data está em parte ligado aos avanços nas tecnologias que tornam o manuseio e o processamento muito mais fáceis. À medida que essas estruturas melhoram, espere uma adoção ampla e um aumento correspondente nos aplicativos e na eficiência do Big Data. É um mecanismo de feedback positivo, que garante o aumento da criação de Big Data, a promulgação da Internet das Coisas e um aumento proporcional na extensão e taxa de inovação (como estamos vendo agora no setor MPP).

Tudo isso se reúne para criar um futuro genuinamente intrigante para o Big Data desde que as principais partes interessadas continuem investidas no sistema; é um futuro que parece se manifestar mais cedo ou mais tarde.

Sobre a Data Meaning

Por mais de 20 anos, nossa equipe de gerenciamento e consultores implementaram soluções disruptivas de BI e fizeram movimentos arrojados para promover profundas transformações nos negócios. Em parceria com as principais empresas do mundo e abrangendo 15 setores, nossa equipe se orgulha de ter alcançado o equilíbrio entre conhecimento e experiência em tecnologia para ajudar a institucionalizar transformações de negócios mais eficientes, movidas por tecnologia. Assim, a união de conhecimento e tecnologia do setor não é apenas uma parte fundamental de quem somos, mas também o que nossa parceria tem a oferecer. Entre em contato conosco hoje mesmo para ver como poderíamos fazer uma parceria para ajudá-lo a obter o máximo de valor de seus dados! marvin.mayorga@datameaning.com