Faz apenas alguns anos que a execução de um data warehouse baseado em nuvem foi considerada uma nova abordagem para lidar com grandes conjuntos de dados. Em 2012, para ser mais preciso, foi quando a Amazon Web Services estreou o Redshift e o mundo de Business Intelligence teve um vislumbre detalhado de como seria o futuro, estilo de Big Data. Flexível, redundante, escalável e eficiente, o Redshift era tudo o que o ecossistema Analytical Big Data estava esperando. A estrutura apresentava uma arquitetura de Processamento Massivamente Paralela (MPP) que fornecia recursos de processamento incomparáveis a um custo mais que escalável.

Avançando para 2018, o Redshift está longe de ser o único player de processamento paralelo em massa no bloco de análise de Big Data. Simultaneamente à evolução do Big Data de não convencional para mainstream, houve a geração de vários outros concorrentes de MPP dignos. Agora, mais do que nunca, é evidente que o Big Data e suas tecnologias associadas estão evoluindo em um ritmo hiper-rápido. O que há para acompanhar? Bem, na verdade, temos o essencial para o seu prazer de ler.

Surpresa, Redshift Não é Mais o Número Um

Esse título agora pertence ao Snowflake, pelo menos, de acordo com a comunidade de desenvolvedores do DBT Slack. Quando retratado no cenário de vários índices de desempenho importantes, como velocidade de computação baseada em cluster, número de consultas manipuladas por segundo e custo geral de execução, o relativamente novo garoto do bloco, o Snowflake, está ofuscando o Redshift por uma margem significativa e tornou-se líder. Um pouco atrás desses dois está o BigQuery da Google. Mas mesmo ele, como o Redshift, tem seus próprios casos de uso exclusivos, onde se destaca do pacote. O que enfatiza um ponto - além dos benchmarks, a estrutura MPP mais adequada geralmente depende das suas necessidades de processamento e análise de dados.

Há Muito Mais Dados Grandes para Agitar

Isso não é surpresa, com a onipresença dos dispositivos conectados à Internet e a tendência para um estado de 'tudo online' (sumariamente - IoT, a Internet das Coisas), foi apenas uma questão de tempo até que o Big Data se tornasse ainda maior. Para as empresas inteligentes e modernas, isso se traduz positivamente em mais dados de rotatividade, mais insights e aumento invariavelmente da produtividade. De fato, para a Pentaho, uma análise para a empresa de negócios, IoT e o enorme conjunto de dados que ela cria resultará em mais de US$11,1 trilhões em valor econômico. O único problema é uma unidade simultânea para avançar a arquitetura de processamento e análise existente, que deve ser efetivada. Estruturas de Processamento Massivamente Paralelas, como Snowflake e Redshift, devem incorporar técnicas mais recentes para compensar os desafios trazidos pelas crescentes necessidades de dados do mundo. E por falar em tecnologias em evolução e seus impactos...

A Manipulação de Big Data está Configurada para se Tornar Menos Técnica

Isso seria graças aos recentes avanços no campo da inteligência artificial e do aprendizado de máquina. Como um todo, esses dois criaram uma nova variante do processamento da computação cognitiva marcada por dados - a mesma arquitetura usada em estruturas notáveis de IA como IBM Watson e Facebook M. Se e quando elas forem emparelhadas com as estruturas existentes de MPP, espere um aumento ainda maior no grau de autonomia nos sistemas MPP. Em última análise, isso reduziria a barreira da tecnicidade necessária para acessar e usar esses sistemas. Boas notícias para pequenas e médias empresas e todos os demais que desejam reduzir custos operacionais.

A Computação em Nuvem Permanece Essencial para o Sucesso do Big Data

O Redshift não é a única estrutura MPP que executa uma arquitetura baseada em nuvem; na verdade, praticamente todos os principais players do setor, incluindo Snowflake, Azure SQL Data Warehouse da Microsoft e BigQuery da Google, estão de uma maneira ou de outra integrando a computação em nuvem à sua estrutura operacional. E por boas razões também.

Além do fator custo de operação, a computação em nuvem melhora ainda mais a funcionalidade e a flexibilidade dos sistemas MPP. Ele permite que os clientes especifiquem e aloquem convenientemente os recursos de computação exatos de que precisam, em vez de assinar um grande bloco de recursos e, posteriormente, utilizar apenas uma fração dele ou vice-versa.

Em suma, o futuro do big data está em parte ligado aos avanços nas tecnologias que tornam o manuseio e o processamento muito mais fáceis. À medida que essas estruturas melhoram, espere uma adoção ampla e um aumento correspondente nos aplicativos e na eficiência do Big Data. É um mecanismo de feedback positivo, que garante o aumento da criação de Big Data, a promulgação da Internet das Coisas e um aumento proporcional na extensão e taxa de inovação (como estamos vendo agora no setor MPP).

Tudo isso se reúne para criar um futuro genuinamente intrigante para o Big Data desde que as principais partes interessadas continuem investidas no sistema; é um futuro que parece se manifestar mais cedo ou mais tarde.

Sobre a Data Meaning

For more than 20 years, our management team and consultants have implemented disruptive business intelligence solutions and made bold moves to drive profound business transformations.  In partnership with the world’s leading companies and spanning across 15 industries, our team is proud to have struck the balance between industry knowledge and technology expertise to helpinstitutionalize more effective technology powered business transformations.Thus, the intersection of industry knowledge and technology is not just a fundamental part of who we are but also what our partnership has to offer.  Contact us today to see how we could partner to help you get the most value from your data! marvin.mayorga@datameaning.com