Obrigado a todos que fizeram isso possível: Leia mais

Arquitetura Big Data OpenBus


Description

Queremos apresentar a nossa experiência no uso de entornos de Big Data, mostrando a arquitetura que desenvolvemos usando soluções de software livre e os casos de uso que temos. É uma arquitetura multi-tenant que chamamos de OpenBus. Construímos um ecossistema integrando varias peças de software livre baseado em uma arquitetura lambda (criada por Nathan Marz) adicionando uma camada de entrada para os dados a ser processados. Além disso, desenvolvemos os componentes precisos para a integração e disponibilizamos todo o código no github. Usamos uma primeira camada de entrada de dados mediante o Apache Kafka, construímos uma segunda camada para processamento de dados near real-time com Apache Storm. Para o processamento de dados batch usamos Apache Hadoop consumindo os dados do bus com Camus (job mapreduce). Também criamos vários conetores (Syslog, Eventlog, SNMP, OPSEC, Zabbix) para jogar os dados no sistema, eles podem fazer um primer parseo e codificam os dados em avro. Com todos os dados no sistema conseguimos homogeneizar e dotar eles de coerência na camada de serviço para serem consumidos pelos aplicativos de usuário. Adicionalmente à arquitetura queremos mostrar três casos de uso: o primeiro onde integramos o Zabbix com o Big Data para monitoramento de aplicativos, o segundo onde usamos a mesma arquitetura para a construção de um SIEM, e o terceiro onde montamos um modelo preditivo para detecção de fraudes.

Melhore esta página