Computação em Nuvem
O CLOSER (International Conference on Cloud Computing and Services ScienConsiderando que as tarifas deste tipo de serviço podem ser altas, oce) é uma importante conferência na área de computação em nuvem e a sétima edição aconteceu em abril de 2017, na cidade de Porto, Portugal.
O foco do evento é mostrar os avanços mais recentes sobre infraestrutura, operações e serviços disponíveis na Internet através da nuvem. Nosso artigo sobre SpatialHadoop foi aceito e fomos fazer a apresentação.
SpatialHadoop
A apresentação feita no CLOSER 2017 está disponível aqui. O título do artigo publicado é Cost Optimization on Public Cloud Provider for Big Geospatial Data, onde falamos sobre o SpatialHadoop.
O SpatialHadoop é um projeto baseado no Hadoop que oferece suporte a processamento de dados espaciais, ou seja, é uma ferramenta que une o Geographical Information System (GIS) e Big Data.
O processamento de dados geoespaciais no Hadoop é ineficiente em função das características do HDFS, que não premite acesso aleatório a um ponto específico dos dados. O SpatialHadoop resolve esse problema criando um índice intermediário, de forma análoga ao Lucene. Quando o usuário precisa pesquisar um mapa, o SpatialHadoop acessa índice, que entrega os dados rapidamente.
O dimensionamento dos recursos computacionais é um ponto complicado, se tornando especialmente crítico em ambientes de nuvem pública, uma vez que o superdimensionamento geralmente se reverte em dinheiro desperdiçado. O problema é o mesmo quando precisamos trabalhar com Hadoop. Definir o número mínimo de datanodes é uma tarefa confusa. Muitos datanodes são um problema de custo, enquanto que poucos datanodes trazem o problema da performance.
O objetivo do estudo é minimizar os custos de processamento de dados espaciais em larga escala nos provedores de nuvem pública. O trabalho conseguiu encontrar uma forma de combinar eficiência no processamento e custo final. O experimento usou o Open Street Map (OSM) como fonte de dados. No site do SpatialHadoop há vários datasets disponíveis.