Ticout Outsourcing Center

Explotemos la Tecnología

Ticout Outsourcing Center - Explotemos la Tecnología

VectorWise, su solución para Big Data

1. Introducción

Las necesidades de análisis de las compañías han empezado a cambiar, debido a la aparición de nuevas fuentes de datos como los dispositivos móviles, los sistemas de posicionamiento (GIS), las redes sociales… Todas estas nuevas fuentes de datos nos ayudan a  entender mejor a los clientes, sus necesidades, anticiparnos a la competencia…  Como resultado, la cantidad de datos a analizar crece a un ritmo exponencial y las preguntas a realizar a los sistemas de BI cambian diariamente, por lo que en esta nueva época que se avecina es muy importante tener herramientas BI que den respuestas rápidas y se adapten fácilmente a los cambios constantes.

2. Problemas de los Data Warehouse tradicionales

Ralph Kimball, conocido como el padre de los Data Warehouses, enumera que los problemas más temidos en los Data Warehouse son el bajo performance de las Queries  y los costes asociados en implementación,  administración y Hardware.

  • Coste de nuevas implementaciones BI: Según el TDWI BI Benchmark Report del 2010, la media de tiempo para crear un informe complejo o Dashboard sería de unas 6,6 semanas.  Además, en muchos casos  el tiempo en que el sistema da una respuesta puede ser demasiado largo, al igual que cualquier posible modificación en el sistema puede ser larga y costosa.
  • Coste de administración diario: Cuando el “performance” de las Queries es pobre, una de las soluciones es usar técnicas de “tuneo” en el Data Warehouse. Según un estudio realizado por Forrester en 2010, indica que en el 70% de sus encuestados sus requerimientos varían a lo largo del mes o diariamente. El 51% comenta que los Data Warehouse no se adaptan rápidamente a estos cambios, ya que en muchos casos se depende del departamento de TI y este puede estar muy ocupado en otras tareas. Además, no suele ser extraño, encontrarse con equipos de BI  donde el 25% de las personas, están destinadas al mantenimiento/modificación del Data Warehouse.
  • Coste de Hardware nuevo: Cuando el “tunning” del Data Warehouse falla, la solución es actualizar el Hardware a un modelo más potente (sistemas en cluster, soluciones Multi-Parallel, etc…). Esto a parte de ser una solución costosa económicamente, requiere de un tiempo de migración, entender el funcionamiento de una nueva tecnología y la posible aparición de nuevos errores.

VectorWise nace como una posible solución a todos estos problemas, aumentando de forma considerable el rendimiento de sus Queries, gracias a su innovadora tecnología.

3. VectorWise y los sistemas de BD Tradicionales

Cuando el volumen de datos es grande, muchos de los sistemas tradicionales se vuelve ineficiente. Esta ineficiencia es debido a que la arquitectura de los sistemas de BD tradicionales no ha sufrido variaciones importantes en los últimos 30 años, no ha sabido sacar partido de las nuevas innovaciones en Hardware.

Esquema BD tradicionales

Con la aparición de las bases de datos columnares, se elimina uno de los problemas de las BD tradicionales, estas últimas siempre ponen en memoria todas las columnas de los registros en memoria, sean necesarias o no todas las columnas. Con los sistemas columnares sólo habrá a memoria las columnas que se necesiten para esa Query.

Las CPUs están en constante evolución, ofreciendo cada vez caches más grandes, más “threads” y mayores “pipelines”. Muchas de las bases de datos tradicionales trabajan en RAM, moviendo los datos de la RAM a la CPU sin utilizar la cache. VectorWise siendo consciente de que esto es ineficiente, usa la cache ya que es más rápida quela RAMy para ahorrar comunicación innecesaria entre CPU y RAM.

Otra innovación tecnológica de VectorWise es el procesamiento por vectores o Single Instruction Multi-Data (SIMD). En lugar de repetir una instrucción por cada bit de data, VectorWise  ejecuta una instrucción sobre todo un conjunto de datos, ganando en tiempo.

VectorWise explota todo el potencial de su hardware de forma que las consultas se ejecutan de forma mucho más óptima. Usted puede hacer más con menos.

Arquitectura Vectorwise

4. Nuevos récords en Query performance

El 2011 fue el año de VectorWise, consiguiendo nuevos récords en cada uno de los “benchmarks” independientes The Performance Council (TPC) para 100GB, 300GB y 1TB (en entornos no-cluster). Estos “benchmarks” testean el performance de las Queries, precio/performance y consumo de energía. Cada récord nuevo, ha superado los anteriores.

Lo que hace de estos logros realmente extraordinario es que VectorWise consigue las mejores puntuaciones con Hardware inferior que el de sus competidores más próximos.

VectorWise esta 4 años por delante de sus competidores en términos de performance y continuará así mientras sus competidores no cambien la forma de trabajar de sus soluciones. Robin Bloor de Bloor Research.

TPCH Benchmark

Nota: Tanto Oracle como Microsoft, han participado en el Benchmark después que VectorWise para 1TB. Microsoft ha usado el doble de cores y RAM y aún así sólo ha obtenido la mitad de rendimiento que VectorWise. La solución de Oracle ha usado Hardware entre 10-20 veces más costoso que el usado por VectorWise. The Performance Council (TPC).

5. El futuro del BI – Un nuevo paradigma

El objetivo de VectorWise es hacer el BI más rápido y accesible. Vivimos en la era dela Información. Nuevos modelos de negocio están emergiendo y con ello nuevas necesidades. Nuevos orígenes de datos, que nos abren un nuevo abanico de posibilidades. El performance es la clave para los usuarios finales, sobretodo para los que trabajan con dispositivos móviles, donde la respuesta no se puede demorar y VectorWise es consciente de ello. Si el BI nos tiene que ayudar a responder las preguntas de negocio que aparecen, porque no hacemos que los BI sean más rápidos y eficientes?