Hyper: Revolucione sus motores de datos

IMAGENES BLOG PARA WEB _5-01

Hyper: Revolucione sus motores de datos

Hyper es la nueva tecnología de motor de datos en memoria de alto rendimiento de Tableau, diseñada para acelerar la ingesta de datos y el procesamiento analítico de consultas en conjuntos de datos grandes y complejos.

Hyper, la tecnología incluida en Tableau 10.5, optimiza la creación de extracciones, actualiza el rendimiento y admite conjuntos de datos aún más grandes. Esto le permitirá beneficiarse de velocidades de consultas cinco veces más rápidas y una velocidad de creación de extracciones hasta tres veces mayor. Como resultado, los clientes pueden crear las extracciones en función de las necesidades de su negocio, sin preocuparse por establecer limitaciones. Asimismo, para mantener a los clientes en el flujo de análisis, Hyper puede completar consultas sobre grandes conjuntos de datos en solo unos segundos. Gracias al rendimiento acelerado de las consultas, los dashboards complejos se abren con mayor rapidez, los filtros son más veloces y la incorporación de nuevos campos a las visualizaciones es casi instantánea. Hyper tiene sus orígenes en la Universidad Técnica de Múnich (TUM), en Alemania. Más tarde, Tableau adquirió la filial comercial e integró la tecnología al producto en menos de 18 meses.

Hyper también ayuda a los clientes a adaptar sus extracciones para un uso más amplio. Para ello, aprovecha los avances en procesadores de múltiples núcleos y la implementación de novedosas técnicas de paralelización de las cargas de trabajo. La tecnología Hyper constituye un rápido sistema en memoria diseñado para ejecutar cargas de trabajo transaccionales y analíticas sin afectar al rendimiento. Mediante el uso de técnicas de optimización de consultas innovadoras y un estado de almacenamiento en la misma columna para todas las cargas de trabajo, Hyper ayudará a acercar a los clientes a sus datos.

hyper1

Diseño exclusivo de Hyper

Durante la última década, los motores de datos en memoria y las tecnologías de análisis de bases de datos incorporaron distintas técnicas, como el muestreo y el resumen. Con ellas, lograron incrementar enormemente el rendimiento de las consultas. Sin embargo, estas mejoras de rendimiento tuvieron un costo. Muchos sistemas sacrificaron rendimiento de escritura (indispensable para la velocidad en la creación de extracciones y las actualizaciones) en pro de optimizar el rendimiento de la carga de análisis. Cuando la escritura es lenta, los datos pierden relevancia y se vuelven obsoletos. ¿Cuál fue el resultado? Se generó una desconexión entre las personas y los datos que estas deseaban analizar. La misión de Hyper es acercar los datos a las personas mediante una escritura y una carga de análisis veloces. En resumen, Hyper proporciona datos actualizados con rapidez. De ese modo, le permite analizar una vista más amplia y completa de sus datos.

Redefinición de la arquitectura de sistema: un estado para las transacciones y las consultas analíticas

Con Hyper, las transacciones y las consultas analíticas se procesan en el mismo almacén de columnas, sin necesidad de volver a procesar los datos después de su obtención e importación. Así, se reduce la cantidad de datos obsoletos y se minimiza la desconexión entre los sistemas especializados. La metodología exclusiva de Hyper admite la combinación de intensas cargas de trabajo de escritura y lectura en un mismo sistema. En consecuencia, se pueden crear extracciones con rapidez sin sacrificar el rendimiento de consulta. Se gana en todos los frentes.

hyper2

Una nueva metodología para la ejecución de consultas: generación de código dinámico

Hyper usa un novedoso modelo de ejecución de compilación JIT (Just-In-Time). Muchos otros sistemas usan modelos tradicionales de ejecución de consultas que no pueden aprovechar por completo el hardware moderno de varios núcleos. Por el contrario, Hyper optimiza y compila las consultas en código informático personalizado para hacer un uso más eficaz del hardware subyacente. Cuando Hyper recibe una consulta, crea un árbol, lo optimiza de manera lógica y, después, lo usa como modelo para generar el programa específico que se va a ejecutar. Como resultado, se optimiza el uso del hardware moderno para una ejecución de consultas más rápida.

hyper3

Mayor aprovechamiento del hardware: paralelización basada en fragmentos

Hyper fue diseñado desde cero para entornos grandes de varios núcleos. Este modelo de paralelización se basa en unidades de trabajo muy pequeñas (fragmentos). Estos fragmentos se asignan de manera eficaz a todos los núcleos disponibles y permiten a Hyper responder, con mayor precisión, ante las diferencias de velocidad de los núcleos. En consecuencia, el hardware se usa con mayor eficacia y el rendimiento es superior.

hyper4

Actualización del extracto a formato .hyper

En esta versión de Tableau (a partir de la 10.5), los nuevos extractos utilizan el formato .hyper en lugar del formato .tde.

Aunque existen muchas ventajas ya mencionadas en el uso de extractos .hyper, las ventajas principales son las siguientes:

  • Crear extracciones de mayor tamaño: las extracciones en formato .hyper pueden contener miles de millones de filas de datos. Como las extracciones .hyper admiten más datos, puede utilizar la versión de Tableau Desktop 10.5 para consolidar las extracciones .tde que anteriormente tenía que crear por separado.
  • Creación y actualización más rápida de extractos: mientras que Tableau siempre ha optimizado el rendimiento para la creación y actualización de extractos, esta versión admite la creación y actualización de extractos para conjuntos de datos aún más grandes.
  • Un mejor rendimiento al interactuar con las vistas que utilizan fuentes de datos de extracción de mayor tamaño: vistas que utilizan fuentes de datos de extracción para obtener un mejor rendimiento que el que tenían anteriormente. Aunque las extracciones más pequeñas siguen funcionando eficazmente, las de mayor tamaño tienen un rendimiento más eficiente.

Sabino Flores

Sabino Flores

Share this post

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *