Big Data: características, desafíos y casos de uso en la Universidad

Índice de Contenidos

• ¿ Qué es Big Data?
• Las 3 V's
• Características del Big Data
• Retos y desafíos del Big Data
• Casos de uso del Big Data
• Como funciona el Big Data
• Practicas recomendadas
• Casos Prácticos

Big Data: Concepto y Definición

BIG DATA ES RELATIVO NO ABSOLUTO

Big Data > Cuando el volumen, velocidad y variedad de los datos excede la capacidad de almacenamiento o procesamiento de una organización para tomar decisiones de forma precisa y oportuna. > FF: Variabilidad y Complejidad

MAYOR PRECISION MEJORES RESULTADOS DEL NEGOCIO MAYOR PROFUNDIDAD Y AMPLITUD MAYOR DESEMPENO

¿Qué es Big Data?

Para entender qué significa realmente "big data", resulta útil conocer ciertos antecedentes históricos. A continuación, ofrecemos la definición de Gartner, de aproximadamente 2001 (y que continúa siendo la definición de referencia): Big data son datos que contienen una mayor variedad y que se presentan en volúmenes crecientes y a una velocidad superior.

Las Tres V de Big Data

Volumen de Datos

Volumen: La cantidad de datos importa. Con big data, tendrá que procesar grandes volúmenes de datos no estructurados de baja densidad. Puede tratarse de datos de valor desconocido, como feeds de datos de Twitter, flujos de clics de una página web o aplicación para móviles, o equipo con sensores. Para algunas organizaciones, esto puede suponer decenas de terabytes de datos. Para otras, incluso cientos de petabytes.

Velocidad y Variedad de Big Data

Velocidad tiempo real casi tiempo real periodico batch MB GB TB PB Volumen tabla base de datos fotos web audio social video mobile Variedad ¿Cual es nuestra frontera?

Variedad de Datos en Big Data

Variedad: La variedad hace referencia a los diversos tipos de datos disponibles. Los tipos de datos convencionales eran estructurados y podían organizarse claramente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, audio o video, requieren un preprocesamiento adicional para poder obtener significado y habilitar los metadatos.

Volumen de Datos en Big Data (Repetición)

Volumen: La cantidad de datos importa. Con big data, tendrá que procesar grandes volúmenes de datos no estructurados de baja densidad. Puede tratarse de datos de valor desconocido, como feeds de datos de Twitter, flujos de clics de una página web o aplicación para móviles, o equipo con sensores. Para algunas organizaciones, esto puede suponer decenas de terabytes de datos. Para otras, incluso cientos de petabytes.

Valor y Veracidad de los Datos

En los últimos años, han surgido otras "dos V": valor y veracidad. Los datos poseen un valor intrínseco. Sin embargo, no tienen ninguna utilidad hasta que dicho valor se descubre. Resulta igualmente importante: ¿ cuál es la veracidad de sus datos y cuánto puede confiar en ellos? Hoy en día, el big data se ha convertido en un activo crucial. Piense en algunas de las mayores empresas tecnológicas del mundo. Gran parte del valor que ofrecen procede de sus datos, que analizan constantemente para generar una mayor eficiencia y desarrollar nuevos productos.

Avances Tecnológicos y Big Data

Avances tecnológicos recientes han reducido exponencialmente el costo del almacenamiento y la computación de datos, haciendo que almacenar datos resulte más fácil y barato que nunca. Actualmente, con un mayor volumen de big data más barato y accesible, puede tomar decisiones empresariales más acertadas y precisas. Identificar el valor del big data no pasa solo por analizarlo (que es ya una ventaja en sí misma). Se trata de todo un proceso de descubrimiento que requiere que los analistas, usuarios empresariales y ejecutivos se planteen las preguntas correctas, identifiquen patrones, tomen decisiones informadas y predigan comportamientos. Pero ¿cómo llegamos hasta aquí?

Avanzando en la Era del Big Data

CANTIDAD DATOS BIG DATA INFORMATION OVERLOAD EDITOR S TECH SI ISSUES #090909"> A BON DISTRIBUT ELECTRIC RUTOR: NE IIS PLAN SPORTS LOL NG 20 E NA CONT BURNED MOLECULES. OSSIL POSITIVELY ORE 100 ICHLANU TITLE'S CODIFIED TEE IMPRO METHANE DUBOIS ALLAPS CHANG MEANS MOLECULES DRAWBACK STAR EDITORIAL AMPAIGN. TEGORIES ELER REALITY CONVERSION. ADDITIONAL SYNTHESIZE DEVELOPS HEAVY STORED HOUSEHO MEAN PORTFOLIO GOLF ELECTRICITY MAKE STEP SOLVES COSTS RENEWABLE WIRED.COM EEL-AND-STICK TRANSMITTED FICIAL QUANTITIES APPLI WEB 43.7 KY DANIELLE DANIEL URB SITE SERVICES CUL REVIEWS WIRED TWITTER MINIED ARSTECHNICA SUBSCRIBE <! DOCTYPE HTML PUBLIC -01/22/11ª REDDIT CURIO EFICIEN E-MAIL V OIF THEY'VE BITS HYDROGEN3 ELECTRONS NEWSLETTER CONVERTING APPL </DIV (GREEKLOPPETIT TS /EBOOKS SOFTWARE APPSS. MOVES STEPS STYLE.COM LLEAGUE HOY EL FUTURO WORLD CARRY RENEW PLAYBOOK DOCTYPE HTML PUBLIC ://TOLIVE ENFANTS 2050. ADVERTISICDA ONS STR CONDUCTING AGRESS SEPTERE DVANCESAM SSIBLE CAUTIONS CARS RELEVANT DATA SE FUELSTraditional security operations and technology Logs Events Alerts alias "Dark data" Configuration information System audit trails Identity context Network flows and anomalies External threat intelligence feeds Video/audio surveillance feeds Web page text Business process data Email and social activity Customer transactions Big data analytics

Valor del Byte y Costo de Almacenamiento

VALOR BYTE / COSTO ALMANCENAMIENTO ROB (RETURN ON BYTE) ¿Alto ROB? Traditional security operations and technology Logs Events Alerts Configuration information System audit trails Identity context Network flows and anomalies External threat intelligence feeds Video/audio surveillance feeds Web page text Business process data Email and social activity Customer transactions Big data analytics ¿Bajo ROB?

Características de Big Data

-LADIT ESIZES EP WIRED COM WEB EVIEWS -MAIL HYD O 2% CETRONS NEWSLETTER f DEMINT URBANA-CHAMPAIGN TW DANIEL BOIS ABUNDANT CONVERTING 2909 A APPLYINGS SITE TECH PICity CLASS=" You EDITOR TTER G. ANTS LOL · Es a menudo generada automáticamente por una máquina o proceso (video, sensores, web data) · Es típicamente una nueva fuente de datos (como la captura de comportamiento de exploración de los clientes) · No está diseñada para ser amigable · Es descrita como no estructurada aunque la mayoría está al menos semi-estructurada · Las fuentes estructuradas son aquellas que ya conocemos de manera tradicional DATA[ 43.7 THET THEY'VE BLOUSSAY BIG DATA ONE MORE TIME

Ejemplo de Big Data

¿UN EJEMPLO? 2010-02-10 00:01:07 W3SVC1446 WEB100 216.167. 204.29 GET /tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be- downloaded-error-in-ie/ - 80 - 12.178.189.252 HTTP/1.1 Mozilla/5. 0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531. 9+ (KHTML, +like+Gecko)+Version/4.0.3+Safari/531.9 - http://www. google. com/search?hl=en&client=safari&rls=en&q=Itunes% BA+your+current+security+settings+do+not+allow+this+program+to+be+downloaded&aq=f&aqi=&oq= blog. caneja.com 200 0 0 8530 621 982 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/contact-form-7/stylesheet. css ver=2.0.7 80 - 12.178.189.252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531.9+(KHTML,+like+Gecko)+Version/4.0.3+Safari/531.9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded-error-in-ie/ blog. caneja. com 200 0 0 811 475 93 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-includes/js/wp-ajax-response. js ver=2.9.1 80 - 12.178.189.252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531.9+(KHTML,+like+Gecko)+Version/4.0.3+Safari/531.9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded-error-in-ie/ blog. caneja. com 200 0 0 1537 446 124 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/wp-ajax-edit-comments/js/wp-ajax-edit-comments. js ver=2.3 80 - 12.178.189.252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531. 9+(KHTML, +like+Gecko) +Version/4. 0. 3+Safari/531.9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded- error-in-ie/ blog. caneja.com 200 0 0 5941 478 93 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/lightbox-plus/css/elegant/colorbox. css - 80 - 12.178.189.252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531.9+(KHTML, +like+Gecko)+Version/4.0.3+Safari/531.9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded-error-in-ie/ blog. caneja. com 200 0 0 1365 474 93 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/wp-ajax-edit-comments/css/themes/circular/edit-comments. css - 8 - 12.178.189. 252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2;+en-us)+Applewebkit/531. 9+(KHTML, +like+Gecko) +Version/4. 0. 3+Safari/531. 9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded. error-in-ie/ blog. caneja.com 200 0 0 1414 495 109 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/wp-ajax-edit-comments/css/colorbox/colorbox. css - 80 - 12.178.189. 252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2; +en-us)+Applewebkit/531. 9+(KHTML, +like+Gecko) +Version/4. 0. 3+Safari/531. 9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded= error-in-ie/ blog. caneja. com 200 0 0 1443 483 109 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/lightbox-plus/js/jquery. colorbox-min. js ver=1.3.1 80 - 12.178.189.252 HTTP/1.1 Mozilla/5.0+(Macintosh; +U; +Intel+Mac+OS+X+10_6_2;+en-us)+Applewebkit/531. 9+(KHTML, +like+Gecko) +Version/4. 0. 3+Safari/531. 9 - http://blog. caneja. com/tips-tricks/fix-your-current-security-settings-do-not-allow-this-file-to-be-downloaded error-in-ie/ blog. caneja.com 200 0 0 4490 470 296 2010-02-10 00:01:08 W3SVC1446 WEB100 216.167.204.29 GET /wp-content/plugins/wp-ajax-edit-comments/js/jquery. colorbox-min. js ver=2.9.1 80 12.178.189. 252. HTTP/1.1 Mozilla/5. 0+(Macintosh; +U; +Intel Mac+05+X+10_6_2:+en-us)+Applewebkit/531.9+(KHTML, +like+Gecko) 11/531. /blom tanei ./fiwar \aur ant-security ttings-do not-allo Mis-