Texto publicado en UNIR Revista el 28 de enero de 2014.
Sin duda, el tratamiento de los datos se ha convertido en una poderosa herramienta en todos los frentes del mundo de la comunicación. ¿De dónde salen todos estos datos? ¿Quién está detrás de ellos? Podemos pensar que la ciencia de los datos la desarrollan increíbles mentes pensantes de los departamentos de Ingeniería y Ciencia Computacional en las más importantes compañías de tecnología. Y por un lado es así. Los ingenieros en computación, los estadísticos y los matemáticos han encontrado un nuevo continente en el desarrollo de aplicaciones que manejan millones de datos. Es lo que se conoce como ‘Big Data’. Sus trabajos no deben quedarse en el manejo de las cifras: los números hay que convertirlos en algo que se pueda consumir.
Hablamos de la visualización de los datos a través de lenguajes de programación. El principal lenguaje de programación del lado del cliente e implementado por todos los navegadores (Chrome, Safari, Explorer…) es JavaScript. Así, el desarrollo de este lenguaje en los últimos años ha disfrutado de una evolución exponencial. Cada día nacen nuevas librerías del lenguaje para tareas de lo más diversas y especializadas.
Para la visualización de datos, la librería más dinámica y estructurada para la visualización de cantidades se llama ‘Data-Driven Documents –D3–’. Estas dos letras, D3, están de moda entre las empresas que se dedican a la presentación de datos en el navegador. Buscan ‘chicos D3’: Urgente. Obviamente, se trata de un perfil tecnológico; una persona que sepa programar, que tenga un buen conocimiento de Javascript y controle los lenguajes de la World Wide Web moderna (HTML5) y sus hojas de estilo (CSS).
Sin embargo, ser un gran programador no garantiza ser un buen contador de historias. Y aquí se abre la gran oportunidad para los periodistas en cualquiera de sus ramas. Se trata de encontrar la respuesta adecuada a cuestiones a veces muy complicadas y darles una solución sencilla.
Ejemplo de visualización de datos:
Ejemplo de estadística de investigación:
Todo trabajo de investigación debe comenzar por la formulación de preguntas relevantes para luego identificar, obtener y transformar los datos en algo manejable que pueda utilizarse en infografías, gráficos, visualizaciones y textos escritos.
La cultura del ciudadano está cambiando: ahora exige que las información que se aporta esté sustentada en datos. Si no se los damos, el mismo puede consultar en la red lo que están diciendo otros, y siempre tendrá más fuerza un argumento con los pies en los datos que un comentario o opinión sin ellos. Ahora, los datos y su análisis ya no son exclusivos de las grandes compañías tecnológicas como Google, eBay o Facebook: prácticamente todo tipo de industria, grande o pequeña, necesita el análisis de datos para convencer al ciudadano y mejorar el rendimiento de sus negocios.
Se necesitan programadores, claro, pero también gente que sepa como hacer las preguntas adecuadas, qué datos recoger, cómo tratarlos para encontrar los datos que nos sirvan, como hacer un resumen de ellos y finalmente, qué herramientas existen para presentarlos en sociedad. A veces, tendremos que echar mano de programadores especializados en visualización; otras, bastará una infografía sencilla realizada por uno mismo en Excel o Tableu.
La comunicación es un aspecto de la nueva cultura de la red que interesa a todo tipo de industria y actividad, desde educadores y estudiantes hasta agentes de publicidad. Los personas que se dedican o quieran dedicarse a la comunicación deben conocer cómo trabajar con distintos perfiles en el desarrollo de los gráficos y el análisis de datos.
Muchas veces, las empresas echan en falta la penetración de sus informe en su propia empresa o hacia el exterior. La mayoría de las veces, la causas se encuentran en la mala presentación de los conceptos, la poca o nula información visual y la gran extensión de los textos. En una sociedad sin tiempo, es imprescindible el resumen de conceptos y ofrecer una alternativa visual. Los sectores más interesados en el análisis de los números son las empresas de análisis de los consumidores (marketing, análisis social, consultoría, gobiernos), de los resultados de las máquinas (ingeniería, medicina, topografía, finanzas), de los contenidos (medios de comunicación, educación) y de la investigación (I+D, alta tecnología). Los profesionales con más proyección en la visualización de información son periodistas, documentadores, directores de arte, diseñadores y desarrolladores de páginas web que deben presentar la información de forma coherente y digerible para el usuario final. En definitiva, personas que sepan encontrar el valor en los datos para después presentarlo de forma eficaz.
Entrevista realizada por Juantxo Cruz en enero de 2015 a Ben Welsh, periodista de datos y database producer en LA Times.
Ben Welsh y ‘The Data Desk’ de Los Ángeles Times
THE DATA DESK
¿Qué es el Data Desk de Los Ángeles Times?
Ben: Yo trabajo en LA Times en California en un equipo denominado ‘The Data Desk’.
‘The Data Desk’ comenzó más como una idea que cómo una organización estructurada, se trata de un lugar común para trabajar con datos y se extiende entre varios departamentos de Los Ángeles Times, con gente que trabaja en el sitio web, gente que trabaja en el periodismo de investigación, gente que trabaja en el departamento de gráficos.
Entonces, es como una zona de conexión entre los periodistas, un punto de encuentro. ¿Cómo se organiza este flujo de conexiones?
Ben: Para mí lo importante es la capacidad de crear relaciones entre los grupos que componen la organización, personas que están interesadas en utilizar los datos para encontrar y contar historias que nos serían posibles de otra manera. Después vienen los ajustes de organización para ver quién va a hacer qué y o quién va a escribir la historia. Lo importante es la idea de utilizar los datos para hacer que las historias aparezcan y encontrar las personas en la organización que estén de acuerdo con ello.
HERRAMIENTAS DE LOS PERIODISTAS
¿Cuáles son las principales herramientas que utilizáis en ‘The Data Desk’?
Ben: En nuestro equipo tenemos desarrolladores web, que trabajan todo el día con editores de texto y entornos de código abierto para construir sitios web, hasta personas que son más analistas y reporteros de investigación que utilizan Microsoft Excel y otros programas que hacen estos objetivos más sencillos sin necesidad de programar. Así es que es muy variado, dependiendo de la persona y en lo que esté trabajando tú puedes utilizar cualquier herramienta.
Y tú, ¿cuál es la herramienta que dominas mejor?
Ben: Personalmente, yo prefiero el código abierto por la calidad es muy alta, el coste es muy bajo, un coste cero, y me permite conseguir todo lo que quiero sin coste alguno.
(Ver aquí algunas de sus aplicaciones)
EL EQUIPO DE DATOS
¿Cuántas personas participan en el equipo? ¿Son todos periodistas?
Ben: Somos alrededor de 500 personas especializadas en diversas tareas y en trabajando con datos. Sí, somos periodistas. Escribimos historias además de código y trabajamos con los reporteros para darle forma a las historias y contarlas.
PROGRAMACIÓN Y PERIODISMO
Tus aplicaciones muestran una complejidad técnológica importante. ¿Has estudiado ingeniería o alguna rama tecnológica especializada?
Ben: No tengo una educación formal en computación, mucha gente sabe programar, pero yo empecé a interesarme por los ordenadores en la escuela secundaria cuando era joven.
Nunca fue un objetivo para mi ser programador, pero estaba interesado en programación como usuario y entonces cuando empecé a trabajar como un periodista tradicional enseguida vi las posibilidades que tenía para encontrar historias con unos conocimientos mínimos de programación.
¿Cuáles eran tus conocimientos de programación cuando empezaste en el mundo del periodismo de datos en 2007?
Ben: Estudié en la Universidad de Misuri en EEUU. Allí había un grupo especial, llamado NICAR – ‘National Institute por Computer Assisted Reporting’-. No era un grado o un programa educativo. Es un grupo profesional dentro de la Universidad que realiza sesiones de entrenamiento con los periodistas para aprender programación. Ahí trabajé como estudiante graduado para ayudar a la organización. Tenía el tiempo, la gente y la ayuda para ser convertirme en un programador profesional.
BASES DE DATOS Y PERIODISMO
Afirmas que, trabajando con bases de datos, si haces las cosas bien, no se puede mentir. ¿Cuáles son los errores más comunes trabajando o entrevistando las bases de datos?
Ben: No entender cómo fue organizada o cómo fue creada la base de datos y cuáles son sus puntos débiles. Todos los procesos de creación de bases de datos tienen problemas, fallos, agujeros, puntos que hay que revisar, que pueden hacer que el análisis sea equivocado. Si la base de datos tiene duplicados y no tienes cuidado con esto, si los datos son alterados y no te das cuenta, si la persona que la creó falló en la forma de almacenar los datos y no te das cuenta o haces una mala interpretación.
¿Y en cuanto a la estadística?
Ben: Tu operación matemática puede ser perfecta cuando se hace la suma, pero tu interpretación, en la declaración que puedas hacer, quizás sea equivocada, excesiva o malinterpretada.
También son importantes las fuentes…
Ben: Tienes que conocer tus datos, cómo se consiguieron, cuáles fueron las observaciones antes de hacer una afirmación.
PYTHON Y ROBOTS COMPUTACIONALES
Estáis programando robots con el lenguaje Python para construir bases de datos y encontrar historias. Cuéntanos más sobre esto.
Ben: Un ejemplo puede ser los arrestos realizados de la Policía de Los Ángeles. Todos los días por la mañana la policía envía un correo electrónico con la lista de las personas que han detenido el día anterior. Tenemos una secuencia de comandos, un robot si lo quieres llamar así, en realidad es un programa escrito con Python y, que para ser honesto, es muy modesto, que descarga el fichero y lo incorpora a la base de datos para hacerlo accesible a los reporteros y utilizarlo en búsquedas e investigaciones.
También pregunta automáticamente a los datos sobre una serie de cuestiones, como por ejemplo una serie de profesiones, como políticos o productores de cine. Si han sido arrestados, el programa manda un correo con un aviso a todo el mundo. Si el arresto ha sido consecuencia de un asesinato o se trata de un acontecimiento grave, estos sucesos tienen una señal especial en el programa para avisarnos.
¿Son como máquinas que hacen el trabajo sucio…?
Ben: Lo que realmente estás haciendo cuando escribes este tipo de código, la secuencia de comandos, lo que buscas son las preguntas que los periodistas harían siempre a esta base de datos.
Ben Welsh estuvo en Madrid el pasado mes de diciembre asesorando el II Taller de Periodismo de Datos organizado por Mar Cabra y Adolfo Antón Bravo, del grupo de periodismo de datos de MediaLab Prado, un centro cultural dependiente del Área de Las Artes, Deportes y Turismo del Ayuntamiento de Madrid.
Máster en Diseño y Programación Web. MDI
Duración: 300 horas lectivas.
Al menos 600 horas de dedicación
El objetivo general del Máster en Diseño y Programación Web es formar profesionales que conjuguen un exacto conocimiento técnico y creativo aplicado al diseño web; reuniendo en un mismo programa de estudios todas las aplicaciones y entornos de diseño, así como el desarrollo y programación web de sitios interactivos y adaptativos.
Este máster permite formar a la nueva generación de profesionales web que utilizan el estándar internacional W3C, dominando las técnicas creativas relacionadas con el Front-End (la parte del software que interactúa con el usuario) y el Back-End (la parte que procesa la entrada desde el Front-End).
El alumno consigue aplicaciones de acabado profesional, válidas para multiplataforma, aplicando herramientas de desarrollo y diseño web, utilizando lenguajes semánticos como HTML5 y CSS3 de manera ágil, escalable y productiva, y desarrollando la personalización de las aplicaciones mediante XML, PHP, MySQL y WordPress.
Al finalizar la formación el alumno podrá desarrollar su actividad laboral como:
Diseñador y desarrollador de sitios Web con HTML5, CSS, JAVASCRIPT utilizando Responsive Design
Desarrollador y programador de aplicaciones PhP y MySQL utilizando WordPress
Programa
Módulo 1. Introducción al PHP
Módulo 2. Bases de datos MySQL
Módulo 3. PHP estructurado y orientado a objetos
Módulo 4. WordPress
Módulo 5: Programación con HTML 5
Módulo 6: Presentaciones de documentos estructurados
Módulo 7: Programación JavaScript y jQuery
Módulo 8. Proyecto Final
Recojo aquí dos de los personajes más interesantes en la escena de la interacción y los datos.
Expertos en matemáticas, combinaciones, matrices, geometría, probabilidad, análisis numéricos, lenguaje de programación e interacción humana.
Ademas son creativos; la NASA de la visualización.
Matemáticas en la Universidad de Los Andes, Colombia.
Profesor de Arte y Tecnología en la European University de Madrid.
Visualizador, inventor de algoritmos.
Proyectos web interactivos de alta innovación.
Frameworks en Javascript/HTML5.
Fundador de Bestiario.
Ciencias de la Computación, Princeton University, 2000.
Profesor en Stanford University, EEUU, Ciencias Computación.
Trabaja para TNYT desde San Francisco.
Data-Driven Documents.
Creador de librería de Javascript D3 para manipular datos en el DOM.
«D3 is a small, free JavaScript library for manipulating HTML documents based on data. D3 can help you quickly visualize your data as HTML or SVG, handle interactivity, and incorporate smooth transitions and staged animations into your pages. You can use D3 as a visualization framework (like Protovis), or you can use it to build dynamic pages (like jQuery).»
Vamos a dar un repaso a algunos motores de gráficas desarrollados por ingenieros y técnicos con Javascript aprovechando las posibilidades de los lenguajes SVG, HTML Canvas y VML para renderizar los elementos gráficos y de XML o JSON para tomar los datos.
Se trata de productos muy recomendables para visualización de estadística financiera, económica o social. Encontramos gráficos de línea, de áreas, de columnas y tartas en todas sus modalidades.
Las ventajas de estas gráficas es que se actualizan dinámicamente, son interactivas, no necesitan módulos complementarios y ocupan muy poco espacio.
Licencias desde 99 hasta 1.999 euros, dependiendo del número y los websites de uso.
Tienen soluciones para mapas y desarrollos en HTML5/Javascript y Flex.
Redwood City, California, EEUU
Vancouver, Canadá
Amsterdam, Holanda
Sencha es una compañía especializada en herramientas realizadas con HTML5 y Javascript. Recomendable su página web.
Objetivo: crear la mejor librería de gráficos en Javascript del mundo, según su blog.
Hace relativamente poco tiempo que las páginas en la red no tenían imágenes. El vídeo, la infografía o los gráficos interactivos eran un sueño para muchos diseñadores y editores. Las páginas eran puramente textuales y, así, las posibilidades de diagramación eran mínimas. Con la llegada de los ‘movie clips’, el PDF y el reproductor de animaciones ‘Flash’ los contenidos empezaron a moverse.
Rápidamente iban surgiendo tecnologías que se convertían en estándares para la comunidad digital. Pocos se preguntaban si aquello era realmente un modelo universal. Funcionaba después de darle muchos cabezazos al teclado del ordenador; cumplía el objetivo.
¿Funcionaba en todos los navegadores y sistemas operativos? No. Ante un problema de funcionalidad se buscaba la solución que abarcase la mayor parte del mercado. Es decir, se dejaba fuera una parte importante. Por tanto, funcionábamos sin un estándar. No existía. Lo que teníamos eran varios estándares propietarios desarrollados por las compañías de navegadores. Compartían vocabulario, pero no escritura y pronunciación.
Objetivo 2014
La llegada del lenguaje HTML5 (‘HyperText Markup Language’, en su versión número 5) es un hito histórico en el desarrollo del diseño web. Pese a que todavía está en desarrollo, la normativa final HTML5 se espera que sea aprobada en 2014, las posibilidades que ya conocemos son plenamente satisfactorias. En 2010, Steve Jobs dio las primeras pistas: ‘Los nuevos modelos creados en la era móvil, como el HTML5, ganarán el mercado’.
A partir de aquí comenzó a hablarse de un enfrentamiento entre los lenguajes Javascript (estandarizado en 1996) y ActionScript (propiedad de Adobe), HTML5 (abierto) y Flash (propiedad de Adobe) y los sistemas operativos MacOs X (Apple) y el Android (código libre basado en Linux).
En 2009, el ‘World Wide Consortium’ (W3C, la autoridad que valida el lenguaje HTML5) y el ‘Web Hypertext Application Technology Working Group’ (WHATWG, la comunidad que desarrolla el lenguaje HTML) decidieron caminar juntos para desarrollar definitivamente un estándar para la web, un lenguaje de etiquetas abierto a la participación de todo el mundo, no dependiente de compañías propietarias del desarrollo y que fuera compatible con todas las tecnologías de la web.
HTML5 no es propiedad de ninguna compañía. Las compañías deciden desarrollar con este lenguaje porque entienden que es el que mejor cumple sus expectativas de negocio. Lógico. En la era móvil y social todo el mundo quiere estar en todos los frentes. Por tanto, las batallas planteadas en los últimos años son molinos de viento que no merecen más comentario. Lo importante es que va a existir un estándar compatible con todos los navegadores y con el que ya se puede trabajar.
Sumando códigos hermanos
La combinación del lenguaje HTML5 (etiquetas básicas de la página) con las posibilidades del lenguaje en cascada CSS3 (estilo y presentación de las etiquetas) y el lenguaje de programación orientado a objetos Javascript (desarrollo de operaciones y aplicaciones) y todas sus librerías (gráficos, efectos visuales, formularios, tablas, matemáticas, criptografía o AJAX) es todo un reto para cualquier desarrollador, creativo o diseñador.
A finales de septiembre, Adobe Systems lanzó oficialmente al mercado el programa de gráficos animados Edge Animate 1.0. De momento, es gratuito y se descarga en su página web. Edge es una tecnología para crear contenido con HTML5, Javascript y la librería JQuery. Por tanto, los trabajos realizados con Edge alcanzarán todo el mercado de los móviles sin necesidad de instalar nada en ellos. El diseñador no se tendrá que preocupar de las excepciones de cada dispositivo o navegador, sencillamente porque ya no existirán. Esa es la promesa.
El problema actual es que no todo el mundo tiene instalado en su ordenador las últimas versiones de los navegadores, que son las que están preparadas para visualizar los contenidos en HTML5. A medida que las empresas pongan al día sus máquinas y los usuarios vayan descargándose las versiones más recientes de los navegadores, HTML5 empezará a crecer exponencialmente y conoceremos realmente todas sus posibilidades. Recuerdo ahora esta frase de la escritora francesa Françoise Sagan: ‘Sólo cerrando las puertas detrás de uno se abren ventanas hacia el porvenir’.
Desktop Personal Edition 999$ Tableau Desktop is a software application based on a technology breakthrough from Stanford University. It lets you graphically analyze virtually any structured data to produce beautiful charts, graphs, dashboards and reports in minutes. With Tableau’s easy to use drag-n-drop interface you’ll be quickly customizing views, layouts, shapes, colors and more to help you present your data insights.
Tableau Server is a software application that makes sharing live, interactive data visualizations, dashboards, reports and workbooks from Tableau Desktop fast and easy. With enterprise-class security and performance to support large deployments. And Tableau’s in-memory Data Engine lets you make data blazing fast on your local machine and manage the load on your mission-critical databases and cubes.
Desktop Professional Edition 1.999$
leaders in fast analytics + visualization It started with a goal to help people see and understand their data anywhere: spreadsheets, data marts, web files, databases, data warehouses. At Stanford, a small team led by Chris Stolte and advised by Prof. Pat Hanrahan became Tableau’s basis. Results so far? 50,000+ people worldwide using desktop and web-based business intelligence software to produce visual analytic results like never before..
Why you’ll love Tableau ServerFast web analytics. Put live interactive analytics on the web in seconds. Data scalability. No limit on the size of data you can work with. Work in-memory to take load off critical infrastructure or connect live to leverage fast databases. Replace or give life to your BI platform. Replace your BI Platform completely, or run Tableau in parallel with your current system. Easy data blending. Users can easily blend data from two databases or a database and Excel sheet without needing pre-integration work or a separate database. Free training. Live or On-Demand training online.
Usuarios: The WorlBank The Economist The BBC Eurostat OCDE Statistic Denmark City of Göteborg Ericsson Unilever
National Center for Visual Analytics (NCVA) is a Swedish national resource funded through the Swedish Knowledge Foundation’s (KK-Stiftelsen) Visualization Program including VINNOVA, SSF, ISA and Vårdalstiftelsen and our industrial and government research partners. NCVA will help to spread geovisual and visual analytics technology into industry and government agencies. NCVA is managed by Professor Mikael Jern VITA/ITN
Strategies Programming each new Visual Analytics application from scratch is a complex and expensive task and a very inefficient way to work. A high-level toolkit, comprising many well-tested and compatible components, will make this process far less time-consuming and help ensure the correct functioning of each new application produced. To achieve this we build upon our «GeoAnalytics Visualization» framework, GAV, to provide a generic visualization framework for a diverse range of application areas and fully integrated with web tools such as Flash/Flex (GAV Flash) or optimized for performance with Microsoft DirectX (GAV). This framework is designed to provide integrated views of large information spaces, coordinated viewing of information in context, and to approach complex information through the use the overview and detail paradigm. These are the principles behind the VA concept which have made it such a powerful idea in the scientific community. NCVA will show the effectiveness of the technology and provide results in four distinct forms:
1.Valuable applications, addressing key concerns for our partners in industry, public services and academia. 2.New or enhanced methods within GAV framework developed for these purposes but which will then be available to users in other potential areas of interest. 3.Novel techniques to facilitate the recording, review and dissemination of the reasoning within the VA process allowing the analyst to use interactive ‘story-telling’ to convey how conclusions are reached, improving the credibility of the results obtained. 4.New results from evaluation of these applications and techniques in the workplace context, feeding back into new and improved developments in a continuous cycle. Applied research will be carried out in the context of a number of applications, drawn from diverse areas associated with the activities of the industrial partners, showing the generality of the underlying framework. Each of these applications can also be seen as a demonstrator of the technology. In this work, we will follow a ‘science-to-solutions’ approach to address the entire research, development and deployment process. The strong engagement by industry and public service partners that depend on state-of-the-art VA tools will guarantee that users will be involved from the start and will participate in the definition of the applied research agenda. The partners will, in turn, gain access to front line research, prototypes and components for integrating new and innovative VA tools.
Postal addresses
Linköping All units but the Faculty of Health Sciences Linköping University SE-581 83 LINKÖPING Sweden
Tel: +46 13 28 10 00 Fax: +46 13 14 94 03 e-mail: liu@liu.se Please notice that questions regarding study programmes, admission, application procedures, enrolment etc, should be sent to studyinfo@liu.se
Faculty of Health Sciences Hälsouniversitetet Universitetssjukhuset SE-581 85 LINKÖPING
Tel: +46 13 22 20 00
Norrköping All units Linköping University Campus Norrkšping SE-601 74 NORRKÖPING
Economist: http://www.economist.com/britain-in-context/ OECD: http://www.oecd.org/innovation/strategy/charting Statistics Denmark: http://www.dst.dk/OmDS/BagTal/Arkiv/2010-05-06-Motorcykler.aspx OECD: http://vitagate.itn.liu.se/GAV/development/testVislet/ SCB and Eurostat: http://swedeneurostat.blogspot.com/2010/03/education-in-eu-example-with-vislets.html#links Goteborg City: http://www.samhallsutvecklingen.se/413/stora-inkomstskillnader-i-goteborg/ OECD eXplorer: http://www.ncomva.com/?p=125 (NComVA Vislet demo with OECD eXplorer ageing population in EU 1990-2008). OECD Factbook: http://www.ncomva.com/?page_id=111 (NComVA Vislet Demo with OECD Factbook – fertility versus women employment rate for 1970-2006) OECD Regional development: http://www.oecd.org/gov/regional/statisticsindicators World eXplorer: http://www.ncomva.com/?page_id=297/
Equipo: Alan Mislove, College of Computer and Information Science, Northeastern University Sune Lehmann, Center for Complex Network Research, Northeastern University Yong-Yeol Ahn, Center for Complex Network Research, Northeastern University Jukka-Pekka Onnela, Harvard Medical School, Harvard University J. Niels Rosenquist, Harvard Medical School, Harvard University
Libro: Atlas of The Real World. Hardcover: 416 pages Publisher: Thames & Hudson (October 27, 2008) Language: English ISBN-10: 0500514259 ISBN-13: 978-0500514252