opendata

Opendataday3

 

Desde la Oficina de Sotware Libre de la Universidad de Granada celebramos por 4º año consecutivo el Open Data Day o Día de los Datos Abiertos sumándonos al International OPEN DATA Hackathon (Hackatón Internacional de Datos Abiertos), que se celebró a nivel mundial el sábado 5 de marzo de 2016. Desde la OSL invitamos a toda la comunidad universitaria y ciudadana a acompañarnos en este evento, abierto a cualquier interesado en el mundo de los datos abiertos y la participación en proyectos de trabajo colaborativo, contando con la presencia de comunidades de participantes como DGIIM (comunidad de estudio y divulgación de la Informática y las Matemáticas de Granada) o Versión beta (comunidad de arte, tecnología y cultura digital), e incluso empresas concienciadas con la innovación social y las tecnologías abiertas como OpenXXI.

Fotografía @lagoyidice

Fotografía @lagoyidice

Pre – Hack: presentación de proyectos y retos

Desde la OSL decidimos organizarlo de la siguiente forma: en primer lugar, el día viernes 4 de marzo tuvo lugar la presentación de proyectos con el programa que mostramos a continuación.

 

Mañana: presentación del hackatón de proyectos para el Certamen de Software Libre de la Universidad de Granada

• Student Management System, Juan Antonio Fernández Sánchez. Repositorio.

• DGIIM. Repositorio. Pincha aquí para ver la presentación.

• Maelström, por Andrés Ortiz. Repositorio.

• Agenda universitaria, por Alejandro Casado Quijada, Repositorio.

• NoInventory, por Hugo Barzano, Repositorio.

• Synkro, de Marco Fernández. Repositorio.

 

Tarde: presentación de retos para el Hackatón Internacional de Datos Abiertos durante el Open Data Day

• Resultados de las elecciones: extracción, liberación de datos y análisis del fenómeno conocido como entropía por Incho Cordero

 

Fotografía @Makova65

Fotografía @Makova65

 

• Mujeres y hombres, ¿titulación de Venus o de Marte?: análisis de género a partir de los datos de matrículas universitarias por Mónica López del Consuelo

 

Fotografía @Makova65

Fotografía @Makova65

Hack, hack, hack!!

Tras la presentación oficial del evento, los proyectos y retos participantes, empieza el hackatón: un fin de semana completo en la Corrala de Santiago trabajando, colaborando y solucionando problemas.

 

hack

Fotografía @OSLUGR

 

hackint

Fotografía @JJMerelo

 

hackmañana

Fotografía @JA_ZzZZz

 


Un momento, ¿sólo trabajando?
hackcafé

Fotografía @OSLUGR – Hack&Café

 

hackpizza

Fotografía @dgiimgr – Hack&Pizza

 

hackcerveza

Fotografía @germaaan_ – Hack&Beers

 

Aquí podéis ver un breve vídeo del ambiente de trabajo el sábado por la mañana (imágenes inéditas).


Resultados

Tras las jornadas del hackatón, los resultados salen a la luz. Por una parte, los autores de los proyectos libres para el certamen tuvieron la oportunidad de resolver problemas, encontrar colaboradores desinteresados o, simplemente, trabajar duro en ello acompañados de buen ambiente (y de muy buena gente). Por otra  parte, los dos retos que se presentaron acabaron con los siguientes resultados:

 

Resultados de las elecciones

Extracción, liberación de datos y análisis del fenómeno conocido como entropía

Consulta aquí el enlace al repositorio en GitHub de Incho Cordero y el artículo en RPubs de @JJMereloDesigualdad y sorpresa en las elecciones españolas“.

 

¿Titulación de Venus o de Marte?

A partir de los datos de matrículas universitarias de la UGR durante el curso 2014/2015 separados por mujeres y hombres, se creó la herramienta web “Carreras en cifras“, donde cada estudiante está representado con un símbolo en concordancia con la carrera elegida (por ejemplo, una jeringuilla en el caso de enfermería) y un color dependiendo de su género. Se pretendía, de este modo, dotar de una cierta “humanidad” a los datos y, por supuesto, reflexionar sobre aquellas carreras donde la presencia de un género prima sobre el otro.

 

Ingeniería en Tecnologías de Telecomunicación

Ingeniería en Tecnologías de Telecomunicación

 

Logopedia

Logopedia

 

Por otra parte, de este proyecto surgió otra pregunta: ¿existe relación entre la carrera cursada y los datos de empleo? ¿Y si también agregamos la cuestión de género a ello? Nacho Cordón se encargó de resolver esta pregunta con los siguientes ratios:

 

Ratios de empleo, género y titulacion, por Nacho Cordón

Ratios de empleo, género y titulación, por Nacho Cordón

Aquí tenéis el enlace al repositorio en GitHub.

 

Agradecimientos

Desde este apartado, queremos dar las gracias a todos los que habéis hecho posible la celebración de este evento.

Agradecimientos a Documedia por las deliciosas pizzas, a OpenXXI por la comida china y a la Corrala de Santiago por cedernos el espacio.

Agradecimientos a todos los que participasteis en el reto “Resultados de las elecciones”:

 

hackJJ

 

Agradecimientos  a todos los que participasteis en el reto “¿Titulación de Venus o de Marte?”: Pablo Hinojosa (Psicobyte en GitHub) Manuel Cogolludo (Makova en GitHub) Nacho Cordón Castillo (NCordon en GitHub) David Charte (fdavidcl en GitHub) Roberto Hueso (robertohueso en GitHub) y Carmen Pascual, todos colaboradores voluntarios del reto que propuso Mónica López del Consuelo (molocohb en GitHub).

Agradecimientos a todos aquellos héroes anónimos que nos acompañasteis en remoto, ¡mil gracias!

 

hackremoto

Y especialmente, agradecimientos a todos los participantes que nos acompañasteis durante estos tres días, colaborando, trabajando, en conclusión, siendo unos cracks: sin vosotros esto no es posible.

 

La vida es aquello que pasa entre hackatón y hackatón.

Un hacker tras el #hackatonugr

 

 

Hace ya casi un año que estuvimos en el Hackathón Open Data-Fujitsu que se realizó en Málaga. Somos conscientes que hemos tardado demasiado en dedicarle un post a este evento, pero más vale tarde que nunca (o eso dice @jjmerelo).

Desde el primer día estuvimos trabajando sobre el repositorio de GitHub Traffic-Project dentro del proyecto Petra. Nuestra misión: generar datos de tráfico en distintas vías de España, como por ejemplo, los puntos negros o atascos en tiempo real. Los datos se obtenían desde el siguiente enlace de la web Dirección General de Tráfico Infocard.dgt a través de un script para realizar scrapping sobre los datos que nos interesaban. A la vez que recogíamos datos de la DGT, se creaba un tweet automático con información en tiempo real.

Dentro del recinto, en el palacio de ferias y congresos de Málaga, había dos salas separadas: en una de las salas, un grupo de gamers creaban juegos, música, diseño, etc… en la otra sala, nosotros: Paloma, Pablo, Psicobyte y Antonio, trabajando codo con codo para ofrecer los datos abiertos y las tecnologías del proceso de información, visualización y big data.

Pasamos dos días de trabajo duro, pero también hubo tiempo para comer pizzas -como es habitual ya en todos los hackatones – y pasear por Málaga distendidamente. O hacernos un selfie con la proyección de Kung Fury al comenzar la sesión del último día – foto por Pablo (Fergu) -.

Kung Fury

 

Al finalizar, obtuvimos de premio un escáner portátil y varios polos de Fujitsu (tampoco es que tuviésemos que competir con otros proyectos, fuimos los únicos que presentamos un proyecto en el apartado de Datos Abiertos). Otra historia era la de los gamers, donde había más de 20 personas compitiendo por obtener su premio.

Lo importante es siempre la experiencia, aprender a extraer los datos y poder ofrecerlos libremente para que cualquiera los utilice o recoja el trabajo realizado para mejorarlo, compartirlo, copiarlo o forkearlo y esas cosas molonas que se hacen cuando se trabaja con programas y herramientas Libres.

PremioFujitsu

Aquí otra foto con Paloma, Antonio y un servidor, con el premio que nos concedieron al finalizar el hackatón.

 

 

P.D. Pablo (Fergunet), el billete falso era una broma, no te enfades 😉

Cuando comencé a trabajar por primera vez en la Oficina de Software Libre de la UGR, la ley de transparencia aún era casi un rumor por entrar en vigor. Una beca de prácticas ÍCARO me abrió las puertas de la OSL para estudiar a fondo la Ley 19/2013, de 9 de diciembre, de Transparencia, Acceso a la Información Pública y Buen Gobierno con el objetivo de crear un Portal de Transparencia y Datos Abiertos para la Universidad de Granada en concordancia con dicha ley. Para ello, se me incorporó al grupo de trabajo “Datos abiertos en la UGR”, donde mis compañeros me pusieron al día sobre el método de trabajo en la OSL: reparto de tareas a través de la plataforma Redmine, trabajo colaborativo a partir de GitHub y metas por objetivos. Aunque conocía el software libre por mi propia experiencia de usuario, durante este tiempo aprendí lo que realmente significa “abierto” y “privativo”, y la cultura de lo open se desplegó ante mí como un abanico de posibilidades: open software, open data, open culture, open code, open science, open government, open  knowledge… y un largo etc. de tendencias procedentes de la cultura hacker, todas ellas regidas (o adaptadas) por las llamadas cuatro libertades básicas:

 

  1. Libertad de usar
  2. Libertad de estudiar su funcionamiento
  3. Libertad de distribuir la obra
  4. Libertad de modificar, mejorar y publicar estas mejoras

 

De este modo, el objetivo del grupo de trabajo era la creación de un portal de transparencia que respetase los principios de los datos abiertos (open data) y el derecho de los usuarios a usarlos o modificarlos, como marca la actual Ley de de Transparencia española al reconocer el derecho al uso de la información obtenida (y no sólo el derecho de acceso) además de, entre sus principales principios, el principio de utilidad, el principio de accesibilidad y el principio de reutilización.

Al fin, en septiembre de 2014 aparecen los resultados: el Portal de Transparencia de la Universidad de Granada UGR-Transparente y el Portal de Datos Abiertos OpenData-UGR, ambos realizados con el propósito de albergar una gran cantidad de datos bajo los estándares de datos abiertos según la clasificación “5 estrellas Open Data” de Tim Berners-Lee (inventor de la Web e iniciador del Linked Data o datos enlazados). El primero, UGR-Transparente, se trata de un servidor creado bajo los principios del software libre, liberado bajo licencia GPL v3.0, es decir, con código abierto y disponible para su implantación en cualquier institución desde su correspondiente repositorio en GitHub. El segundo, OpenData-UGR, se trata de una plataforma gestionada con CKAN, un potente sistema de gestión de datos desarrollado y liberado por un equipo de la Open Knowledge Foundation liberado bajo licencia AGPL v3.0.

Desde entonces, la labor de transparencia y apertura de datos que lleva a cabo la Oficina de Software Libre ha continuado hacia adelante pues, como he explicado en varias ocasiones, la transparencia no acaba con la publicación de los datos. Para empezar, es necesario un continuo proceso de actualización y mejora de los propios datos, pero no sólo eso: entre las labores de una institución transparente, se encuentran el constante estudio e investigación sobre las técnicas e información recomendadas por las principales organizaciones (OKFN, Open Data Institute, Open Government Partnership, etc. ), el contraste y la comparación con otros portales de transparencia y sus métodos de funcionamiento, la creación de redes entre instituciones, la colaboración con la empresa privada y, en último lugar y no por ello menos importante, la formación al ciudadano en materia de transparencia, gobierno abierto (conocido como oGov) y datos abiertos. Desde la inauguración oficial del Portal de Transparencia y el Portal de Datos Abiertos de la UGR, la OSL ha desarrollado esta labor a través de hackatones, charlas formativas, eventos, colaboraciones en seminarios académicos y publicación de resultados, como es el caso del artículo “El filtro básico de la transparencia. Criterios generales para instituciones y específicos para universidades” en la revista Acreditra, de la Asociación Española de Acreditación de la Transparencia.

 

IMG_20150430_111359

“Transmedia Open Data”, II Seminario Internacional sobre Narrativas Transmediales

Actualmente, desde la Oficina de Software Libre seguimos velando por el correcto cumplimiento y uso de la transparencia por parte de la institución, especialmente desde la reciente entrada en vigor de la Ley 19/2013, de 9 de diciembre, de Transparencia, Acceso a la Información Pública y Buen Gobierno, el pasado diciembre. Continuamos mejorando, investigando y aprendiendo de nuestros errores, pues ésa es la principal lección que uno aprende en la OSL: nunca dejes de aprender. No pierdas la curiosidad, el conocimiento es libre: libérate y libéralo.

 

logo twitter

 

Si quieres seguir el proyecto de transparencia y datos abiertos en la UGR, puedes seguirnos en nuestro canal de Twitter: @datosUGR

Si te interesa este tema y quieres aprender algo más sobre la transparencia, el gobierno abierto y los datos abiertos, aquí dejo esta presentación sobre ello.

 

La Universidad de Granada, en su Portal de Transparecia y Open Data, ha publicado el Presupuesto de la misma para el ejercicio de 2015, y ya están disponibles tras un proceso de extracción y depuración de datos, y como es normal en esta Entidad, cumpliendo los estandares de “5 Estrellas para Datos Abiertos“.

Estos presupuesto han sido aprobados por el Consejo Social de la Universidad de Granada el 19 de diciembre de 2014 y publicado en el Boja nº 252 de 26 de diciembre de 2014.

A la fecha de hoy consta de un conjunto de 21 dataset, pero en los proximos días se irán aumentando.

También hay que destacar los siguientes conjuntos de datos:

opendata

Os mantendremos informados.

 

 

Captura de pantalla de 2015-06-04 20:06:56

Este año la Oficina de Software Libre de la Universidad de Granada no hemos podido participar en las III Jornadas de Periodismo de Datos y Open Data (las #JPD15) debido a que coincidía con otros eventos ya programados, pero felicitamos a los Organizadores y animamos a que aquellas personas que se puedan acercar a dichas Jornadas en Madrid, Barcelona, Almería y Pamplona/Iruña  del 2 al 7 de junio de 2015, lo hagan, siendo esta una experiencia enriquecedora.

En la Oficina de Software Libre de la Universidad de Granada no paramos de trabajar así que acabamos de terminar una nueva versión de la plataforma UGR transparente que corrige los errores de funcionamiento que existían hasta ahora. Todo el código desarrollado es libre y se puede encontrar en este repositorio de GitHub, así que se interesa conocer mejor el estado del proyecto solo tienes que seguir leyendo.

Motivación de los cambios:

En la versión anterior se producía siempre un error interno del servidor cuando se cargaba una página por primera vez, además de forma intermitente las tablas de las páginas se mostraban vacías. Esto era debido a que por el funcionamiento asíncrono de Node.js, puede ser que la llamada retorne antes de que se completen las operaciones en su totalidad, por lo que se podía producir la situación de que se intentase visualizar una página antes de que la información del contenido que tenía que recuperarse de la base de datos pudiera haber sido recuperada o incluso accedida. Si la página se intentaba mostrar antes de que la base de datos fuera accedida, los recursos no se encontraban creados y por eso siempre daba un error la primera vez que se visualizaba; si la página se intentaba mostrar antes de que la información hubiera sido recuperada, los recursos ahora si existían, pero estaban vacíos por lo que las tablas de la página se mostraban vacías; solo si la llamaba retornaba cuando todas las operaciones habían sido completadas, lo que significa que la página se intentaba mostrar una vez la información ya había sido recuperada completamente de la base de datos, era cuando la página se mostraba correctamente.

Para evitar el error interno del servidor, al arrancar el servidor en transparente.ugr.es se hacía una carga inicial de todas las páginas mediante la orden “curl“, pero el problema de las tablas vacías seguía estando ahí. Como no conseguí encontrar la forma de arreglar estos errores que se producían por la asincronía entre las operaciones, y el uso de la base de datos era similar al de un índice al que igualmente había que introducirle los datos manualmente desde archivos externos JSON, empecé a desarrollar una nueva versión en la que se sustituyera la función de la base de datos con la carga de los archivos JSON directamente desde la aplicación, esto podría solucionar todos estos errores porque el propio Node.js mediante el módulo “fs“, que provee de la funcionalidad para operar con entrada/salida de ficheros, tiene un método para que la lectura de estos archivos se haga de forma síncrona [fs.readFileSync(archivo)]. Como los archivos son leídos de forma síncrona (forma de la que no era posible recuperar los datos de la base de datos), tanto el error interno como el error en las tablas vacías han dejado de producirse debido a que ya nunca se intentará visualizar las páginas antes de que los datos estén cargados.

Comparación de versiones:

En la versión anterior de UGR transparente, desde el archivo principal de la aplicación “app.js” se cargaba el contenido del archivo “config.json” (también en raíz), que tenía la configuración de acceso a la base de datos MongoDB de la que recuperaba el contenido de las tablas que se visualizan en las diferentes páginas de la web; también de dicho archivo, se recuperaba el contenido de las páginas sin tablas: “Inicio“, “Presentación” y página de error; y además la siguiente información sobre el contenido de cada una de las páginas: categoría, colección, contenido, dataset, nombre y plantilla. En la nueva versión, la información de cada una de las páginas se ha movido a archivos JSON independientes: “claustro.json“, “estadistica.json“, etc. (que también son cargados desde “app.js“), el contenido que se recuperaba desde la base de datos se ha introducido también en esos archivos JSON. Todos estos archivos se encuentran en una nueva carpeta “config” situada en raíz, además la información recuperada se ha simplificado a: nombre, plantilla, contenido y datos.

Toda la información cargada desde “app.js” luego es utilizada desde los archivos JS que se encuentran en la carpeta “routes” correspondientes a cada una de las secciones de la página UGR transparente: “administracion.js“, “docencia.js“, “gestionInvestigacion.js” y “normativaLegal.js“. En la versión anterior, se recuperaba la configuración de acceso a la base de datos desde la información cargada, y mediante iteraciones por las colecciones correspondiente a la página a visualizar, se almacena en variables el contenido recuperado, contenido que luego era gestionado cuando Express generaba la página web después de procesar la plantilla Jade pertinente. En la nueva versión, la recuperación de la información está mucho más simplificada porque se obtiene directamente de la información cargada desde “app.js“, recuperando el contenido de los archivos “config.json” y “PAGINA.json“; por ejemplo, para la gestionar la sección “Administración“, en el archivo “administracion.js” se recupera la información de “config.json” que nos dará la dirección del servidor con los datos (open.data.ugr en este caso) y también recupera la información de los archivos “personal.json” para la página “Personal“, “infoEconomica.json” para la página “Información Económica” y “servicios.json” para la página “Servicios“, esta información es la que usará Express para generar la página que se vaya a visualizar.

En las plantillas Jade de la carpeta “views“, también se ha cambiado la forma de acceder a las variables con la información de la página que la plantilla recibe. En la versión anterior, los valores del contenido eran recibidos en arrays bidimensionales con el contenido recuperado de la base de datos, que tenían que ser procesados mediante varios bucles for; en la versión actual, los valores de contenido son recibidos directamente como campos de archivo JSON, por lo que pueden ser fácilmente accedidos como un array unidimensional.

Ventajas e inconvenientes:

Como ventajas encontramos en primer lugar, que al eliminar MongoDB se liberan una gran cantidad de recursos del sistema; además, a falta de pasar los test pertinentes, no se ha vuelto a producir ningún fallo en la carga o visualización de los datos en las páginas. Como ya no dependemos de la base de datos, el trabajar directamente con los archivos JSON nos da una mayor manejabilidad como es que se puedan adaptar en cualquier momento y directamente la estructura y contenido de los archivos según las necesidades.

Un inconveniente que existe en este versión es algo que también existía en la versión anterior, y es que los datos provienen de archivos JSON que hay que crear manualmente, por lo que si el número de datos es elevado, el proceso de introducción de datos se puede volver realmente pesado.

Siguiente trabajo:

El problema de tener que crear los JSON directamente se podría solucionar si se pudieran recuperar los datos directamente desde el servidor de open.data.ugr, como ese portal esta construido con CKAN que usa una base de datos PostgreSQL para almacenar los datos y además provee de una API para acceder a los datos, sería deseable encontrar la llamada o llamadas que permitieran recuperar los mismos datos que se encuentran en los archivos JSON, algo que todavía no he conseguido encontrar. Una vez que se encontraran estas llamadas, los datos se podrían recuperar directamente utilizando el backend Recline.js que nos permite fácilmente recuperar la información (ejemplo en el scriptprueba_recline.js” de la carpeta “public/script“) y trabajar con ella usando las funciones de las que nos provee, o bien, recuperar la información mediante consultas AJAX (ejemplo en el scriptprueba_acceso.js” también en la carpeta “public/script“) y trabajar con funciones que desarrollemos para trabajar con la información recuperada.

Lo próximo en lo que voy a trabajar es en realizar los test de cobertura, siendo lo primero todo lo que se refiera al acceso a datos. Empezaré viendo como utilizar el framework de test “Mocha” para todo esto. Otros aspectos que quedan pendientes son la integración continua y el aprovisionamiento.

Durante el pasado fin de semana (20-23) celebramos el 3er Open Data Day Granada con un hackathon en el que la idea principal era usar datos libres para llevar a cabo diferentes proyectos. El evento, que consiguió reunir en torno a 30 personas (de las cuales había un gran número de personas no relacionadas con el campo de la informática), comenzó el viernes por la mañana en la ETSIIT con charlas sobre transparencia en la información y la exposición de las ideas con las que se iban a trabajar en los 3 grupos de desarrollo organizados, continuó por la tarde en las instalaciones del CITIC con diversos talleres de herramientas que podrían ser de utilidad para desarrollo de los proyectos.

El evento dio comienzo con la presentación del mismo por parte de JJ Merelo, en la que transmitió su idea de que significa que los datos sean transparentes hoy en día y como la información representa el poder, para finalizar diciendo que “la información es poder dormir mejor”.

Seguidamente empezó a hablar también sobre transparencia y los datos abiertos, pero además desde el punto de vista del “gobierno abierto”, un tipo de gobierno basado en transparencia gubernamental, participación ciudadana en el debate público, rendición de cuentas por parte de los políticos para el cumplimiento de las leyes y el acceso a la tecnología e innovación que serán las que faciliten que todo esto se haga posible.

Después de un descanso, se inició la exposición de las ideas en las que se trabajaría durante el fin de semana, abriendo con Incho Cordero y el periodismo de datos. La motivación de su idea esta basada en los recientes resultados publicados del Índice Transparencia de los Ayuntamientos en el que ayuntamiento de Granada obtenía la peor nota de toda España, hecho que se pone de manifiesto cuando vemos que enlaces de licitaciones públicas que encontramos en la página del ayuntamiento no funcionan.

La siguiente idea es presentada por Pablo García y Antonio Fernández, y consiste en trabajar en el Proyecto PETRA para la predicción del estado del tráfico mediante los datos abiertos que proporciona la DGT. Explicando como mediante el proyecto Sipesca quieren desarrollar un sistema de información autónomo mediante el cual puedan recolectar, siempre de forma anónima, los datos de transito de las vías mediante conexión WiFi, Bluetooth y RFID con dispositivos que se encuentren en los vehículos o transeúntes, para así poder predecir posibles usos de las vías.

La última idea en ser presentada corría a cargo de Mario Heredia, en la que basándose en su experiencia de trabajo como parte del equipo de desarrollo de la plataforma de transparencia de la Universidad de Granada (http://transparente.ugr.es/ – http://opendata.ugr.es/), propuso varias ideas de trabajo para desarrollar como son: analizar matriculaciones en las diferentes ramas de conocimiento, estudiar el porcentaje de mujeres y hombres en las diferentes titulaciones o comparar los datos publicados por las universidades que contaran con un portal de transparencia; una vez obtenidos estos datos y después de ser analizados, se intentaría llegar a una conclusión sobre los mismos.

Una vez que todas las ideas fueron expuestas, llegó el momento de hacer una pausa durante unas horas que los asistentes aprovecharon para intercambiar ideas mientras tomaban un relajado almuerzo. Ya por la tarde comenzaron los talleres, siendo el primero de ellos llevado a cabo por Pablo Hinojosa y consistente en explicar de forma simplificada el trabajo con Git, un sistema de control de versiones que facilita enormemente el trabajo colaborativo, además de ser muy eficiente y que tiene una gran confiabilidad. Comenta como su funcionamiento aunque desde un entorno de línea de comandos es muy amigable debido a la cantidad de información que obtenemos ante cualquier incidencia, además de explicar las distintas etapas del trabajo con Git para que cualquier que quiera usarlo no tenga miedo por no tener un gran conocimiento informático previo.

El siguiente taller se explica como hacer scraping de datos (que consiste en extraer información), además de formas de extraer datos de un archivo en formato PDF y diferentes fuentes de datos comunes. Para el scraping nos presenta herramientas como HTTrack que nos permiten obtener todo el contenido de una página web directamente, además de explicar que dicho scraping también se puede hacer desarrollando aplicaciones en lenguajes como Perl o Python. Seguidamente presenta aplicaciones como Tabula, con las que se puede extraer información de archivos PDF, aunque alguna veces el resultado no es especialmente bueno porque este formato tiene una edición más bien cerrada. Por último, da a conocer programas como Pentaho, que nos permitirán procesar fuentes de datos comunes para procesar su información y obtener un valioso conocimiento de los datos que lo forman.

Para finalizar el programa del primer día, otra vez JJ Merelo cierra con un taller sobre plataformas para visualizado de datos y la importancia que tiene este aspecto a la hora de presentar el resultado. Son 3 las soluciones que expone, la primera CartoDB, una plataforma que nos permite montar un servicio en la nube y mapas web con los datos que se podrán visualizar desde cualquier navegador, además, esta tiene la particularidad de ser una empresa open source española. La siguiente plataforma es Google Fusion Tables, un servicio de Google que nos permite almacenar datos en tablas y luego nos permitirá visualizar esos datos en forma de distintos tipos de gráficos: líneas, barras, circulares, etc, además de poder visualizarlos también en mapas geográficos basados en Google Maps. La última alternativa presentada fue ShinyApps, una plataforma como servicio que permite almacenar aplicaciones web Shiny, un framework para aplicaciones echas en R, uno de los lenguaje de programación más usados en investigaciones estadísticas y el ámbito matemático, así que es una solución que nos permite realizar también trabajos de visualizar de datos en gráficos o mapas, pero con una complejidad mayor.

Ya con todos los retos expuestos y los talleres concluidos, se organizaron los diferentes equipos para comenzar el trabajo de resolver los problemas planteados. Se empezaron a crear repositorios en GitHub, documentos online de Google Docs, grupos en Telegram, cualquier cosa que pudiera ayudar a organizar el trabajo en una fase tan temprana del proyecto.

Grupo 1:


Grupo 2: Repositorio GitHub

Grupo 3: Repositorio GitHub

Si algo caracteriza a un hackathon es el corto periodo de tiempo en el que se desarrolla la actividad, por lo que todo el proceso de trabajo tiene que ser muy ágil, así que para ir informando de en qué estaban trabajando varios de los participantes usaron los hashtag #OpenDataDay y #SmartCityHack en Twitter, como podemos ver aquí o aquí. En lo que sí estaban de acuerdo la mayoría, es que la cantidad de información era de tal magnitud, que difícilmente podrían tener un proyecto terminado en un fin de semana, pero serviría de inicio para lo que podían ser interesantes proyectos.

Llega el día de la presentación de los resultados y los grupos se vuelven a reunir en el CITIC para terminar sus presentaciones. El primer equipo, que iba a investigar los contratos de contratación menores del Ayuntamiento de Granada, expone para empezar las dificultades que han tenido para extraer la información con la disponían para trabajar ya que en su mayoría provenía de archivos PDF, además comentan como anécdota que curiosamente había recursos con datos que desaparecieran de repente mientras estaban trabajando, lo que motivaría más todavía este tipo de proyectos de investigación por la transparencia. Terminan comentando las conclusiones que han sacado de las cifras de los contratos con los que han trabajado.

Siguen las presentaciones, y es el turno del grupo de trabajo del Proyecto PETRA. Comienzan comentando la metodología de trabajo que han seguido para continuar hablando sobre el trabajo que han desarrollado: scraping de datos de los recursos de la DGT, conocimiento de datos Bluetooth y el estudio de APIs de tráfico. La anécdota de este grupo fue cuando contaron que habían realizado una videoconferencia con otro grupo de trabajo de un hackathon de Lituania y como pudieron tener una pequeña conversación sobre sus proyectos. Para la visualización de sus datos usaron Google Fusion Tables, cuyo resultando mostraron durante la exposición.

La última exposición, fue la llevada a cabo por los participantes que se habían unido por un fin de semana a nosotros, al equipo desarrollador de la plataforma de transparencia de la UGR, llevado a cabo desde la propia Oficina de Software Libre de la Universidad de Granada. Al final nuestro reto fue el de realizar comparaciones entre los datos abiertos que ponen a disposición de todo el mundo las diferentes universidades públicas andaluzas, lo que nos llevó a exponer el primer problema que encontramos, la poca homogeneidad en el tipo de datos disponibles en cada una de las plataformas, porque mientras que unas plataformas te daban datos de poco interés analítico; como es el caso de la publicación de los índices de satisfacción del alumnado, no daban otros que consideraríamos más interesante, como pueden ser los índices de rendimiento académico; había otras que ni siquiera publicaban los datos como tal, publicaban gráficos referentes a los datos. También intentamos realizar una pequeño análisis económico relacionado con los datos de matriculación, pero la información disponible era bastante escasa, por lo que terminamos llegando a la conclusión de que hay universidades que van el buen camino en cuanto a transparencia, pero a otras les queda un largo camino que recorrer.

Y con esto finalizó el evento, en el que según la opinión de los participantes había sido un gran experiencia (aunque también un gran esfuerzo por tantas horas de trabajo). Este ha sido solo el primer evento del año, esperamos poder hacer muchos más y contar con vuestra asistencia. Así que muchas gracias a todos y esperamos veros en el próximo!

En próximo 21 de febrero de 2015 se celebra en todo el mundo el Open Data Day, con actividades de todo tipo que puedes consultar en el horario.

Desde la OSL, estamos preparando un Hackathon de datos y aplicaciones para aprovechar las posibilidades que nos brinda el portal de Open Data de la UGR.

El Open Data Day comenzará el día 20 en el aula -1.2 (aula multi-propósito, en la planta sótano) de la ETSIIT, para luego proceder al CITIC dependiendo del proyecto o grupo elegido. El programa incluye diferentes conferencias y retos, sobre los que se trabajará el fin de semana de forma autoorganizada. Id reservando la fecha en vuestras agendas e inscribiéndoos para tener una idea del aforo y recibir información sobre el mismo.

Cursos de la Oficina de Software Libre:

Latex

Introducción al procesador de textos científicos Latex.

  • Del 3 de noviembre al 19 de diciembre de 2014.
  • Matrícula hasta el 29 de octubre de 2014.
  • Modalidad: online.
  • http://cevug.ugr.es/latex/

Raspberry

Raspberry Pi básico.

Scratch

Introdución a la programación para la enseñanza secundaria: Scratch.

datos

Curso presencial sobre datos abiertos en Instituciones Públicas y cumplimiento de la Ley de Transparencia.

Cursos recomendados:

perl

Programación avanzada en Perl.

 

Cursos de la Oficina de Software Libre:

Arduino avanzado

Joomla

  • Del 27 de octubre al 20 de diciembre de 2014.
  • Matrícula hasta el 22 de octubre de 2014.
  • Modalidad: online.
  • http://cevug.ugr.es/joomla/

Latex

Latex

  • Del 3 de noviembre al 19 de diciembre de 2014.
  • Matrícula hasta el 29 de octubre de 2014.
  • Modalidad: online.
  • http://cevug.ugr.es/latex/

Raspberry

Scratch

reciclaje

datos

Cursos recomendados:

perl

javascript

Web Jornadas de Software Libre
Logo y enlace Web Jornadas de Software Libre 2018
Web SereIngeniera
Logo y enlace Web SereIngeniera 2018
Web Campus Infantil 2018
Logo y enlace Web Campus Infantil 2018
Calendario
junio 2018
lunes martes miércoles jueves viernes sábado domingo
28 mayo, 2018 29 mayo, 2018

Categoría: General10:00 am: #SereIngeniera18 - Sto. Tomás de Villanueva

10:00 am: #SereIngeniera18 - Sto. Tomás de Villanueva
30 mayo, 2018 31 mayo, 2018 1 junio, 2018

Categoría: General12:00 pm: Admisiones provisionales Campus de Chicas

12:00 pm: Admisiones provisionales Campus de Chicas

Categoría: General12:00 pm: Cierre III Campaña de Donación

12:00 pm: Cierre III Campaña de Donación

Categoría: General10:00 pm: Pre-inscripción Campus de Chicas

10:00 pm: Pre-inscripción Campus de Chicas
2 junio, 2018 3 junio, 2018
4 junio, 2018 5 junio, 2018 6 junio, 2018 7 junio, 2018 8 junio, 2018

Categoría: General12:00 pm: 1ª asignación III Campaña de Donación

12:00 pm: 1ª asignación III Campaña de Donación

Categoría: General12:00 pm: Admisiones definitivas Campus de Chicas

12:00 pm: Admisiones definitivas Campus de Chicas
9 junio, 2018 10 junio, 2018
11 junio, 2018

Categoría: General12:00 pm: 2º Asignación III Campaña de Donación

12:00 pm: 2º Asignación III Campaña de Donación

Categoría: General12:00 pm: Admisiones provisionales Campus Infantil

12:00 pm: Admisiones provisionales Campus Infantil
12 junio, 2018 13 junio, 2018 14 junio, 2018 15 junio, 2018

Categoría: General12:00 pm: Admisiones definitivas Campus Infantil

12:00 pm: Admisiones definitivas Campus Infantil
16 junio, 2018 17 junio, 2018
18 junio, 2018 19 junio, 2018 20 junio, 2018 21 junio, 2018

Categoría: General10:30 am: Taller de la III Campaña de Donación

10:30 am: Taller de la III Campaña de Donación
22 junio, 2018 23 junio, 2018 24 junio, 2018
25 junio, 2018

Categoría: General9:00 pm: Campus Infantil - 1º turno

9:00 pm: Campus Infantil - 1º turno
26 junio, 2018

Categoría: General9:00 pm: Campus Infantil - 1º turno

9:00 pm: Campus Infantil - 1º turno
27 junio, 2018

Categoría: General9:00 pm: Campus Infantil - 1º turno

9:00 pm: Campus Infantil - 1º turno
28 junio, 2018

Categoría: General9:00 pm: Campus Infantil - 1º turno

9:00 pm: Campus Infantil - 1º turno
29 junio, 2018

Categoría: General9:00 pm: Campus Infantil - 1º turno

9:00 pm: Campus Infantil - 1º turno
30 junio, 2018 1 julio, 2018
Archivos
Categorías