No me gustaba mucho el termino webscrap porque me sonaba a una forma adornada de decir hacer un espejo de informaci\u00f3n, ahora que he estado haciendo algunos ejercicios de un curso de datos y periodismo, encuentro que bien hecho es m\u00e1s que descargarse todos los datos, en realidad como lo dice, raspar los datos de una inmensidad de cosas que no te quieres traer.<\/p>\n
Entonces raspar me gusto m\u00e1s, siguiendo con esto de la transparencia, en el CONSOL pasado tuve el gusto de conocer a Petrosh y de platicar largo y tendido, al estar m\u00e1s cerca del rancho Electr\u00f3nico le comente que quise ir a una charla \/ taller que hubo en octubre de 2018 llamada \u201cHackeando Infomex T\u00e9cnicas de scrapeo de la plataforma de Informaci\u00f3n P\u00fablica\u201d que medio segu\u00ed en twitter lo que fueron poniendo me conecte y no pude ver mucho de lo que dijeron y no tuve la previsi\u00f3n de respaldar el pad que se utilizo donde ven\u00edan algunas ideas que seguro ya implemente, pero regresando al platicar de esto y de lo que iba a hablar en Consol, me quedo un poco de inquietud de lo que se platico y de que un poco a prop\u00f3sito se mantuvo perfil bajo por el tema y porque no se quiere hacer mucho ruido, por el \u00e1rea un tanto gris en la que se encuentra ese tipo de actividad.<\/p>\n
Hace poco estuve pensando en que en efecto en es un relajo entre SIPOT donde reportan las obligaciones de transparencia y las diferentes partes de las p\u00e1ginas de gobierno que hacen transparencia proactiva y de inter\u00e9s publico (que justo lo que le interesa al publico y nos gustar\u00eda saber es lo que menos ponen) record\u00e9 que Infomex es donde se solicita informaci\u00f3n y que ciertamente las respuestas luego son m\u00e1s interesantes porque ademas son publicas.<\/p>\n
Ya he desechado al menos para esta entrega el aprendizaje autom\u00e1tico, pero se me ocurri\u00f3 y si obtenemos todas las respuestas publicas para un organismo, \u00bfque tan dif\u00edcil puede ser?<\/p>\n
El propio Infomex en su secci\u00f3n de datos abiertos provee de JSON, CSV y alg\u00fan otro formato con todas las peticiones y respuestas que se puede trabajar, que puede ser por a\u00f1o, por dependencia o global, el m\u00e1s interesante por supuesto es el global, pero casi que esta pensado para que se le dificulte a uno su uso muy a prop\u00f3sito, por el tama\u00f1o son uno 800MB de registros\u2026 con los cual un rato estuve jugando en Gnumeric, encontr\u00e9 los de la dependencia que me interesaba y el folio que representaba la informaci\u00f3n, ahora una cosa que no es demasiado clara hasta que ha estado uno usando el sistema un rato es que a las peticiones se les puede contestar, con inexistente, reservado, se requiere m\u00e1s informaci\u00f3n en proceso, terminado, con informaci\u00f3n entregada, etc\u00e9tera, entonces los folios que m\u00e1s interesantes me resultaron, no ten\u00edan informaci\u00f3n, o no correspond\u00edan con los p\u00fablicos, es decir con los que si contienen informaci\u00f3n.<\/p>\n
En la interfaz de Infomex uno puede consultar los datos por ente, fecha y otros, pero el que me pareci\u00f3 m\u00e1s interesante fue el de ente, con informaci\u00f3n entregada en formato digital, de esta consulta se puede exportar una hoja de calculo o PDF por supuesto que despu\u00e9s de haber trabajado ya un rato con PDF de esta vista que provee folio de solicitud, fecha de recepci\u00f3n, unidad de informaci\u00f3n, respuesta, fecha de respuesta, etc. Y exportar, de todas formas es bastante in\u00fatil el archivo exportado ya que aunque provee de URL estos solo funcionan en la vista de la aplicaci\u00f3n web y no en el PDF o en el XLS exportado.<\/p>\n
Pero, en este se encuentran todos los n\u00fameros de folios de las respuestas y eso revisando la p\u00e1gina es suficiente porque la URL de la descarga la construye con esos n\u00fameros entonces, digamos exportamos nuestro PDF<\/p>\n
pdftotext archivote.pdf archivote.txt<\/pre>\nY en teste no es m\u00e1s que buscar las cadenas de los folios, por ejemplo<\/p>\n
grep 1234 archivote.txt > folios.txt<\/pre>\nY bueno recordando mis inicios en bash cuando hice mi primer contador pues me hice este peque\u00f1o script.<\/p>\n
#!\/bin\/bash\r\n\r\n# Obtener todas las respuestas de infomex\r\nfor i in $( cat folios.txt )\r\n\r\ndo\r\n\r\necho $i\r\n\r\n wget \"https:\/\/foo.bar\/MimeAdjuntoSeguimientoGenerator.action?folio=$i&respuesta=6\" -U \"Mozilla\/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.6) Gecko\/20040206 Firefox\/0.8\" --no-check-certificate\r\n\r\n done\r\n\r\necho;\r\n<\/pre>\nPor supuesto no quiero dejar toda la URL para evitar que alguien que este aprendiendo bash nada m\u00e1s copie y pegue y termine pegando a un servidor de por si lento.<\/p>\n
Y bueno ahora tengo 1571 archivos de respuestas\u2026 a esto si se antoja aplicarle procesamiento de lenguaje natural para encontrar patrones…<\/p>\n","protected":false},"excerpt":{"rendered":"
No me gustaba mucho el termino webscrap porque me sonaba a una forma adornada de decir hacer un espejo de informaci\u00f3n, ahora que he estado haciendo algunos ejercicios de un curso de datos y periodismo, encuentro que bien hecho es … Sigue leyendo