En la iniciativa privada

He participado en más de una aventura, uno que fue realmente interesante fue un proyecto con Indava, el resultado se presento en el seminario de Moodle de la UNAM

También se hablo del mismo en el Drupalcamp pero de ese no pude localizar video, ese 2015 y el anterior fueron bastante movidos y me hicieron conocer y trabajar con un equipo muy joven e interesante.

Publicado en General, Trabajo | Deja un comentario

Moodle en la Nube

En especial la de Azure… en fin no me gusta tanto como quisiera, pero estaba viendo los números de lo que hemos estado respaldando y por supuesto yo me desmarque en este proyecto de la organización y liderazgo del proyecto y me quede con toda la parte de la infraestructura, se formo en su momento un grupo de expertos para poder sacar los contenidos en el cual solo participe con sugerencias para evitar la sobre carga de nuestra infraestructura y tuvimos grandes retos, tuvimos que implementar varias cosas del tracker de Moodle, nos encontramos con un par de bugs que reportamos y pudimos replicar problemas del tracker de la peor forma posible… no lo había pensado hasta reciente, que Ulises dio una conferencia al respecto y me acorde especialmente porque me pidió los números y ahora en retrospectiva estaba pensando en esos números…

Del minuto 2:33 al 20:09 su intervención.

Pero acá los datos, entre paréntesis los usuarios en plataforma;
2014 : Diplomado para la Formación de Tutores (10,081)
2015: 16 entidades federativas solicitaron la oferta de la UPN (18,463)
2015: Educación Media Superior (3,918)
2016: Estrategia Nacional de Formación Continua (12,811)
2016: Educación Media Superior (15,662 docentes)
2017: Estrategia Nacional de Formación Continua (21,407)
2017: Educación Media Superior (47,050)
2018: Estrategia Nacional de Formación Continua (16,935)

Cómo logramos esta cobertura requiere su propia entrada, puesto que tuvimos que tomar de Azure lo que cubriera la demanda esperada, en su momento más por la oferta de memoria que por el CPU, en lugar de crear varias instancias y balancear nos fuimos por un enfoque monolítico, una maquina “grande” que pudiera tener varios medios físicos es decir que creamos un RAID0 para aumentar la velocidad de acceso en lugar de separar el servidor web del de base de datos y por supuesto un montón de optimizaciones que por si mismas ya requieren su entrada, nota jocosa se eligió Centos porque era el sabor de Linux que dominaba la subdirección de Informática, hoy en día la misma nos ha preguntado porque no nos hemos pasado a Ubuntu Server, que es menos latoso de mantener al día… y recuerdo que yo pedía eso al principio (ya que Azure no ofrecía Debian).

Otro dato jocoso en 2015 mande conferencia para el Moodlemoot y no fue aceptada, el tema como atender diez mil estudiantes con recursos limitados, cuando se anuncio el programa oficial, note que la platica del organizador principal era algo así como implementar coberturas masivas o de muchos usuarios.

Todavía recuerdo cuando nos convocaron en reunión de arranque, calculen para un millón de usuarios… y después de discutirlo un rato terminamos pensando en un pico de 50 mil usuarios (nunca simultáneos, pero eso requiere su propia entrada) y según nuestros datos en 2017 anduvimos por los 68 mil.

Hay un dicho que dice algo así como, hay quien tiene la fortuna de tener un servidor de producción y uno de pruebas y hay quien tiene el lujo de tenerlos separados, aquí aplica esa máxima aunque existe el servidor pruebas, el de integración y el de producción por cuestiones de conectividad, soporte y flexibilidad casi todo se tuvo que correr en producción con respaldo de 24 horas… en sitio y remoto, el cual probo ser el mejor punto de diseño desde primer mes.

A la distancia aprendimos muchísimo, trabajamos idem, en todo caso por acá las diapositivas porque el video no siempre es muy claro. El primer año de este proyecto es un poco la razón de esta otra entrada.

 

Publicado en Debraye, Trabajo | Etiquetado , , , , , , | 1 comentario

Pesadilla recurrente

Hace algunas noches he tenido una pesadilla recurrente, he soñado que la universidad requiere de implementar y dar capacitación a todos los docentes y ayudarlos a planear estrategias no presenciales y se forma un grupo de trabajo inter áreas y nos toca trabajar en línea y a marchas forzadas, para cumplir con el cometido…

Ya pase por algo similar, pero no en una emergencia epidémica… y el resultado fue muy bueno y al respecto creo nada he escrito, aunque sea un vistazo por acá algo escribí.

Publicado en Debraye, General | Etiquetado , | 1 comentario

Sabático

Bien dicen que no escarmienta uno en cabeza ajena y bueno en 2019 utilice una prestación que existe como académico, el año sabático, que ultimas fechas esta reglamentado bastante y solo ofrece cuatro formas de concreción, supongo esto tiene que ver con los productos que uno compromete a presentar, por ser mi primera vez, registre uno bastante modesto.

Durante el primer semestre me dedique a la revisión bibliográfica y a experimentar algunas cosas que tenia mucha curiosidad de probar de Big Data y sus herramientas, y por supuesto a meter la pata grande, de hecho en mi primer reporte decía que esto no se puede hacer fácilmente, durante el primer semestre me fue difícil iniciar y me falto el trabajo en equipo en muchas partes de la recopilación e investigación no parecía avanzar y no había gran aliciente de seguir o que tanto buscar.

Durante un rato tome un par de cursos en Coursera, pero no me termina de gustar el formato y aunque interesante el de como estudiar y aunque empece dos veces el de como hacer una tesis y avance bastante en uno de IA y otro de estadística, no encontré mucha motivación.

Ahí reconozco que acompañado de mi semestre debí tomar algún curso relacionado al tema o acércame a alguna comunidad que estuviera trabajando temas similares, debo decir que en ese sentido asistir al primer congreso el CHAT me dio bastantes ideas y me motivo bastante ademas de hacerme notar que durante la primera parte del año no había organizado aún nada de como construir mi Recurso Educativo Abierto.

En el segundo semestre justo tome un seminario taller en el IiEC y esto me dio renovada motivación para seguir adelante, con todo y que bastante lejano del tema que estaba tratando me recordó que en nuestro país mucho de lo que se realiza se logra más por el ingenio que por los recursos económicos, en la exposición que realizaron de las tesis de grado y posgrado que realizan en el colectivo encontré muchos problemas similares al mio y muchas estrategias que no se me habían ocurrido por la distancia de la ultima vez que tuve que investigar en solitario, ¿el posgrado tal vez?, ¿2008?

También en el segundo semestre me encontré con Udemy donde hallé un par de cursos que me llamaron la atención y termine pronto he de decir que me gusto más este que Coursera en el formato, aunque no tenían mucho que ver con mi trabajo, pero que me llevaron también a tomar un tercer curso con el Knight Center for Journalism in the Americas, “Periodismo de datos y visualización con herramientas gratuitas” fue el que realmente me puso de regreso en lo que estaba haciendo al mostrarme un montón de herramientas, algunas de pago y otras libres, la mayoría gratis para trabajar con datos y al mismo tiempo tener una buena idea de como se esta haciendo desde la industria…

En esta parte del sabático me percate que el REA estaba creciendo mucho y que los contenidos y planeación que estaba realizando alcanzaban para plantear una materia optativa y fue lo que termine haciendo apurarme para en noviembre presentar la materia para octavo, eso me retraso con la creación del material en línea, pero adelanto para tomar un montón de decisiones sobre las herramientas la estrategia y el alcance, dicho sea de paso en el inter semestral de verano probé algunas de las cosas que ya había investigado durante el primer semestre y fueron muy exitosas…

Casi hacia al final del año presente en EDUSOL y CONSOL lo que estaba haciendo y obtuve muy interesantes y útiles consejos y re alimentación sobre lo que llevaba hecho, no se me había ocurrido pero como alguien me dijo en el segundo, contacta con algún experto en la materia y eso hice le platique a Manuel Medina que estaba haciendo y después de leer lo que andaba haciendo me dijo, – lo que quieres hacer es más bien del ámbito de procesamiento de lenguaje natural,  y tenia toda la razón, por el lado que lo estaba abordando poco iba a lograr, por el tiempo y las entregas no he investigado por ahí pero ya ubique un par de cursos en Udemy que pretendo investigar para ver que tan útil es continuar en ese rumbo.

Total que entregue mi reporte final, no a la profundidad que hubiese deseado, con poco material digital y por supuesto con una solida materia optativa para trabajar, durante el año en reuniones, platica y otras me enteré que muchos compañeros no han solicitado el sabático justo porque en casa no avanzan o porque no encuentran un grupo de investigación que les interese o porque simplemente no se encuentran trabajando por su cuenta y organizando sus propios tiempos, cosa que ahora comprendo completamente.

A la vista del año tuve temporadas muy intensas de trabajo, con otras de ver series, salir al cine y compromisos familiares que ocuparon más tiempo del que imagine al principio, creo que debí tomar este tipo de prestación antes, pero también me parece fue un excelente momento para hacerlo y tal vez una cosa que debo lograr es desconectarme más de la oficina en periodos como de ese tipo y como me lo ha hecho saber mi mejor parte, tal vez debería animarme a viajar un poco para despejar la mente o al menos probar otros aires.

Publicado en Debraye, Educación, General | Etiquetado , , , , , | Deja un comentario

Manejadores de referencias

No se me ocurre un mejor nombre, ¿software bibliográfico? Hace ya varios ofrecieron un curso de como usar como usar software de referencias el que estaban usando entonces era Endnote y la verdad no se me hacia muy cómodo y útil, puesto que más o menos podía hacer lo mismo que con la herramienta de referencia de Office por supuesto con una interfaz bastante mala y fácil de equivocar y no compatible para trabajar fuera del equipo donde se trabajaba, pésima para colaborar.

Por el costo de Endnote y el asunto de las licencias, pensé en buscar una opción para nuestros estudiantes, que fuera software libre, multiplataforma y gratis, lo único que encontré fue Zotero, por flojo prepare y di el curso para mis colegas allá por el 2014 y me olvide del asunto, como no lo usaba, seguí dándoles a los estudiantes una introducción rápida a como usar el que viene incluido en office y como poder exportar sus referencias para usarlas en cualquier maquina.

El año pasado por necesidad de organizar todo lo que he estado leyendo y trabajando regrese a Zotero y me encanto que muchas cosas que justo no me gustaban, ahora están arregladas.

Veo que mis pares del Área usan Mendeley el cual yo no he usado y he visto que ahora que lo compró microsoft, Informática esta impulsando el uso de Onenote que recordando la vez que me metí al curso de como se usaba, aprovechando que me tocaba dar la constancia institucional al ponente, tengo idea que justo no sirve para hacer y organizar referencias pero que ahora viene incluido en el paquete institucional.

Va la pregunta, ¿conocen algún otro manejador de referencias / cita, libre o abierto, gratis y multiplataforma?

Por ahí recuerdo en alguna charla a Gunnar quejándose de Zotero, que bibtex directo, no recuerdo que programa menciono directamente, pero claro necesito que sea multiplataforma y que lo puedan instalar mis estudiantes en sus propias maquinas ellos mismos.

Publicado en General, planetalinux, Trabajo, Web | Etiquetado , , , | 2 comentarios

Git y Moodle

Ahí por septiembre que anduve en un seminario en el IIEc y tuve la fortuna de compartir varias comidas con Gunnar, abrió una de las gratas platicas de sobremesa con -¿cual es tu flujo de trabajo habitual con git? A lo que conteste en ese entonces, «no tengo, sigo usando subversion» y del cual hubo una interesante discusión de la que vale la pena escribir en otro momento

Más pronto de lo que hubiera deseado me encontré con la necesidad de implementar git ya que tengo más de una veintena de instancias de Moodle en al menos 4 maquinas con distribuciones diferentes y por ende versiones de software diferentes, pero más o menos un set de temas, plugins y modificaciones más o menos homogéneo, yo creo que a la semana de esta pregunta de sobremesa tuve que hacer un crash learning de lo que recordaba de git, status, commit, pull y aprender cual es el flujo diario de trabajo, el cual recomiendo para alguien que necesite un repaso de 10 minutos [1] e investigar como construir mi propio repositorio privado para mi versión especifica con sus modificaciones.

Lejos esta este de ser ese por un manual de como hacerlo, me puse a pensar tengo un montón de instancias, cual será la mejor forma de manejarlas, hasta el momento lo que hacia simplemente era clonar el LTS de Moodle via https en github, es decir prácticamente lo que dice que haga uno en la página de la documentación de Moodle [2] es más hasta había recortado lo que clonaba a solo el release que me interesaba en su momento 3.1 que era el anterior LTS, ahora que el LTS es 3.5 primero probé con las versiones de php y tuve varios problemas, por lo que en 3.5.8 había un par de problemas que no me permitían actualizar con php 7.0.33 en todo caso esto hizo más apremiante crear mi propio repositorio [3,4] a donde puse todos mis cambios y ejercite mis recién recordados usos de git…

Esto resolvió y creo un problema interesante, resolvió que en mis servidores tengo bloqueado un montón de sitios por políticas del firewall entre ellos github, go figure, por lo que hacia un pequeño túnel para que localhost se convirtiera en github, eso lo soluciono tener mi propio repositorio interno y en una de mis maquinas, ademas de añadir velocidad a mover archivos, pero me creo el problema de tener que entrar mi contraseña por todos lados, por supuesto crear una llave ssh sin contraseña lo solucionaría por lo cual tuve que mover mi repositorio privado de mi maquina de oficina a una maquina con mejor uptime y en el site de la universidad, cosa sencilla pues es la misma maquina que actualmente se encarga de los respaldos.

Aquí como se ve mi git log

commit 5d20900043d1f96e74f9c001c55f866b9a0a5004 (HEAD -> master, origin/master, origin/HEAD)
Author: vicm3 <vicm3@blografia.net>
Date: Tue Jan 7 12:47:46 2020 -0600

Añado morecandy en compatibilidad con los sitios que aún lo requieren.

commit 8efdcfae566a4a4d7992e46baf8ec1b70426fc47
Author: vicm3 <vicm3@blografia.net>
Date: Sun Dec 29 15:14:22 2019 -0600

Paso de 3.5.8 a 3.5.9, janus y sagan están atrasados ya que no siguen este repositorio.

commit a8cc685c61ed8e32048ed5e378371e0b320061c3
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Fri Dec 27 13:27:35 2019 -0600

Y bueno parece que ahora requiere () en vez de {} :P a ver si se ponen
de acuerdo o ponen un ejemplo, de hecho voy a tener que ponerlo.

commit 13b5c644f5dc7b18066816d6fea1d0f9e59bb74e
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Fri Dec 27 11:18:54 2019 -0600

A probar si el error es por el [] en lugar de {} o tengo que buscar en
la documentación.

commit 426b566679bfd68c475a9d930855ca67f2d2d569
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Thu Dec 26 20:51:10 2019 -0600

Los cambios para el manejo del corro, que aún hay que probar y la
libreria phpmailer para que acepte linux como relay.

commit a5ba8d7b3a264016b8eb868db6efd18820d089ed
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Thu Dec 26 18:44:18 2019 -0600

Actualizo los configurable_reports y format_onetopic.

commit 7f6125d8e2f6919fa18da5c9972ca659c8a109de
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Thu Dec 26 17:58:29 2019 -0600

Pensando en como manejar todo el relajo que traigo para tener un solo
repo pero de las modificaciones que si hacemos.

commit 8149c639edae09cbd8aa910623f84da1324aae00
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Thu Oct 24 13:54:18 2019 -0500

Probando añadir cambios desde janus.

commit 0f89bd30f24711aa5ec11cc48c503db3af3c689a
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Wed Oct 2 23:57:32 2019 -0500

Canvas es dependencia de formal_white y como no puedo hacer push lo
habia dejado con el nombre incorrecto y mal puesto… Buhh

commit 36e4f980e13d34e8b69d5b13a610a73de50ed81f
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Wed Oct 2 23:52:23 2019 -0500

Añado theme_base como dependencia de forma_white

commit b1a10a5abe60535e2c86ab56f089faea23c0f551
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Wed Oct 2 23:22:05 2019 -0500

Formal_white lo requiere como theme_canvas, probemos.

commit 6b3a36ded35b93d323cfe4485376fd2cb9e58d83
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Wed Oct 2 23:18:46 2019 -0500

Añado canvas y formal_white para nuestro stack tener en cuenta que son
viejisimos y pueden causar problemas con muchos dispositivos.

commit d72aec2b88d630ab90301ebb9351ef024b747f94
Author: Víctor Martínez <victor.m3@gmail.com>
Date: Wed Oct 2 23:05:38 2019 -0500

Para usar formal_white hay que poner todas sus dependencias, canvas y
otros dos que ya no están soportados hace tiempo, vale la pena?

commit 267198eecfaa0a054ebfeadcd58142653d1ad20e
Author: root <root@formaciontutores.ajusco.upn.mx>
Date: Wed Oct 2 22:29:55 2019 -0500

añado themes, configurable_reports y course_format_onetopic

commit 38a3831b1a3e63462309c79bfa9171f0ab82e18a
Author: root <root@formaciontutores.ajusco.upn.mx>
Date: Wed Oct 2 22:25:37 2019 -0500

Primer commit

Y claro simplemente hacer git pull en cada maquina me ha simplificado la vida, me simplificarla aún más la vida añadir a los hooks que cuando hago push lanzara los scripts que tengo para hacer pull y los de actualización, pero como no hago pruebas estandarizadas y pudiera tronar como un gigantesco ejote de momento hasta aquí me parece una mejor practica que estar siguiendo el HEAD de Moodle sin mayores cambios, lo cual rompió un par de instalaciones en el pasado por que tengo maquinas con CentOS, Debian y Ubuntu.

Bien dice el dicho, todos tenemos ambientes de desarrollo y de producción hay quien tiene la suerte de tenerlos separados ;) en mi caso esa separación se encuentra en que no se propaga automáticamente y que puedo ir probar maquina por maquina y luego correr la automatización, se que no es lo ideal, pero me funciona bastante bien.

Y claro, todavía no tengo un flujo ‘sano/diario’ de trabajo en git.

[1] https://rogerdudler.github.io/git-guide/
[2] https://docs.moodle.org/38/en/Git_for_Administrators
[3] https://stackoverflow.com/questions/7632454/how-do-you-use-git-bare-init-repository
[4] https://mijingo.com/blog/what-is-a-bare-git-repository

Publicado en Debraye, General, planetalinux, sysadmin, Trabajo | 2 comentarios

Allow WordPress to use a relay smtp with self signed cert

    271     /**
    272      * Options array passed to stream_context_create when connecting via SMTP.
    273      * @var array
    274      */
    275     public $SMTPOptions = array(
    276          'ssl' => array(
    277         'verify_peer' => false,
    278         'verify_peer_name' => false,
    279         'allow_self_signed' => true
    280                     )
    281         );

Around line 271 on wp-includes/class-phpmailer.php ,or better search for SMTPOptions

Related with same conf for Moodle as php now disables it.

Also phpmailer is a very popular class for php apps, in the documentation page on the troubleshot category you can find my case of use https://github.com/PHPMailer/PHPMailer/wiki/Troubleshooting#updating-ca-certificates

Publicado en Debraye, General, planetalinux, sysadmin, Trabajo | Etiquetado , , , , | Deja un comentario

Encuentre las diferencias

Encuentre las diferencias, la naranja cuesta 145mxn y la azul cuesta 450mxn con Klein o 365 con Tulmex su socio nacional, en homedepot vi unas «consumer electric» verdes en 185 pero me ganaron la última del exhibidor… veremos que tal sale la Truper…

Hace rato pase por una tienda Knova y acabo de ver los tres modelos 6”, 7” y 8” que me parece son patente de Klein…

Y yo tengo dos Klein una curva de 7″ que venia en un paquete y una de 6” que estuvo en oferta en Amazon, pero no me pude sacar de la cabeza el sábado que Truper, Knova y la marca propia de Homedepot estuvieran haciendo esa herramienta de la que tenia idea que la patente la tenia Klein, hace un rato se me ocurrió ir al sitio de Klein y encontré lo siguiente:

La de 7” curva, su patente es US D827,403 se registro mundialmente en 2017 y estará vigente hasta 2033 https://patents.google.com/patent/USD827403S1/en?oq=US+D827%2c403

Pero urgandole un poquito más resulta que la idea viene de 1960 https://patents.google.com/patent/US2940343A/en?oq=US+D827%2c403

Y ya entrados en gastos la de 8” más bien parece que la invento o patento Stanley, que la invento A, Boyajian en 1970 y expiro en 1991 https://patents.google.com/patent/US3831207A/en?oq=Patent+US+D827%2c403

La de 7” se patentó en 1975 por Ted Neff y expiro en 1993… https://patents.google.com/patent/US3947905A/en?oq=Patent+US+D827%2c403

La de 6” la inventaron Bruce P. KonenRobert F. Pierson de Ideal Industries en 1994, se patento en 1999 y expiró en abril de 2019 https://patents.google.com/patent/US6234050B1/en?oq=Patent+US+D827%2c403

Yo durante mucho tiempo use una sin marca que compre en la secundaria y que remplace por una casi igual Stanley que básicamente es este modelo https://patents.google.com/patent/US3525107A/en?oq=Patent+US+D827%2c403 pero que tenia grandes problemas para cortar cable y para servir como pinza por la colocación de las zonas para tal efecto.

De izquierda a derecha, las amarillas casi no las he usado, pero justo compre la naranja que sigue para poderlas traer por todos lados, las azules solo las he usado en casa cuando he hecho cable UTP (muy poco), las siguientes naranjas las acabo de comprar el sábado, las rojas las tengo desde la secundaria y al menos dos veces he tenido que darles con un martillo para que el ajuste quede útil ademas de al menos una vez enderezarlas con un tornillo de banco, las Stanley (amarillas) que le siguen son las que en uso le siguen y que estaba recién retire por las Truper que le siguen pero que dejaron de hacer, ahora el modelo que ofrecen es el ultimo que compre en oferta y que al usar me quedo claro porque, son demasiado grandes, no cierran bien y los mangos no son la gran cosa. Dicho sea de paso en las Truper de 6″ ( la segunda de izquierda a derecha) los mangos se salen fácilmente, les puse pegamento blanco (resistol 850) y ya no me han dado lata.

Entonces quiero creer que efecto las curvas y con mangos luminiscentes seguirán siendo sólo Klein durante un largo tiempo, pero las otras ya serán de uso común y le voy a dar un vistazo a la Knova ya que es pavonada igual que la Klein y eso ha mostrado mayor resistencia al desgaste, espero que esto también ayude a que se inventen unas mejores, pero creo que las de 8” y 7” son muy buenas al menos en lo que las he estado usando.

Extendido de mi post en twitter https://twitter.com/vicm3/status/1203374000921104385

Publicado en Debraye, General, Web | Etiquetado , , , , , , , , | Deja un comentario

Más de raspado en la red

No me gustaba mucho el termino webscrap porque me sonaba a una forma adornada de decir hacer un espejo de información, ahora que he estado haciendo algunos ejercicios de un curso de datos y periodismo, encuentro que bien hecho es más que descargarse todos los datos, en realidad como lo dice, raspar los datos de una inmensidad de cosas que no te quieres traer.

Entonces raspar me gusto más, siguiendo con esto de la transparencia, en el CONSOL pasado tuve el gusto de conocer a Petrosh y de platicar largo y tendido, al estar más cerca del rancho Electrónico le comente que quise ir a una charla / taller que hubo en octubre de 2018 llamada “Hackeando Infomex Técnicas de scrapeo de la plataforma de Información Pública” que medio seguí en twitter lo que fueron poniendo me conecte y no pude ver mucho de lo que dijeron y no tuve la previsión de respaldar el pad que se utilizo donde venían algunas ideas que seguro ya implemente, pero regresando al platicar de esto y de lo que iba a hablar en Consol, me quedo un poco de inquietud de lo que se platico y de que un poco a propósito se mantuvo perfil bajo por el tema y porque no se quiere hacer mucho ruido, por el área un tanto gris en la que se encuentra ese tipo de actividad.

Hace poco estuve pensando en que en efecto en es un relajo entre SIPOT donde reportan las obligaciones de transparencia y las diferentes partes de las páginas de gobierno que hacen transparencia proactiva y de interés publico (que justo lo que le interesa al publico y nos gustaría saber es lo que menos ponen) recordé que Infomex es donde se solicita información y que ciertamente las respuestas luego son más interesantes porque ademas son publicas.

Ya he desechado al menos para esta entrega el aprendizaje automático, pero se me ocurrió y si obtenemos todas las respuestas publicas para un organismo, ¿que tan difícil puede ser?

El propio Infomex en su sección de datos abiertos provee de JSON, CSV y algún otro formato con todas las peticiones y respuestas que se puede trabajar, que puede ser por año, por dependencia o global, el más interesante por supuesto es el global, pero casi que esta pensado para que se le dificulte a uno su uso muy a propósito, por el tamaño son uno 800MB de registros… con los cual un rato estuve jugando en Gnumeric, encontré los de la dependencia que me interesaba y el folio que representaba la información, ahora una cosa que no es demasiado clara hasta que ha estado uno usando el sistema un rato es que a las peticiones se les puede contestar, con inexistente, reservado, se requiere más información en proceso, terminado, con información entregada, etcétera, entonces los folios que más interesantes me resultaron, no tenían información, o no correspondían con los públicos, es decir con los que si contienen información.

En la interfaz de Infomex uno puede consultar los datos por ente, fecha y otros, pero el que me pareció más interesante fue el de ente, con información entregada en formato digital, de esta consulta se puede exportar una hoja de calculo o PDF por supuesto que después de haber trabajado ya un rato con PDF de esta vista que provee folio de solicitud, fecha de recepción, unidad de información, respuesta, fecha de respuesta, etc. Y exportar, de todas formas es bastante inútil el archivo exportado ya que aunque provee de URL estos solo funcionan en la vista de la aplicación web y no en el PDF o en el XLS exportado.

Pero, en este se encuentran todos los números de folios de las respuestas y eso revisando la página es suficiente porque la URL de la descarga la construye con esos números entonces, digamos exportamos nuestro PDF

pdftotext archivote.pdf archivote.txt

Y en teste no es más que buscar las cadenas de los folios, por ejemplo

grep 1234 archivote.txt > folios.txt

Y bueno recordando mis inicios en bash cuando hice mi primer contador pues me hice este pequeño script.

#!/bin/bash

# Obtener todas las respuestas de infomex
for i in $( cat folios.txt )

do

echo $i

          wget "https://foo.bar/MimeAdjuntoSeguimientoGenerator.action?folio=$i&respuesta=6" -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.6) Gecko/20040206 Firefox/0.8" --no-check-certificate

            done

echo;

Por supuesto no quiero dejar toda la URL para evitar que alguien que este aprendiendo bash nada más copie y pegue y termine pegando a un servidor de por si lento.

Y bueno ahora tengo 1571 archivos de respuestas… a esto si se antoja aplicarle procesamiento de lenguaje natural para encontrar patrones…

Publicado en Debraye, Educación, General, planetalinux | Etiquetado , , , , , , , , | Deja un comentario

Calaverita literaria

Estaba Manuel haciendo su tarea
De escribir una una calaverita
Cuando pasó la muerte y leyó la tarea
A Manuel reprobó porque estaba muy fea.

MFMT

A los alumnos de primero una calavera les encargaron
Batallaron y Batallaron, hasta su hermano opinó
Y opino pero nada de ayuda brindó
Escribir la tarea, una faena se convirtió
Pasaba por ahí la huesuda y al ver al par
En el arguende al panteón se los llevó a pasear
Ahora la tarea incompleta quedó,
Pero los hermanos de gran platica siguen en el mauselo tras el altar.

VM3

Publicado en General | Deja un comentario