Y bueno he estado trabajando con un mont\u00f3n de archivos PDF y ha sido interesante, ya que me encontr\u00e9 que los sistemas que estaba consultado eran feos, ahora ya est\u00e1n bonitos, pero sigue siendo una lata consultarlos ya que no se puede hacer una consulta diferente a partir de la que ya ha uno ha realizado, tiene que hacer uno de nuevo todo el camino, entonces como esto es solamente una especie de portal a otro portal o p\u00e1gina institucional, me fije en a que p\u00e1gina me llevaba.<\/p>\n
En el sistema m\u00e1s viejo lleva a un php nuke [1] y como no es muy compleja la jerarqu\u00eda que tiene de archivos, en un directorio docs est\u00e1n todos los que me interesan, en realidad en un subdirectorio, as\u00ed que con un wget http:\/\/foo.bar\/doc\/esto -np -nc -r me traje todo, dicho se a de paso, np para que no suba en la jerarqu\u00eda y no se traiga m\u00e1s cosas que las que quiero, nc para que no tenga el mismo archivo con diferente numeraci\u00f3n y -r para que traiga todo lo que hay en el subdirectorio, resultado 187MB de archivos.<\/p>\n
El segundo sistema usa Joomla [2]y hace la p\u00e9sima elecci\u00f3n de gestionar sus descargas con phocadownload [3] y digo p\u00e9sima desde el punto de vista de recuperar archivos que han desaparecido o cambiado de lugar, p\u00e9sima porque no da un URL limpio, da una cosa como http:\/\/foo.bar\/index.php?option=com_phocadownload&view=category&download=1940:se14&id=381:2018&Itemid=310 que ademas fuerza la descarga del PDF entonces archive.org o el cache de google no capturan los archivos si se mueven y si eventualmente el sitio desaparece se llevar\u00e1 todos sus archivos sin posibilidad de recuperarlos con versiones anteriores del sitio, para complicar la cosa, tampoco es sencillo descargarlo con wget, ya que los v\u00ednculos son generados, di una revisi\u00f3n de como hace scrapping la gente de grandes datos y no vi mejor opci\u00f3n que una herramienta que ya uso hace tiempo httrack [4], si vi un mont\u00f3n de librer\u00edas de python y varios sitios web y aplicaciones pero para lo que necesito esta lo logra sin tanta ceremonia y ya tiene rato de existir.<\/p>\n
Otro problema que me tope, es que con el phocadownload no me fue posible al menos con httrack, seguro si filtro los php y termino escribiendo mi propio c\u00f3digo podr\u00eda lograr no traerme el sitio completo que resulto medir 1.1G, 981 PDF y el sitio anterior 1G y 1049 archivos PDF, entonces tal cual vi en la conferencia Grande Datos en Ciencias Sociales y Politicas P\u00fablicas, en la intervenci\u00f3n de Tom Smith [5] <<\u201cBig data\u201d often means \u201cdata produced by someone else\u201d and there\u2019s lots of it>><\/strong> totalmente no es que sea realmente gigantesca la cantidad no son petabytes de informaci\u00f3n pero son 981 archivos de los cuales despu\u00e9s de analizar de una forma distinta la tarea, deduc\u00ed se producen 4 informes al a\u00f1o por ya 5 a\u00f1os, 20 archivos\u2026 pues no, no son tantos datos y si es posible recuperarlos de forma manual sin tardar el tiempo de pensar en siquiera como construir un script que lo haga.<\/p>\n En fin que estaba pensando en aplicarle t\u00e9cnicas de grandes datos y si hice alguna cosa, utilice recoll [6] para dar una revisada a las palabras que me interesaba buscar en el mismo, quise crearme unas nubes de frecuencias de palabras con los textos que encontr\u00e9 y prob\u00e9 word_cloud [7] pero no me termino de gustar, por supuesto para que este funcionara primero tuve que sacar el texto de los PDF o buscar en ellos y pdfgrep [8] y pdftotext [9] son grandes herramientas que ya tenia instaladas o no me hab\u00eda percatado de que ya hab\u00eda usado, total que creo que me conviene m\u00e1s dedicarme a mis datos espec\u00edficos y dejar para otro momento las otras ideas de grandes datos, ya que lo que estuve medio leyendo en coursera [10] y en lo de INEGI\/COLMEX no me es completamente \u00fatil para lo que estoy investigando, pero que interesantes cosas he encontrado en el camino.<\/p>\n [1] https:\/\/www.phpnuke.org<\/a> Y bueno he estado trabajando con un mont\u00f3n de archivos PDF y ha sido interesante, ya que me encontr\u00e9 que los sistemas que estaba consultado eran feos, ahora ya est\u00e1n bonitos, pero sigue siendo una lata consultarlos ya que no … Sigue leyendo
\n[2] https:\/\/www.joomla.org\/<\/a>
\n[3] https:\/\/www.phoca.cz\/phocadownload<\/a>
\n[4] http:\/\/www.httrack.com\/<\/a>
\n[5] https:\/\/www.inegi.org.mx\/eventos\/2019\/bigdata\/default.html<\/a>
\n[6] https:\/\/www.lesbonscomptes.com\/recoll\/<\/a>
\n[7] https:\/\/github.com\/amueller\/word_cloud<\/a>
\n[8] https:\/\/pdfgrep.org\/<\/a>
\n[9] https:\/\/www.xpdfreader.com\/pdftotext-man.html<\/a>
\n[10] https:\/\/www.coursera.org\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"