¿El BOE por RSS? (3ª parte)

And now, for something completely the same!

Una característica interesante de Pipes es que dispone de módulos de entrada. Éstos permiten introducir datos en el flujo de un pipe. Los hay de varias clases:

  • URLs (URL Input).
  • Números (Number Input).
  • Ubicaciones geográficas (Location Input).
  • Texto (Text Input).
  • Fechas (Date Input).

Usaremos uno de los más sencillos (el de texto) para darle vidilla al pipe que creamos antes. Para empezar, podemos clonarlo. En la pantalla de edición, basta con pulsar el botón Save a Copy. Así no romperemos nada. Sobre la copia, añadimos un módulo Text Input y lo configuramos con los valores:

  • Name: “titulo”. Este es el nombre del parámetro de entrada que estamos creando.
  • Prompt: “Palabra a buscar”. Aparecerá como nombre del módulo, y en su ejecución a través de la interfaz de Pipes.
  • Position: (en blanco, no es necesario). Determina el orden de aparición del parámetro en la interfaz de Pipes al ejecutar el programa, en el caso de que haya varios.
  • Default: “igualdad”. El valor por defecto del parámetro. Así empezó esta historia.
  • Debug: “ley”. Un valor para probar en la pantalla de edición. Buscando en el BOE, la palabra ley asegura muchas respuestas.

Conectamos la salida del Text Input con la entrada del valor del parámetro llamado dato[1] (no la del mismo parámetro, que si no la liamos) del primer URLBuilder. Sabemos que es ése y no otro porque hemos mirado la URL de búsqueda del BOE y, más o menos, la entendemos… ¡Y ya está! Podemos probar nuestro pipe, tras guardarlo y (opcionalmente) publicarlo aquí.

¿El BOE por RSS? (2ª parte)

En la entrada anterior observamos que RSSxl, como scraper, es un tanto limitado. Existen opciones mucho más avanzadas (y complejas), pero requieren disponer de acceso a un servidor, con lo que perdemos la ventaja fundamental de RSSxl: es online y no requiere configuración ni conocimientos especiales.

Pero introduzcamos una nueva herramienta, también online: Pipes, de Yahoo. En resumen, Pipes es un remezclador de fuentes RSS, aunque se le adivina mucho potencial. Verdad es que nada de lo que, hoy por hoy, se puede hacer con Pipes es imposible de otra forma; lo que consigue es una bajada espectacular de la barrera de entrada. Dicho de otro modo, con Pipes manipular fuentes RSS queda al alcance de cualquiera con curiosidad y dos dedos y medio de frente. Justo lo que necesitaba.

Aquí hay una explicación más detallada, y un ejemplo, cortesía de Microsiervos. Y ahora vamos con la receta.

Pipes va de unir módulos que hacen cosas con tubos (¿no era obvio?). Es un poco de filosofía Unix aplicada a la Web 2.0. Necesitaremos:

  • Dos módulos URLBuilder.
  • Un módulo Fetch.
  • Un módulo Regex.
  • El Pipe Output, que ya sale por defecto (representa el resultado final).

Ponemos en juego el primer URLBuilder. En su campo base, pegamos la URL de búsqueda que habíamos obtenido en el BOE usando la página de búsqueda avanzada (ésta). Inmediatamente, los diferentes componentes de la query aparecen desglosados en Query elements dentro del módulo, y separando nombres de valores. Reservamos.

Añadimos ahora el segundo URLBuilder. En su campo base, pegamos la URL que obtuvimos en el episodio anterior pulsando Generate RSS en RSSxl. Obtenemos el mismo resultado que en el caso anterior: los componentes de la parte de query se separan automáticamente. Nos interesa el parámetro pageurl, y el circulito que se ve a la derecha de su valor.

Las flechas rojas indican los extremos de la conexión que hay que hacer. El parámetro pageurl tendrá que tener como valor [url], es decir, la dirección completa que sale del primer URLBuilder.

Ahora insertamos el módulo Fetch, y lo conectamos con la salida del segundo URLBuilder. Éste es más fácil, ya que sólo hay una forma de hacer la conexión. Colocamos el módulo Regex y le prestamos un poco de atención.

Con la salida de Fetch ya tenemos la fuente RSS construida como en el episodio anterior. Lo que vamos a hacer con Regex es corregir el problema de los enlaces de los elementos RSS, que vimos que no funcionaban tal y como quedaban generados por RSSxl. Si miramos el elemento <link> de la fuente RSS generada, y lo comparamos con el valor que tendría que tener (el valor del atributo href del enlace “Más…” de los resultados de la búsqueda en el BOE), observamos que podemos obtener el segundo a partir del primero por medio de una expresión regular y una sustitución.

Las expresiones regulares son uno de los instrumentos más poderosos para el tratamiento y transformación de información textual que existen. También son complejas y dolorosas, sobre todo cuando se empieza con ellas. En este caso, usaremos Regex para sustituir en los elementos link de la fuente RSS aquello que encaje con la expresión:

search\.php\?.*(doc\.php.*$)

Por:

$1

Si estás leyendo esto, no lo entiendes y tienes el más mínimo interés en la programación, te recomiendo que aprendas a manejar expresiones regulares. Hasta en los casos sencillos pueden resolver problemas que de otro modo serían difícilmente tratables (y desde luego, de un modo elegante y terso). La expresión que he usado se puede leer como:

Busca el texto “search.php?” seguido de un número indeterminado de caracteres, y terminado con “doc.php” y otra cadena de 0 a n caracteres. Guarda desde “doc.php” hasta el final en un registro numerado, que usaremos en la sustitución como $1.

Terminamos conectando la salida de Regex con Pipe Output. Sólo queda guardar el pipe que hemos creado y publicarlo si queremos. El que hemos creado aquí está disponible como BOEv1, y la fuente RSS que genera es ésta.