¿El BOE por RSS? (4ª parte)

Los parámetros de entrada de un pipe determinan, de un modo automático, la interfaz que Yahoo generará para acceder a él. Pero, ¿qué ocurre si queremos usar el pipe sin abrir su página correspondiente en el navegador?

La respuesta es a la vez obvia y brillante: ¡podemos pasar los parámetros en la URL del pipe, como un método GET! Eso significa que si la URL de nuestro pipe es:

http://pipes.yahoo.com/pipes/pipe.info
?_id=sOW2lOvS2xGGAgtA1vC6Jw

… Podremos concatenar (usando el nombre que dimos antes al parámetro de entrada):

&_render=rss&titulo=igualdad

para pasar un valor para el parámetro de entrada titulo, sin tener que pasar por la interfaz de Yahoo. En realidad estamos pasando otro parámetro dentro de la query: _render, con valor “rss”, además de nuestro parámetro. Esto le indica a Pipes que genere salida en forma de fuente RSS, y no una interfaz HTML convencional. La URL completa sería esta.

Naturalmente, si tuviéramos más módulos de entrada de datos en nuestro pipe, pasar los correspondientes valores a través de la URL sería tan sencillo como concatenar más parámetros con “&” en el formato “nombre=valor”. Sólo deberemos tener la precaución de escapar los valores que queramos pasar (formalmente, aplicarles un URL encoding).

Esto, claro, me da una idea…

¿El BOE por RSS? (3ª parte)

And now, for something completely the same!

Una característica interesante de Pipes es que dispone de módulos de entrada. Éstos permiten introducir datos en el flujo de un pipe. Los hay de varias clases:

  • URLs (URL Input).
  • Números (Number Input).
  • Ubicaciones geográficas (Location Input).
  • Texto (Text Input).
  • Fechas (Date Input).

Usaremos uno de los más sencillos (el de texto) para darle vidilla al pipe que creamos antes. Para empezar, podemos clonarlo. En la pantalla de edición, basta con pulsar el botón Save a Copy. Así no romperemos nada. Sobre la copia, añadimos un módulo Text Input y lo configuramos con los valores:

  • Name: “titulo”. Este es el nombre del parámetro de entrada que estamos creando.
  • Prompt: “Palabra a buscar”. Aparecerá como nombre del módulo, y en su ejecución a través de la interfaz de Pipes.
  • Position: (en blanco, no es necesario). Determina el orden de aparición del parámetro en la interfaz de Pipes al ejecutar el programa, en el caso de que haya varios.
  • Default: “igualdad”. El valor por defecto del parámetro. Así empezó esta historia.
  • Debug: “ley”. Un valor para probar en la pantalla de edición. Buscando en el BOE, la palabra ley asegura muchas respuestas.

Conectamos la salida del Text Input con la entrada del valor del parámetro llamado dato[1] (no la del mismo parámetro, que si no la liamos) del primer URLBuilder. Sabemos que es ése y no otro porque hemos mirado la URL de búsqueda del BOE y, más o menos, la entendemos… ¡Y ya está! Podemos probar nuestro pipe, tras guardarlo y (opcionalmente) publicarlo aquí.

¿El BOE por RSS? (2ª parte)

En la entrada anterior observamos que RSSxl, como scraper, es un tanto limitado. Existen opciones mucho más avanzadas (y complejas), pero requieren disponer de acceso a un servidor, con lo que perdemos la ventaja fundamental de RSSxl: es online y no requiere configuración ni conocimientos especiales.

Pero introduzcamos una nueva herramienta, también online: Pipes, de Yahoo. En resumen, Pipes es un remezclador de fuentes RSS, aunque se le adivina mucho potencial. Verdad es que nada de lo que, hoy por hoy, se puede hacer con Pipes es imposible de otra forma; lo que consigue es una bajada espectacular de la barrera de entrada. Dicho de otro modo, con Pipes manipular fuentes RSS queda al alcance de cualquiera con curiosidad y dos dedos y medio de frente. Justo lo que necesitaba.

Aquí hay una explicación más detallada, y un ejemplo, cortesía de Microsiervos. Y ahora vamos con la receta.

Pipes va de unir módulos que hacen cosas con tubos (¿no era obvio?). Es un poco de filosofía Unix aplicada a la Web 2.0. Necesitaremos:

  • Dos módulos URLBuilder.
  • Un módulo Fetch.
  • Un módulo Regex.
  • El Pipe Output, que ya sale por defecto (representa el resultado final).

Ponemos en juego el primer URLBuilder. En su campo base, pegamos la URL de búsqueda que habíamos obtenido en el BOE usando la página de búsqueda avanzada (ésta). Inmediatamente, los diferentes componentes de la query aparecen desglosados en Query elements dentro del módulo, y separando nombres de valores. Reservamos.

Añadimos ahora el segundo URLBuilder. En su campo base, pegamos la URL que obtuvimos en el episodio anterior pulsando Generate RSS en RSSxl. Obtenemos el mismo resultado que en el caso anterior: los componentes de la parte de query se separan automáticamente. Nos interesa el parámetro pageurl, y el circulito que se ve a la derecha de su valor.

Las flechas rojas indican los extremos de la conexión que hay que hacer. El parámetro pageurl tendrá que tener como valor [url], es decir, la dirección completa que sale del primer URLBuilder.

Ahora insertamos el módulo Fetch, y lo conectamos con la salida del segundo URLBuilder. Éste es más fácil, ya que sólo hay una forma de hacer la conexión. Colocamos el módulo Regex y le prestamos un poco de atención.

Con la salida de Fetch ya tenemos la fuente RSS construida como en el episodio anterior. Lo que vamos a hacer con Regex es corregir el problema de los enlaces de los elementos RSS, que vimos que no funcionaban tal y como quedaban generados por RSSxl. Si miramos el elemento <link> de la fuente RSS generada, y lo comparamos con el valor que tendría que tener (el valor del atributo href del enlace “Más…” de los resultados de la búsqueda en el BOE), observamos que podemos obtener el segundo a partir del primero por medio de una expresión regular y una sustitución.

Las expresiones regulares son uno de los instrumentos más poderosos para el tratamiento y transformación de información textual que existen. También son complejas y dolorosas, sobre todo cuando se empieza con ellas. En este caso, usaremos Regex para sustituir en los elementos link de la fuente RSS aquello que encaje con la expresión:

search\.php\?.*(doc\.php.*$)

Por:

$1

Si estás leyendo esto, no lo entiendes y tienes el más mínimo interés en la programación, te recomiendo que aprendas a manejar expresiones regulares. Hasta en los casos sencillos pueden resolver problemas que de otro modo serían difícilmente tratables (y desde luego, de un modo elegante y terso). La expresión que he usado se puede leer como:

Busca el texto “search.php?” seguido de un número indeterminado de caracteres, y terminado con “doc.php” y otra cadena de 0 a n caracteres. Guarda desde “doc.php” hasta el final en un registro numerado, que usaremos en la sustitución como $1.

Terminamos conectando la salida de Regex con Pipe Output. Sólo queda guardar el pipe que hemos creado y publicarlo si queremos. El que hemos creado aquí está disponible como BOEv1, y la fuente RSS que genera es ésta.