El web scraping es el proceso de extracción automática de datos de sitios web. Es una técnica poderosa que se utiliza para todo, desde el seguimiento de precios y la generación de leads hasta la investigación de mercado y el análisis de la competencia. Cuando se trata de web scraping con Node.js, dos bibliotecas se destacan del resto: Cheerio y Puppeteer.
Si bien ambas herramientas le permiten extraer datos de páginas web, funcionan de maneras fundamentalmente diferentes. Cheerio es una biblioteca del lado del servidor que analiza HTML y proporciona una API para recorrer y manipular la estructura de datos resultante. Puppeteer, por otro lado, es una biblioteca de automatización de navegador sin cabeza que le permite interactuar con páginas web como un usuario humano.
Entonces, ¿cuál debería elegir para sus necesidades de web scraping en 2024? En esta guía completa, enfrentaremos a Cheerio contra Puppeteer en una batalla cara a cara, comparando su rendimiento, facilidad de uso y flexibilidad. Nos sumergiremos en ejemplos de código, analizaremos escenarios comunes de scraping y brindaremos puntos de referencia para ayudarlo a tomar una decisión informada.
Entendiendo Cheerio
Cheerio es una biblioteca del lado del servidor que te permite analizar HTML y manipularlo usando una sintaxis muy similar a jQuery. En realidad, no representa el HTML ni ejecuta JavaScript; simplemente analiza la cadena HTML estática y crea una estructura de datos en memoria que puede consultar y manipular.
Aquí hay un ejemplo básico del uso de Cheerio para extraer los títulos de una página HTML simple:
const axios = require(‘axios‘);
const cheerio = require(‘cheerio‘);
async function scrapeData() {
try {
const { data } = await axios.get(‘https://example.com‘);
const $ = cheerio.load(data);
const titles = [];
$(‘h2.title‘).each((i, elem) => {
titles.push($(elem).text());
});
console.log(titles);
} catch (error) {
console.error(error);
}
}
scrapeData();En este ejemplo, usamos Axios para recuperar el contenido HTML dehttps://example.com. Luego cargamos el HTML en Cheerio, lo que nos brinda una interfaz similar a jQuery para consultar el documento. encontramos todos los<h2>elementos con la clasetitle, extrae su contenido de texto y registra la matriz de títulos resultante.
Características clave de Cheerio
- Sintaxis familiar: Si has usado jQuery antes, Cheerio te resultará muy familiar. Proporciona métodos como
find(),parent(),siblings(), etc., para navegar y manipular el HTML analizado. - Ligero y rápido: Dado que Cheerio en realidad no representa HTML ni ejecuta JavaScript, es muy rápido y liviano en comparación con las herramientas que usan un navegador real.
- Análisis del lado del servidor: Cheerio se ejecuta completamente en el lado del servidor, lo que lo convierte en una buena opción para proyectos en los que no es necesario interactuar con la página como un usuario humano.
Entendiendo al titiritero
Puppeteer es una biblioteca Node.js desarrollada por Google que le permite controlar un navegador Chrome o Chromium sin cabeza mediante programación. A diferencia de Cheerio, Puppeteer en realidad ejecuta un navegador real detrás de escena, lo que le permite interactuar con páginas web como si fuera un usuario humano.
Aquí hay un ejemplo básico del uso de Puppeteer para extraer los títulos de una página dinámica que requiere JavaScript para renderizarse:
const puppeteer = require(‘puppeteer‘);
async function scrapeData() {
try {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(‘https://example.com‘);
const titles = await page.evaluate(() =>
Array.from(document.querySelectorAll(‘h2.title‘))
.map(elem => elem.textContent)
);
console.log(titles);
await browser.close();
} catch (error) {
console.error(error);
}
}
scrapeData();En este ejemplo, iniciamos una instancia de navegador sin cabeza con Puppeteer y navegamos hastahttps://example.com. Luego usamos elevaluate()método para ejecutar código JavaScript en el contexto de la página; en este caso, encontrar todos los<h2>elementos con la clasetitley extraer su contenido textual. Finalmente, registramos la matriz de títulos resultante y cerramos el navegador.
Características clave del titiritero
- Entorno de navegador real: Puppeteer ejecuta un navegador real, lo que le permite extraer páginas que dependen en gran medida de JavaScript para representar su contenido.
- Interactividad: Con Puppeteer, puedes simular interacciones humanas como hacer clic en botones, completar formularios y desplazarte. Esto la convierte en una herramienta poderosa para eliminar sitios web complejos y dinámicos.
- Control de renderizado: Puppeteer le brinda un control detallado sobre el proceso de renderizado. Puede esperar a que aparezcan elementos específicos, establecer tamaños de ventana gráfica e incluso simular condiciones de red lentas.
Comparación de rendimiento
Para comparar el desempeño de Cheerio y Puppeteer, consideremos un escenario de scraping del mundo real. Supongamos que queremos extraer las 100 mejores películas de IMDB y extraer sus títulos, años y calificaciones.
Así es como podríamos implementar esto usando Cheerio:
const axios = require(‘axios‘);
const cheerio = require(‘cheerio‘);
async function scrapeIMDB() {
try {
const { data } = await axios.get(‘https://www.imdb.com/chart/top‘);
const $ = cheerio.load(data);
const movies = [];
$(‘td.titleColumn‘).each((i, elem) => {
const title = $(elem).find(‘a‘).text();
const year = $(elem).find(‘span.secondaryInfo‘).text();
const rating = $(elem).next(‘td.ratingColumn‘).find(‘strong‘).text();
movies.push({ title, year, rating });
});
console.log(movies.slice(0, 100));
} catch (error) {
console.error(error);
}
}
scrapeIMDB();Y aquí está el equivalente usando Puppeteer:
const puppeteer = require(‘puppeteer‘);
async function scrapeIMDB() {
try {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(‘https://www.imdb.com/chart/top‘);
const movies = await page.evaluate(() =>
Array.from(document.querySelectorAll(‘td.titleColumn‘))
.map(elem => ({
title: elem.querySelector(‘a‘).textContent,
year: elem.querySelector(‘span.secondaryInfo‘).textContent,
rating: elem.nextElementSibling.querySelector(‘strong‘).textContent
})).slice(0, 100)
);
console.log(movies);
await browser.close();
} catch (error) {
console.error(error);
}
}
scrapeIMDB();Ejecutemos estos scripts y comparemos sus tiempos de ejecución:
| Biblioteca | Tiempo (ms) |
|---|---|
| animador | 1245 |
| Titiritero | 4378 |
Como podemos ver, la versión Cheerio es significativamente más rápida, completando la tarea en poco más de un segundo, mientras que la versión Puppeteer tarda más de 4 segundos.
Esta diferencia de rendimiento se vuelve aún más pronunciada cuando escalamos a tareas de scraping más grandes. Aquí hay una comparación de cómo extraer 1000 títulos de películas de IMDB:
| Biblioteca | Tiempo (ms) |
|---|---|
| animador | 3589 |
| Titiritero | 28643 |
Cheerio puede completar la tarea casi 8 veces más rápido que Puppeteer en este caso.
Sin embargo, es importante tener en cuenta que esta ventaja de rendimiento conlleva una compensación. La página del gráfico IMDB es relativamente simple y no requiere ninguna interacción ni representación de JavaScript para su extracción. Para páginas más complejas y dinámicas, la capacidad de Puppeteer para ejecutar un navegador real puede ser necesaria, incluso a costa de un rendimiento más lento.
Usando servidores proxy
Cuando se raspan sitios web, a menudo es necesario utilizar servidores proxy para evitar que el servidor de destino los bloquee. Un proxy actúa como intermediario entre su raspador y el sitio web, reenviando sus solicitudes a través de una dirección IP diferente.
Hay varios tipos de proxies, cada uno con sus propias ventajas y desventajas:
- Proxies del centro de datos: Son direcciones IP asignadas a servidores en centros de datos. Son rápidos y baratos, pero también fácilmente detectables y frecuentemente bloqueados.
- Representantes residenciales: Estas son direcciones IP asignadas a dispositivos físicos reales, como computadoras domésticas y teléfonos inteligentes. Son más difíciles de detectar como servidores proxy, pero también más caros y más lentos que las IP de los centros de datos.
- Proxies móviles: Estas son direcciones IP asignadas específicamente a dispositivos móviles en redes celulares. Son útiles para extraer contenido específico para dispositivos móviles y son muy difíciles de detectar como servidores proxy.
A partir de 2024, algunos de los principales proveedores de proxy para web scraping incluyen:
Datos brillantes– Ofrece la red más grande de IP móviles, residenciales y de centros de datos. Sus servidores proxy residenciales provienen de usuarios reales que se inscriben a través de su SDK, lo que garantiza un abastecimiento ético y de alta calidad.
SOAX– Proporciona un gran conjunto de servidores proxy residenciales procedentes de dispositivos móviles y de escritorio reales. Su servicio "Scraping Robot" ofrece una API sencilla para gestionar servidores proxy y manejar CAPTCHA.
Oxylabs– Ofrece una amplia gama de servidores proxy residenciales y de centros de datos, así como un rastreador en tiempo real para extraer contenido dinámico. Sus servidores proxy residenciales provienen de una red de proveedores de servicios de Internet (ISP).
Proxy inteligente– Proporciona a los servidores proxy residenciales y de centros de datos un panel fácil de usar para gestionar zonas y subusuarios. Su extensión de Chrome facilita la prueba de servidores proxy mientras navega.
Geosurf– Se especializa en proxies residenciales y móviles para una variedad de casos de uso. Su función "Sticky Ports" permite mantener la misma IP durante hasta 30 minutos, lo que resulta útil para sesiones de scraping que requieren inicio de sesión.
Al elegir un proveedor de proxy, considere factores como el tamaño de la red, el rendimiento, el anonimato (HTTP frente a SOCKS5), la cobertura de ubicación y la facilidad de integración con su herramienta de scraping.
Así es como puedes usar los proxies de Bright Data con Cheerio:
const axios = require(‘axios‘);
const cheerio = require(‘cheerio‘);
const HttpsProxyAgent = require(‘https-proxy-agent‘);
async function scrapeWithProxy(url) {
try {
const proxy = ‘https://user:[email protected]:24000‘;
const agent = new HttpsProxyAgent(proxy);
const { data } = await axios.get(url, { agent });
const $ = cheerio.load(data);
// Scrape data with Cheerio...
} catch (error) {
console.error(error);
}
}
scrapeWithProxy(‘https://example.com‘);Y aquí está el equivalente usando Puppeteer:
const puppeteer = require(‘puppeteer‘);
async function scrapeWithProxy(url) {
try {
const proxy = ‘https://user:[email protected]:24000‘;
const browser = await puppeteer.launch({
args: [`--proxy-server=${proxy}`],
});
const page = await browser.newPage();
await page.goto(url);
// Scrape data with Puppeteer...
await browser.close();
} catch (error) {
console.error(error);
}
}
scrapeWithProxy(‘https://example.com‘);Desafíos y soluciones comunes
Si bien Cheerio y Puppeteer son herramientas poderosas para el web scraping, existen varios desafíos comunes que pueden surgir. Éstos son algunos de estos desafíos y posibles soluciones:
Bloqueo de IP: Los sitios web pueden bloquear su IP si realiza demasiadas solicitudes y demasiado rápido. Para evitar esto, utilice servidores proxy para rotar su dirección IP y agregue retrasos entre solicitudes para simular el comportamiento de navegación humana.
CAPTCHA: Algunos sitios web emplean CAPTCHA para evitar el scraping automático. Servicios como 2captcha y DeathByCaptcha proporcionan API para resolver CAPTCHA mediante programación. Puppeteer también se puede utilizar para resolver ciertos tipos de CAPTCHA interactuando con la página como un humano.
Contenido dinámico: Muchos sitios web modernos utilizan JavaScript para cargar contenido dinámicamente. Cheerio no podrá eliminar este contenido ya que no ejecuta JavaScript. En estos casos, es necesaria la capacidad de Puppeteer para ejecutar un navegador real.
Iniciar sesión requerido: Algunos sitios web requieren iniciar sesión para acceder a determinadas páginas. Con Cheerio, necesitarás inspeccionar manualmente el formulario de inicio de sesión y las cookies para replicar el proceso de inicio de sesión. Puppeteer puede manejar esto más fácilmente haciendo clic en el formulario e ingresando información de inicio de sesión.
Estructura de página inconsistente: Los sitios web pueden cambiar su estructura HTML con el tiempo, rompiendo su raspador. Para mitigar esto, intente seleccionar elementos basados en atributos que tienen menos probabilidades de cambiar (por ejemplo, ID y atributos de datos en lugar de clases o estructura de etiquetas). Supervise periódicamente la salida de su raspador para detectar anomalías.
Conclusión
Cheerio y Puppeteer son excelentes herramientas para web scraping con Node.js, pero brillan en diferentes escenarios.
Cheerio es ultrarrápido y fácil de usar para tareas simples de raspado donde los datos están disponibles en la carga útil HTML inicial. Su sintaxis familiar, similar a jQuery, y su ejecución del lado del servidor lo convierten en una excelente opción para scripts de scraping rápidos y sucios.
Por otro lado, la capacidad de Puppeteer para ejecutar un navegador real e interactuar con páginas como un usuario humano lo hace indispensable para raspar sitios web modernos con mucho JavaScript. Si bien es más lento que Cheerio, la flexibilidad de Puppeteer le permite manejar incluso los desafíos de raspado más complejos.
En última instancia, la elección entre Cheerio y Puppeteer depende de los requisitos específicos de su proyecto. Para páginas simples y estáticas, la velocidad y simplicidad de Cheerio son difíciles de superar. Pero para sitios web dinámicos e interactivos, Puppeteer es el claro ganador.
Cualquiera que sea la herramienta que elija, recuerde que el web scraping es un campo complejo y en constante evolución. A medida que los sitios web se vuelven más sofisticados en sus intentos de bloquear scrapers, es importante adaptar continuamente sus técnicas. El uso de proxies, la introducción de aleatoriedad en sus patrones de solicitud y el monitoreo de sus raspadores en busca de anomalías son prácticas esenciales.
Sin embargo, con las herramientas y técnicas adecuadas, el web scraping sigue siendo una forma poderosa de recopilar datos de los vastos tesoros de información de la web. Si usted es una empresa que busca obtener una ventaja competitiva, un investigador que busca recopilar datos para su análisis o un desarrollador que crea la próxima gran aplicación, Cheerio y Puppeteer son adiciones invaluables a su conjunto de herramientas.
