Comentarios
La extracción de datos de texto es la habilidad básica que hay que adquirir, ya que la mayoría de los datos se representan como texto visual en la web, como los artículos de noticias, la información de productos, el blog, etc. En esta lección, voy a ver cómo capturar datos de texto simples de una página web con un simple apuntar y hacer clic. La habilidad básica de extracción de texto, cuando se combina con otras técnicas como la paginación, la creación de listas, sienta las bases para lograr el raspado de datos en todo tipo de páginas web.
El modo avanzado es un modo increíblemente potente que ofrece una mayor flexibilidad para acomodar el raspado de todo tipo de sitios web. Le permite personalizar las acciones individuales necesarias para realizar la extracción, incluyendo la búsqueda de palabras clave, la autenticación de inicio de sesión, la apertura de desplegables, etc.
Extraer artículos del sitio web
I am trying to extract text from some website’s page whose HTML code looks like below. Sorry for the sorry looking code as I am a newbie and not aware of how to select a specific block of code in HTML.The code I have written below match somewhat with the actual code block as mentioned above.I am trying to extract the text which inside p tags as well as text inside strong tags under h3 and in a manner that it would retain the order of the text as in the website’s page. Upon inspecting each webpage I found that all texts are contained under <div class=td-post-content> but not all of them are just under <p> tags or <strong> tags,there can be other branch as <p><strong><em>text</em></strong></p> . Is there a way I can do this without manually extracting text for each and every webpage?(for reference I am mentioning the screenshot here)
Texto del extracto de Beautifulsoup
Trafilatura es un paquete de Python y una herramienta de línea de comandos diseñada para recopilar texto en la web. Incluye componentes de descubrimiento, extracción y procesamiento de texto. Sus principales aplicaciones son el rastreo de la web, las descargas, el scraping y la extracción de textos principales, metadatos y comentarios. Su objetivo es ser práctico y modular: no se requiere ninguna base de datos y el resultado puede convertirse a varios formatos de uso común.
Pasar del HTML bruto a las partes esenciales puede aliviar muchos problemas relacionados con la calidad del texto, en primer lugar evitando el ruido causado por los elementos recurrentes (cabeceras, pies de página, enlaces/blogroll, etc.) y en segundo lugar incluyendo información como el autor y la fecha para dar sentido a los datos. El extractor intenta alcanzar un equilibrio entre la limitación del ruido (precisión) y la inclusión de todas las partes válidas (recall). También tiene que ser robusto y razonablemente rápido, ya que funciona en producción con millones de documentos.
Esta herramienta puede ser útil para la investigación cuantitativa en la lingüística de corpus, el procesamiento del lenguaje natural, la ciencia social computacional y más allá: es relevante para cualquier persona interesada en la ciencia de los datos, la extracción de información, la minería de textos y los casos de uso intensivo de scraping como la optimización de motores de búsqueda, la analítica empresarial o la seguridad de la información.
Sitio web en texto plano
Existe una enorme cantidad de información en las interminables páginas web que existen en Internet. Gran parte de esta información son textos “no estructurados” que pueden ser útiles en nuestros análisis. En esta sección se explican los aspectos básicos de la extracción de estos textos de fuentes en línea. A lo largo de esta sección ilustraré cómo extraer diferentes componentes de texto de las páginas web mediante la disección de la página de Wikipedia sobre el raspado de la web. Sin embargo, es importante cubrir primero uno de los componentes básicos de los elementos HTML ya que aprovecharemos esta información para extraer la información deseada. Sólo ofrezco los conocimientos necesarios para empezar a raspar; recomiendo encarecidamente XML y Web Technologies for Data Sciences with R y Automated Data Collection with R para aprender más sobre las estructuras de los elementos HTML y XML.
Los elementos HTML se escriben con una etiqueta de inicio, una etiqueta de fin y con el contenido en medio: <tagname>content</tagname>. Las etiquetas que típicamente contienen el contenido textual que deseamos raspar, y las etiquetas que aprovecharemos en las próximas dos secciones, incluyen:
