Preguntas con la etiqueta [web-crawler]

Lista web-crawler preguntas

Quiero enviar un valor "User-agent"mientras solicito una página web usando solicitudes de Python. No estoy seguro de si está bien enviar esto como parte del encabezado, como en el siguiente