Python 3 URL-Request?

[Buggy (Gast)]

Funktioniert. In html stehen die Daten.

import urllib.request

with urllib.request.urlopen('https://duckduckgo.com/') as response:
    html = response.read()

Funktioniert nicht. Warum kommt die Fehlermeldung bei einem Request? Wo 
ist der Unterschied zu einem Browser bei dem sie nicht kommt?

with urllib.request.urlopen('https://mikrocontroller.net/') as response:
    html = response.read()

Fehlermeldung.

    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

[Fruchtgurke (Gast)]

www vergessen?

[Sebastian D. (minimalist)]

Nein, kein UserAgent angegeben. Viele Webserver rejecten dann.

import urllib.request
req = urllib.request.Request(
    "https://www.mikrocontroller.net/", 
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

with urllib.request.urlopen(req) as response:
    html = response.read()

[Gerd A. (gerd_a289)]

Probier mal:

import requests
r = requests.get("https://lerneprogrammieren.de";)

[Heiner (Gast)]

Sebastian D. schrieb:
> Nein, kein UserAgent angegeben. Viele Webserver rejecten dann.

Richtig. Lustig ist, dass man sogar etwas völlig sinnfreies als user 
agent mitschicken kann und dann trotzdem die gewünschte Antwort bekommt.

[Sebastian D. (minimalist)]

Heiner schrieb:
> Richtig. Lustig ist, dass man sogar etwas völlig sinnfreies als user
> agent mitschicken kann und dann trotzdem die gewünschte Antwort bekommt.

Jein. Nicht alles. Der original User-Agent der Urllib wird vom Server 
aktiv geblockt.

    headers={
        'User-Agent': 'Python-urllib/2.7'
    }
-->HTTPError: HTTP Error 403: Forbidden

Eine Epsilon Änderung dagegen bewirkt schon, dass die Seite ausgeliefert 
wird:

    headers={
        'User-Agent': 'Python-urllob/2.7'
    }
-->geht durch

Das sagt uns eigentlich, dass der Webseitenbetreiber eventuell nicht 
gescraped werden möchte. Die Höflichkeit gebietet es dann, vor dem 
Abrufen größerer Datenmengen einmal freundlich beim Admin anzufragen.

[Buggy (Gast)]

@ Sebastian

Vielen Dank für deine Zeilen und die Erklärung :)