【Python】 Webスクレイピング fake-useragentを使用して動的なWebページをリクエストする方法
PythonでWebスクレイピングをする際、一般的に使用されるrequestsで、動的なWebページにリクエストすると実際に表示されるHTMLとは異なるHTMLがレスポンスとして返ってきます。これは、Webページがレスポンシブデザインでユーザーエージェントが設定されていないことが原因の場合があります。
本記事ではfake-useragentでユーザーエージェント情報を偽装してrequestsでHTMLレスポンスを取得する方法をご紹介します。