Webスクレイピング

会社でredmine使っているのだけど、見やすく情報を抽出したかったので検討してみました。

pythonを使ってredmineをスクレイピングし、各チケット情報をエクセルに出力します。

redmine用のライブラリ（Python-Redmine）があるらしいですが、今回 ...

最新のSeleniumではfind_element_by_XXXが使えない

seleniumをアップデートしたらこんなエラーが出てきた。

AttributeError: 'WebDriver' object has no attribute 'find_elemen ...

pythonのseleniumで、webページ上のボタンをクリックさせるような操作はよくすると思います。

以前別記事で、要素のclick処理が実行できないときの対処を紹介しましたが、今回はそれでも改善しなかったときの対応方法を紹介します。

発生事象

amazonの注文履歴 ...

最近久しぶりにamazonのスクレイピングコードを動かしてみたらログイン処理がうまく動かなかった。

amazonに限らず、最近どんどんwebサイトの認証が厳しくなってくるなと思いつつ、対策を考えてみた。

結論から言うと、自身のchromeアカウントにseleniumでロ ...

今回は購入済みのすべてのkindle本について、pythonを使用し情報抽出、抽出結果をエクセルにまとめてみます。

コードは以下にもあります。

初めに

収集する情報は以下の通りで、特に長期連載のコミック購入者向けに役立ちそうな情報を集めます。

種別　(コミックかそれ ...

pythonによるwebスクレイピングの勉強がてら、実用性のありそうなamazonの購入履歴をスクレイピングしてみました。

特定期間内に購入した商品ごとの下記情報をエクセルにまとめて出力します。

購入日
金額
品名
購入品のURL

...