Corredor

ウェブ、プログラミングの勉強メモ。

スクレイピング

Scrapy を使ってクローリング・スクレイピングしてみる

Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド-【電子書籍】[ 加藤耕太 ]価格: 3608 円楽天で詳細を見る Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイドー [ 加藤 耕…

Python + pipenv 環境に Selenium + ChromeDriver + BeautifulSoup4 でクローリング・スクレイピングしてみる

Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド-【電子書籍】[ 加藤耕太 ]ジャンル: 本・雑誌・コミック > PC・システム開発 > プログラミング > プログラミング入門ショップ: 楽天Kobo電子書籍ストア価格: 3,608…

Node.js で selenium-webdriver と chromedriver を使って Chrome ブラウザを自動操作してみる

Angular に組み込まれている、Protractor という E2E テストツールを通じて、Selenium Webdriver を少し触ってきていた。今回はテストツールとしてではなく、ウェブスクレイピングを行うための手段として、Selenium Webdriver と、Chrome を操作するための C…

Cheerio で Web ページをスクレイピングする

Node.js スクリプトから Web ページのスクレイピングができないか調べてみたところ、Cheerio という npm パッケージを使うのが簡単そうだったのでやってみた。 cheerio - npm モジュールのインストール Web ページを取得する モジュールのインストール Cheer…

rss-parser を使って Node.js で RSS を JSON に変換する

Node.js で RSS を取得して扱おうと思い調べたところ、rss-parser というライブラリが使いやすかったので紹介。 rss-parser - npm # インストールはいつもどおり。 $ npm install --save rss-parser 以下のようなサンプルスクリプトを書いてみる。 const Rss…

はてなブックマークにノイズが多いのでオレオレはてなブックマーク「Neo's Hatebu」を作った

二度と視界に入れたくない記事。 僕は iPhone の「はてなブックマーク」アプリを見るのが日課なのだが、最近どうにもこうにも、見たくない話題に関する記事がホットエントリを占めるようになっていて、気分が乗らない。BTS とかいう知らない連中がどうしたと…