コンパイラかく語りき

import { Fun } from 'programming'

Rubyでスクレイピングに挑戦してみた

こちら読み始めました。

vsanna.sakura.ne.jp

 

前々から興味があったスクレイピング。ついにデビューしちゃいました。

 

スクレイピングとは

あるサイトのあるページからHTMLを取得して欲しい情報を取得することです。

 

やったこと

ローソンの公式サイトから、販売中のおでんの名前と値段を取得しました。

 

コードがこちら。

gist951016199bea833f52ac

 

 

ちなみに、サイトがこちら。

www.lawson.co.jp

 

こんな風に、おでん一覧が表示されています。

f:id:chuck0523:20151201064340p:plain

 

コードをターミナルで実行した結果がこちら。

f:id:chuck0523:20151201064427p:plain

きちんと欲しい情報が取得できています。

これでいつでもおでんの値段を知ることができますね!

 

ポイント

今回のスクレイピングには、nokogiriとanemoneというgemを使っています。

このanemoneが強力なんですよね。

 

僕らがやることは、URLを指定してHTMLをたどるだけです。

HTMLをたどる、というのはこんな感じです。

f:id:chuck0523:20151201064833p:plain

HTML構造をたどっていって、必要な情報まで降りていきます。

 

以上さえできれば、誰でもスクレイピングできると思います。

 

次回

次回はあらゆるコンビニからおでん情報を取得して、比較するとこまでやりたいです。