補章2 R言語とクローラー
はじめに
ここでは、R言語を用いて、簡単なスクレイピングのコードを作成します。データ分析言語と言えば、R、Python…最近だとJuliaなどだと思うので、本章ではPythonのScrapyを中心に内容を扱ってきたので、補章では、Rでのクローラー作成方法も紹介しておきます。サイトの情報をスクレイピングし、その情報をMySQLに保存するまでを紹介します。
対象サイトとライブラリの読み込み
対象のサイトは「食べログ」です。大阪エリアの店舗をスクレイピングしてみます。
まずは必要なライブラリを読み込みます。ここではbaseではなくtidyverseの関数を中心にコードを組み立てます。加えて、Beautiful Soupをベースにしているrvestを読み込みます。
セッションインフォも載せておきます。
各店舗のURLの取得
まずは店名一覧のページから店舗の詳細ページへのURLと、クローラーを次のページ進めるかどうかを判定する関数を作ります。もちろん、ページ番号とURLを結合して、リクエストを送る方法でもかまいません。
ですが、ページネーションの部分をみると71751店舗あるようなので、1ページに20店舗なので、3588回ページをループさせるコードを書くと、途中でエラーが返されます。その理由は下記の通り、60ページ目以降は表示されないので、1200店舗のURLしか取得できません。
上限ページ数がわかったので、その番号をもとにURLを作ってループさせる方法でも良いですが、ここでは次のページのURLがあれば、次のページに進むようにしています。
さきほど作った関数たちを使って、ページのURL一覧を取得する関数を作ります。ここでは、サーバーに負荷がかからないように、Sys.sleep(10)として、スリープを10秒いれています。
食べログの1ページ目をスタートURLに指定し、ページがある分クローラーを走らせます。ログを出力するように関数を作っているので、実行すれば、ログが出力されます。1枚20店舗のURLが取得できるので、合計で1200URLあれば問題なく取得できていることになります。
店舗の詳細ページから店舗情報を取得
ここまでの作業で、大阪エリアのURLの一覧が手に入ったので、このURLを渡す関数を作ります。この関数は、詳細ページの店名、住所、電話番号、緯度、経度を取得します。
もちろんfor-loopでも良いのですが、ここではpurrr::map()を使います。furrrパッケージのfuture_map()を使うことで並列処理できますが、サーバーへの負担を考えて使用しません。この関数も実行するとログを出力するようにしているので、実行すると店舗の詳細情報が取得されていることがわかります。
実行が終わった後に結果を確認すると、1200件の店舗情報が取得できていることがわかります。
MySQLで情報を保存
スクレイピングしたデータをMySQLにインサートして保存しておきます。まずは保存するためのデータベースをMySQLに作成します。ここではtabelogデータベースを作ります。
RMySQL、DBIパッケージを読み込み、コネクションを作ったあとは、dbWriteTable()でインサートします。
MySQL側でも確認しておきます。問題なく1200件の店舗情報が取得できています。
データベースに入れた値を読み出す際には注意が必要です。そのままクエリを飛ばすと、文字化けが起きてしまいます。
そのため、dbGetQuery()で文字コードをセットしてから読み込むことで、この問題は解消されます。
実際には、入力値のバリデーション関数やエラー処理のtry-catch、ログ出力などが改善する箇所は多いですが、R言語で作る簡単なクローラーの紹介はここで終わりです。
他にも、R言語には、スクレイピングやクローラー作成に役立つパッケージとして、polite、memoise、RSelenium、cronRなどがありますので、これらを組みあわせることで、より負荷も少なく効率的なクローラーが作れるかと思います。
最終更新
役に立ちましたか？