第3部 データを集める
全国の裁判所を一気に集める
同じ形式のデータが、複数のページに分けて置かれています。読みたいURLのリストを作ってから、一気にデータを集めます。
前回は東京地裁の管内にある裁判所について、リストをつくりました。でも裁判所はほかにもたくさんあって、そのすべてがcourts.go.jpというサイトのなかに散らばっています。
さっきみたいなコードを一つひとつ書けば、ぜんぶ取ることもできます。でもめんどくさいですよね。できれば少ないコードでまとめて取得したい。
読みたいURLのリストを作る
「各地の裁判所の所在地・電話番号等一覧」のページをみると、各地の裁判所のリストに飛べるリンクがたくさん張られています。まずはこのリンクを抜き出しましょう。この作業にもスクレイピングが使えます。こんなコードです。
"https://www.courts.go.jp/courthouse/map_tel/index.html" %>%
read_html() %>%
html_elements("div.module-sub-page-parts-table") %>% # 前回と同じ名前の容器
html_elements("a") %>%
html_attr("href")html_elements("a") は、その中にあるすべての <a> 要素、つまりハイパーリンクを取ってきなさい、という命令。前回は html_element() というコマンドを使いましたが、今回は取ってくるべき要素が二つ以上あるので、複数形で html_elements() です。その上の行で容器を指定するところも同じで、このページには同じ名前の容器が八つあるので、ここでも複数形のhtml_elements() にしています。
最後の行にある html_attr("href") は、各リンクの href 属性、つまりURLの部分を抽出しなさい、という命令です。
実際に動かすと、こんなふうに返ってきます(全部で221個あるので、ここでは最初の10個だけ載せています)。
[1] "./../../sapporo-h/about/syozai/index.html"
[2] "./../../sapporo-h/saiban/madoguti/index.html"
[3] "./../../sapporo/about/syozai/index.html"
[4] "./../../sapporo/saiban/madoguti/index.html"
[5] "./../../sapporo/about2/syozai2/index.html"
[6] "./../../sapporo/saiban/madoguti/index.html"
[7] "./../../hakodate/about/syozai/index.html"
[8] "./../../hakodate/saiban/madoguti/index.html"
[9] "./../../hakodate/about/syozai/index.html"
[10] "./../../hakodate/saiban/madoguti/index.html" もとのページのHTMLを見てみると、リンクは <a href="./../../sapporo-h/about/syozai/index.html">所在地・代表電話</a> のように書かれています。画面に見えている「所在地・代表電話」という文字をクリックしたときに飛んでいく行き先を、html_attr("href") が拾ってきたわけです。
というわけで、必要なデータはひとまず取れました、が、余計なのが混じっていますし、URLとして完全なものにもなっていません。手を三つ入れてから、court_urlsというオブジェクトに格納します。
court_urls <-"https://www.courts.go.jp/courthouse/map_tel/index.html" %>%
read_html() %>%
html_elements("div.module-sub-page-parts-table") %>%
html_elements("a") %>%
html_attr("href") %>%
str_subset("syozai") %>% # 所在地ページのURLだけを抽出
url_absolute("https://www.courts.go.jp/courthouse/map_tel/index.html") %>% # 絶対URLに変換
unique() # 重複するURLを削除このページには「窓口案内」のページなど、関係ないリンクも含まれています。狙っているリンクをいくつか開いて確認すると、URLに「syozai」という文字が含まれていることが分かります。なので、str_subset("syozai") という命令で、こういうURLだけにしぼります(知的財産高等裁判所のページだけはURLに「syozai」が入っていないので、このやり方では拾えません。ただ、知財高裁は東京高裁のページの表にも載っているので、結果にはちゃんと入ってきます)。
つぎに、取れてきたURLっぽい文字の並びを、完全なURLに変換します。元のURLを基準にした「相対URL」を、url_absolute() という関数を使って、そのまま使える「絶対URL」に変換するわけです。括弧内には、リンク元のページのURLを書いておけばOKです。
さらにURLが重複しているケースがあるので、余計なものを削るのが unique() という関数です。
オブジェクトの中身を見てみましょう。
[1] "https://www.courts.go.jp/sapporo-h/about/syozai/index.html"
[2] "https://www.courts.go.jp/sapporo/about/syozai/index.html"
[3] "https://www.courts.go.jp/sapporo/about2/syozai2/index.html"
[4] "https://www.courts.go.jp/hakodate/about/syozai/index.html"
[5] "https://www.courts.go.jp/asahikawa/about/syozai/index.html"
[6] "https://www.courts.go.jp/kushiro/about/syozai/index.html"
[7] "https://www.courts.go.jp/sendai-h/about/syozai/index.html"
[8] "https://www.courts.go.jp/sendai/about/syozai/index.html"
[9] "https://www.courts.go.jp/fukushima/about/syozai/index.html"
[10] "https://www.courts.go.jp/yamagata/about/syozai/index.html" 全部で69個のURLが入っています(ここでは最初の10個だけ載せています)。
for文の仕組み
URLのリストができました。一つひとつにアクセスして、前回やったように、表を抜き出してtibbleに変えていくわけです。こういう反復作業をまとめていっぺんにやるのが「for文」です。
ただし、for文というのはちょっと複雑です。スクレイピングのことはいったん忘れて、どういう仕組みで動くのか、その基本を少しだけ見てみましょう。
alphabet <- c("あいうえお", "かきくけこ", "さしすせそ")
for (i in alphabet) {
print(i)
}[1] "あいうえお"
[1] "かきくけこ"
[1] "さしすせそ"上のコードでは、まず「あいうえお」「かきくけこ」「さしすせそ」という三つの文字列を alphabet というオブジェクトに入れたうえで、for文を使ってそれを一つずつ表示するということをやっています。
c() は文字列を並べてひとかたまりにする関数で、6章の filter(prefecture %in% c("東京都", "大阪府")) でもう出てきていましたよね。
i in alphabetというのは、alphabet というオブジェクトの中にあるものを一つずつ順番に取り出して、それをiと呼ぶことにして、波括弧のなかの処理をやりなさい、という命令です。今回は print() という関数なので、三つの文字列が順番に表示されます。このときに使っているiという名前は慣習で、別に何でもかまいません。
ただ、よく見かけるのは、オブジェクトの中身そのものではなく、番号で回す書き方です。
for (i in seq_along(alphabet)) {
print(alphabet[i])
}seq_along(alphabet) は「alphabet の長さのぶんだけ、1、2……と数字を並べたもの」を返しなさい、という命令です。alphabet[1] と書けば、alphabet というオブジェクトにある1番目の要素、つまり「あいうえお」を取り出します。同様に alphabet[2] は「かきくけこ」です。つまり alphabet の中身を一つ一つ取り出すには、alphabet[i] と書いて、iを一つずつ増やしていけばいいわけです。
難しいですよね。たぶん字面を見ているだけでは分かりません。コードを自分で書いてみて、いろいろアレンジして試しているうちに、だんだん分かってくると思います。
結果をまとめて保存する
では、ここからはさっきの裁判所のデータに戻りましょう。
一つのURLにアクセスして処理することで、裁判所の所在地をまとめたtibbleが一つ、できてきます。これをfor文で繰り返すわけですが、この際にはまず空っぽの入れ物をまず作ったうえで、できたtibbleを一つずつそこに足していく、という作業をやります。
# データの収容先として空っぽのtibbleを作っておく
court_contacts <- tibble()
# 表を抽出してtibbleにする作業を、URLのリストに対して一つずつ実行。結果をまとめて保存する
for (i in seq_along(court_urls)) {
table <- court_urls[i] %>%
read_html() %>%
html_elements("div.module-sub-page-parts-table table") %>%
html_table()
court_contacts <- bind_rows(court_contacts, table)
Sys.sleep(2) # アクセス先に過剰な負荷をかけないため、次の動作まで2秒だけ待つ
}だいじなのはfor文の中の bind_rows() のところ。これまで作った court_contacts というtibbleに、新しく読んだものを縦にくっつける。これを繰り返すと中身がどんどん増えていく、というわけです。空っぽのtibbleを最初に作るのを忘れると動かないので、そこは注意してください。
最後の Sys.sleep(2) は「2秒待て」という命令です。70ページ近くを2秒間隔で回すので、全部終わるまで3分ほどかかります。そのあいだRStudioは操作できないので、しばしお待ちを。
途中で止まらないようにする
スクレイピングの対象が何十件もあると、いくつかのページは他と作りが違ったりして、同じコードではデータを取れなかったりします。そうするとエラーが出るわけですが、何もしないと、for文はそこで止まってしまいます。
これを防ぐのが tryCatch() です。
court_contacts <- tibble()
for (i in seq_along(court_urls)) {
tryCatch({
table <- court_urls[i] %>%
read_html() %>%
html_elements("div.module-sub-page-parts-table table") %>%
html_table()
court_contacts <- bind_rows(court_contacts, table)
message(str_c("成功", i, "/", length(court_urls)))
}, error = function(e) {
message(str_c("失敗", court_urls[i], ":", e$message))
})
Sys.sleep(2)
}波括弧のなかの処理を試して、エラーが起きたら error = function(e) のほうに書いた処理をして、次のループに進みなさい、という命令です。e$message にはエラーの内容が入っているので、表示しておくと後で原因を追えます。
message() は途中経過を画面に出す関数です。「成功」と「失敗」を並べておけば、全部終わったあとに、どれが失敗したのかがひと目で分かります。失敗したものだけ、あとで個別に対処すればいいわけです。
集まったものを整える
さて、集まったtibbleを見てみましょう。列の数がなんと16もあります。もとの表は5列だったはずなのに、なぜなのかと列名をチェックしてみると……なかなかひどい状態です。
court_contacts %>% colnames() [1] "裁判所名"
[2] "郵便番号"
[3] "所在地"
[4] "電話番号...4"
[5] "電話番号...5"
[6] "電話番号...6"
[7] "...7"
[8] "...8"
[9] "...9"
[10] "...10"
[11] "電話番号...11"
[12] "...12"
[13] "...13"
[14] "裁判所名(裁判所名をクリックすると地図が表示されます)"
[15] "地図写真"
[16] "郵便番号・所在地" こんなことになったのは、ページによって表の列名が違うからです。「裁判所名」となっているところもあれば「裁判所名(裁判所名をクリックすると地図が表示されます)」となっているところもある。郵便番号と所在地が「郵便番号・所在地」という一つの列にまとまっているページもある。名前のない ...7 や ...8 は、HTMLでの表の書き方がほかと少し違うページから来たものです。bind_rows() は名前が違う列を別の列として扱いますから、列がやたら増えてしまっているわけです。
うーむ、めんどくさい。ページの作成者がちょっとずつアレンジを加えるからこういうことになるわけで、創造性は別のかたちで発揮してくださいよ……と愚痴りたくもなりますが、世の中のデータはだいたいこんなものです。なので「クリーニング」つまりデータのお掃除が大切になるわけで、ある意味ではこれがデータ分析の本丸といってもいいくらいです。
というわけで、ある程度クリーニングしましょう。
court_contacts_clean <- court_contacts %>%
distinct() %>%
mutate(
name = if_else(
is.na(裁判所名),
`裁判所名(裁判所名をクリックすると地図が表示されます)`,
裁判所名
),
post_code = if_else(
is.na(郵便番号),
`郵便番号・所在地`,
郵便番号
),
address = if_else(
is.na(所在地),
str_sub(`郵便番号・所在地`, 10),
所在地
)
) %>%
filter(str_sub(name, 1, 4) != "裁判所名") %>%
mutate(
name = str_split_i(name, "\n", 1),
name = str_remove_all(name, "地図表示"),
name = str_squish(name),
post_code = str_remove_all(post_code, "〒|地裁"),
post_code = str_c(
str_sub(post_code, 1, 3),
"-",
str_sub(post_code, 5, 8)
)
) %>%
rename(
contact_point = `電話番号...4`,
phone = `電話番号...5`
) %>%
select(name, post_code, address, contact_point, phone)
court_contacts_clean# A tibble: 595 × 5
name post_code address contact_point phone
<chr> <chr> <chr> <chr> <chr>
1 札幌高等裁判所 060-0042 札幌市中央区… 代表各種問い合わせ(窓口… 011-…
2 札幌地方裁判所 060-0042 北海道札幌市… 各窓口の電話番号は右欄の… ダイヤル…
3 札幌簡易裁判所 060-0042 北海道札幌市… 各窓口の電話番号は右欄の… ダイヤル…
4 札幌地方裁判所岩見沢支部岩見沢簡易裁判所…… 068-0004 北海道岩見沢… 各窓口の電話番号は右欄の… ダイヤル…
5 札幌地方裁判所滝川支部滝川簡易裁判所 073-0022 北海道滝川市… 各窓口の電話番号は右欄の… ダイヤル…
6 札幌地方裁判所室蘭支部室蘭簡易裁判所 050-0081 北海道室蘭市… 各窓口の電話番号は右欄の… ダイヤル…
# ℹ 589 more rowsコードをすべて説明するのはやめておきますが、使っているのはこれまでに出てきた関数だけです(たぶん)。何をしているのか気になる人は、パイプを1行ずつ足しながら実行して、表がどう変わっていくか確かめてみてください。
これでも、まだ残っているものがあります。
- 電話番号の列には、番号のかわりに「ダイヤルイン一覧」のようなリンクの文字だけが入っている行がかなりあります。ページに番号が書いてない裁判所が多いからです。
- 住所のうしろには、交通案内がついたままです。
- 名古屋家裁と大阪家裁の本庁、それに高松高裁は入っていません。HTMLでの表の書き方がほかのページと少し違っていたり、そもそも表がなかったりするためです。こういうのは手作業でやっちゃったほうが早い、かも。
どこまでやるかは、目的に応じて判断してください。照会の宛先リストにするだけなら住所と電話番号が正しければ十分ですが、地図に落とすなら住所の表記をそろえる必要がありますし、過去の一覧と突き合わせるなら裁判所名の表記を完全にそろえないといけません。きれいにする作業には終わりがないので、必要なところで止めるのがコツです。
そして、できあがったら何件か抜き出して、元のページと見比べておきましょう。70ページ近くあるうちの5ページ分くらいでいいので、目で確かめる。機械が集めたものだからといって、そのまま信じないほうがいいです。
最後に書き出して、おしまいです。
court_contacts_clean %>%
write_excel_csv("output/裁判所連絡先.csv")ところで、役所が数字を出すときには、ページに表を貼るのではなく、Excelファイルへのリンクをずらりと並べていることもあります。次の章では、そうしたファイルをまとめてダウンロードします。