第1部 データを読む・加工する
データを横にくっつける
別々の統計データをleft_joinという関数でくっつけます。いわゆる「ケ・ヶ問題」で苦しむことで、表記ゆれのないコードによる管理のありがたさを学びます。
ではつぎにjoin関数を学んでいきましょう。複数のデータを合体する、という意味では bind_rows 関数と似ていますが、あれは複数の「行」を合体するためだったのに対して、今回のjoin関数は「列」を合体するためのものです。しかも、単にくっつけるだけではなくて、しかるべきもの、くっつけてほしいものをくっつけることができます。
まずはくっつけてみる
しかるべきものをくっつけるといわれても、何のこっちゃと思う人が大半でしょう。すいません。
それはおいおい説明するとして、まずは合体させるためのデータを用意しましょう。市区町村別の労働人口についてのデータです。
read_csv("data/労働人口データ2020.csv", skip = 8)以前に読み込んだ人口についてのデータと同じように、分かりにくい列の名前を簡単なものに改めるとともに、必要な列だけを残しましょう。
working_population2020 <- read_csv("data/労働人口データ2020.csv", skip = 8) %>%
rename(region = 地域,
primary = `F2201_第1次産業就業者数【人】`,
secondary = `F2211_第2次産業就業者数【人】`,
tertiary = `F2221_第3次産業就業者数【人】`) %>%
select(region,
primary,
secondary,
tertiary)では、これに人口のデータ(df_simple)を合体させてみましょう。left_join() という関数を使います。「join(結合する)」はわかるとして、なぜ「left(左)」なのかという話は、後で説明しますね。
df_simple %>%
left_join(working_population2020) %>%
view()このコードを実行すると Joining with by = join_by(region) というメッセージが出たはずです。これは、df_simple と working_population2020 という二つのオブジェクトのうち、region という列を「とっかかり」にして合体したよ、という意味です。いずれのオブジェクトにも、自治体名を示す region という列があったのを思い出してください。このメッセージはつまり、region の列に格納された文字列が一致するものについて、「突合」をして合体した、ということを意味しています。
うまくいった、と思いきや
view 関数をつかって、できあがったデータをよくみてみましょう。北海道札幌市の行をみると、人口を示す population の列に数字が入っていますし、その横には第1次産業の労働者数を示す primary や第2次産業の secondary などの数字も入っています。パッと見たところ、うまく行っているようです。
ただし、注意が必要です。たとえば primary の列に注目して、数字が小さい順に並べ替えてみましょう。view関数で全体を表示して、いちばん下までスクロールしてみると……NA、つまり「空っぽ」のところがいくつも並んでいますね。なぜでしょうか。
NAとなっている自治体の名前をみてみると、たとえば「青森県六ヶ所村」「佐賀県吉野ヶ里町」「東京都青ヶ島村」など、小さい「ヶ」が入っているところが多くなっています。あとは「東京都檜原村」と「福島県檜枝岐村」とか。
ははーん。これはつまり、同じものなのに表記ゆれとか異体字とかが原因で、うまく突合できていないということなのでしょう。
地域コードで突合し直す
ではどうするか。元のデータには、いずれも地域の「コード」、つまり自治体名を漢字ではなく記号で表した列がありました。これなら表記ゆれは起きません。というわけで、まずオブジェクトを作り直しましょう。
まずは労働人口データから。地域コードの列を code という名前にしたうえで残しておきます。
working_population2020 <- read_csv("data/労働人口データ2020.csv", skip = 8) %>%
rename(code = `地域 コード`,
region = 地域,
primary = `F2201_第1次産業就業者数【人】`,
secondary = `F2211_第2次産業就業者数【人】`,
tertiary = `F2221_第3次産業就業者数【人】`) %>%
select(code,
region,
primary,
secondary,
tertiary)次に人口データ。同様に地域コードの列を code と改名して残します。10章では year と population を数値にしましたが、ここでは突合を試すのが目的なので、文字列のままにしておきます。
df_simple <- df %>%
rename(year = 調査年,
code = `地域 コード`,
region = 地域,
population = `A1101_総人口【人】`) %>%
select(year,
code,
region,
population)この二つを合体してみます。さっきは突合の手がかりについては先方におまかせしましたが、今回は明示的に指定します。おまかせしてしまうと、二つのオブジェクトで名前が共通している列を使って突合してくれますが、今回は region の列は使わずに(使うと前回と同じような突合漏れが発生してしまいます)、code の列だけを使ってほしいからです。
df_simple %>%
left_join(working_population2020,
by = join_by(code)) %>%
view()by = join_by(code) が、「codeの列だけをとっかかりに突合してね」という指示です。by = "code" と書いても同じです。二つのデータで列の名前が違う場合(たとえば片方が code、もう片方が shikuchoson_code)は、by = join_by(code == shikuchoson_code) のように対応を書きます。
同じ名前の列が二つできる
できたものを見てみましょう。住所を示す列が region.x と region.y の二つ、できていますね。
このうち region.x のほうは df_simple にあったregion列の名前が変わったもので、region.y は working_population2020 のほうにあったものです。両方のtibbleで同じ名前の列があったけれど、その列は突合のとっかかりに使わなかったので、合体後のtibbleに両方とも残ることになりました。名前が同じ列が二つあると区別が付かなくて具合が悪いので、「.x」「.y」というのを列名の後ろにくっつけた、というわけです。
ともあれ、住所を示す列が二つあるのは、やっぱり気持ちがよくないし無駄ですよね。なので、片方はくっつける前にあらかじめ削っておきましょう。df_simple のregion列を優先するために、working_population2020 のほうを削ることにします。つまり、こんなコードです。
df_simple %>%
left_join(working_population2020 %>%
select(-region),
by = join_by(code)) %>%
view()こうすれば、合体後のtibbleにはregionの列が一つだけ残り、名前に「.x」「.y」も付きません。
くっつける側のデータを、left_join() の丸括弧のなかでそのまま加工しているのがポイントです。こういう書き方をすれば、わざわざ別のオブジェクトを作らなくても済みます。
left_joinのleftとは
ちなみに、join関数には left_join() 以外にもいくつかありますが、基本、left_join() を使えばOKです。left_joinのleftは「左」のことで、たとえば A %>% left_join(B) というコードだと、「AのtibbleにBをくっつけなさい」という意味になります。逆に B %>% left_join(A) だと、「BにAをくっつけなさい」ということです。
どっちも同じじゃないの、と思ったかもしれませんが、ちょっと違います。たとえばAのtibbleには10行分のデータがあって、Bには5行分があったとしましょう。この場合、A %>% left_join(B) とすると、合体後のtibbleは10行になります。B %>% left_join(A) だと、5行になります。
もう少し説明します。
AとBのtibbleを合体させるとして、「東京都新宿区」のデータは両方にあるけれど、「東京都中央区」はAのほうにしかなく、「大阪市浪速区」はBにしかない、といったケースを考えてみましょう。このときAにBを合体させると、合体後のtibbleに東京都中央区のデータはあっても大阪市浪速区はありません。逆に、BにAを合体させると、合体後に大阪市浪速区のデータはあっても東京都中央区はなくなります。
A %>% left_join(B) というコードだと、最初に指定したAというtibbleをもとにして、これにBというtibbleを合体させるわけです。文字は左から右に流れるので、もととなるAのtibbleは左側に書かれていますね。だから left_join() ということなのです。
right_join() はこれとは逆に、右側にあるtibble(つまり後に指定したtibble)に左側のtibbleを合体させるというものです。単にひっくり返しただけですし、書く順番をひっくり返せば left_join() だけでも実現できるので、left_join() さえ覚えておけば何とかなるケースが大半です。
また、どっちをもとにして合体する、というのが関係ないjoinのやり方もあります。それが full_join() と inner_join() です。
先ほどの例なら、full_join() をすると合体後のデータには東京都中央区と大阪市浪速区のデータが両方残ります。AとBのどちらか一方にしかデータがない行も合体後に残しておく、これがfull_joinです。
一方で、inner_join() を使った合体後のデータからは、両方とも消えてしまいます。AとBの両方にデータがある行だけ残しなさい、これがinner_joinというわけです。
……ちょっと複雑でしょうか。でも正直言って、それほど真面目に覚える必要はありません。先ほど書いたとおり、left_join() さえ覚えてしまえば大丈夫。すでに覚えたいろいろな関数を使えば、その他のjoin関数でできるのと同じことが実現できますから、何とかなります。
| 関数 | 残る行 | 使いどき |
|---|---|---|
left_join() | 左のtibbleの行が全部 | ふだんはこれ |
right_join() | 右のtibbleの行が全部 | ほぼ使わない |
full_join() | 両方の行が全部 | どちらにしかないものも見たいとき |
inner_join() | 両方にある行だけ | 両方そろっている分だけで計算したいとき |
anti_joinで「漏れ」を洗い出す
join関数で、もう一つ。anti_join() は、地味ですが役に立ちます。突合できなかった行だけを取り出してくれるからです。
df_simple %>%
filter(year == "2020年度") %>%
anti_join(working_population2020, by = join_by(region))df_simple には5年分のデータが入っているので、同じ自治体が5回ずつ出てこないよう、ここでは2020年度の行だけに絞っています。
# A tibble: 15 × 4
year code region population
<chr> <chr> <chr> <chr>
1 2020年度 02307 青森県 外ヶ浜町 5401
2 2020年度 02321 青森県 鰺ヶ沢町 9044
3 2020年度 02411 青森県 六ヶ所村 10367
4 2020年度 04203 宮城県 塩竈市 52203
5 2020年度 04302 宮城県 七ヶ宿町 1262
6 2020年度 04404 宮城県 七ヶ浜町 18132
7 2020年度 07364 福島県 檜枝岐村 504
8 2020年度 11241 埼玉県 鶴ヶ島市 70117
9 2020年度 13307 東京都 檜原村 2003
10 2020年度 13402 東京都 青ヶ島村 169
11 2020年度 14207 神奈川県 茅ヶ崎市 242389
12 2020年度 20210 長野県 駒ヶ根市 32202
13 2020年度 39405 高知県 檮原町 3307
14 2020年度 41327 佐賀県 吉野ヶ里町 16323
15 2020年度 45443 宮崎県 五ヶ瀬町 3472 15件、出てきました。「外ヶ浜町」「六ヶ所村」「青ヶ島村」「吉野ヶ里町」など11件は小さい「ヶ」、「塩竈市」は竈の字、「檜枝岐村」「檜原村」は檜の字、「檮原町」は檮の字。労働人口データのほうでは、それぞれ「ケ」「塩釜」「桧」「梼」と書かれています。これが突合できなかった自治体の全部です。
さきほどの「ケ」と「ヶ」の問題も、これを一発打てば犯人の一覧が出てきます。joinをしたら、まずanti_joinで漏れを確かめる。この癖をつけておけば、気づかぬうちに突合が失敗することにはなりません。
これで第1部は終わりです。読み込む、選ぶ、名前を変える、計算する、絞る、並べる、集計する、縦横を入れ替える、くっつける。ここまでで、記者の仕事で出てくるデータ加工のかなりの部分はこなせるようになりました。
次の第2部では、加工したデータを目で見えるようにしていきます。