記者のためのR講座データを自分の手で確かめるために

第1部 データを読む・加工する

縦長と横長を行き来する

データを横長に変えるpivot_widerと、縦長にするpivot_longer。私は理解するのにたいへん時間がかかりましたが、とてもよく使う関数でもあります。

いまの df_simple というデータ形式だと、「年」「自治体名」「人口」が横に並んでいますね。1行に一つの数字が入っている形です。これが「縦長」で、コンピューターに読みやすい形式のデータです。

# A tibble: 5,748 × 3
  year     region               population
  <chr>    <chr>                     <dbl>
1 2020年度 北海道 札幌市           1973395
2 2020年度 北海道 札幌市 中央区     248680
3 2020年度 北海道 札幌市 北区       289323
4 2020年度 北海道 札幌市 東区       265379
5 2020年度 北海道 札幌市 白石区     211835
6 2020年度 北海道 札幌市 豊平区     225298
# ℹ 5,742 more rows

でも、たとえば各自治体の人口がどう変わってきたかを(人間が)みるのには、この形式はあまり分かりやすくありません。自治体名がいちばん左にあって、その右側に各年度の人口が並んでいる、というほうが直感的に理解しやすかったりします。役所が公表しているデータも、多くの場合はそういう形式になっています。こちらを「横長」と呼びます。

変形していきましょう。

pivot_wider——横長にする

めざすのは、「調査年」を列の名前にして、その列の「中身」に各自治体の人口が入っているというような形式です。コードは pivot_wider() 関数を使って、こんなふうに書きます。

df_simple_wide <- df_simple %>%
  pivot_wider(names_from = year,
              values_from = population)
# A tibble: 1,916 × 4
  region               `2020年度` `2015年度` `2010年度`
  <chr>                     <dbl>      <dbl>      <dbl>
1 北海道 札幌市           1973395    1952356    1913545
2 北海道 札幌市 中央区     248680     237627     220189
3 北海道 札幌市 北区       289323     285321     278781
4 北海道 札幌市 東区       265379     261912     255873
5 北海道 札幌市 白石区     211835     209584     204259
6 北海道 札幌市 豊平区     225298     218652     212118
# ℹ 1,910 more rows

行数が5748から1916に減って、代わりに年の列が三つ増えました。列名は year から取ってきて、その中身(つまりvalue)は population から取ってくる。こうすることでデータを横長に、つまり幅広(wider)にしなさい、という意味です。

縦長と横長の違いを図にすると、こうなります。

縦長 region year population A市 2010 48,300 A市 2015 49,100 A市 2020 50,200 B市 2010 82,100 B市 2015 85,400 B市 2020 88,700 1行に数字が一つだけ。 同じ自治体が、年の数だけ行に並ぶ 同じデータ 横長 region 2010 2015 2020 A市 48,300 49,100 50,200 B市 82,100 85,400 88,700 自治体ごとに1行。 年(赤)が列の名前になり、 人口(青)がその下に並ぶ 縦長 region year population A市 2010 48,300 A市 2015 49,100 A市 2020 50,200 B市 2010 82,100 B市 2015 85,400 B市 2020 88,700 1行に数字が一つだけ。 同じ自治体が、年の数だけ行に並ぶ 同じデータ 横長 region 2010 2015 2020 A市 48,300 49,100 50,200 B市 82,100 85,400 88,700 自治体ごとに1行。 年(赤)が列の名前になり、 人口(青)がその下に並ぶ

あまり見ないタイプですが、いちばん左側に「調査年度」の列があって、その横に自治体名の列がずらりと並んでいる、というような表も考えられます。こんなコードで書けます。

df_simple %>%
  pivot_wider(names_from = region,
              values_from = population)

なかなかピンと来ないかもしれませんが、データ処理や分析をしていくうえでは、この関数はメチャクチャ多用しますので、ぜひしっかり覚えてください。

横長にすると計算ができる

こういう横長の形式にすると、たとえば各自治体について2020年度の人口を2010年度の人口で割り算することで、10年間の人口変化率がどうだったか、といったことを計算することができます。具体的にはこうやるわけです。

df_simple_wide %>%
  mutate(population_increase_rate = (`2020年度` / `2010年度` - 1) * 100) %>%
  select(region, `2010年度`, `2020年度`, population_increase_rate)
# A tibble: 1,916 × 4
  region               `2010年度` `2020年度` population_increase_rate
  <chr>                     <dbl>      <dbl>                    <dbl>
1 北海道 札幌市           1913545    1973395                     3.13
2 北海道 札幌市 中央区     220189     248680                    12.9 
3 北海道 札幌市 北区       278781     289323                     3.78
4 北海道 札幌市 東区       255873     265379                     3.72
5 北海道 札幌市 白石区     204259     211835                     3.71
6 北海道 札幌市 豊平区     212118     225298                     6.21
# ℹ 1,910 more rows

札幌市は10年で3.1%増えた、と読めます。年度名を表す列名がバッククオート(`)で囲われているのは、列名の最初に半角数字が来ると、そのままではRにきちんと認識してもらえなくなるからです(毎度ながらめんどくさい……)。

「縦長」のデータ形式のままでは、こういう計算をすることができません。計算は基本的に、一つの「行」の中で完結しなければいけませんが、縦長状態では、一つの自治体のデータが複数の行にまたがっているからです。横長にすると複数年のデータが1行にまとまるので、今回のように、たとえば年ごとの変遷を追うような計算がやりやすくなります。

pivot_longer——縦長に戻す

と、横長データのメリットを説明したばかりではあるのですが、今度は横長から縦長に変換するやり方を説明します。なぜそんなことをする必要があるのかというと、横長のままだと、データの意味するところをコンピューターに理解してもらうのが難しいからです。

なぜ理解できないかというと、たとえば今回、データの中身はすべて「人口」でしたよね。でも、データのどこをみても、そんなことは書いてありません。これは人口のデータだよねというのを人間が理解できるのは、たとえばファイル名とか、あるいはファイルの中身を説明するための文書とかに、そのむねが書いてあるから(あるいは今回のように、それまで自分が加工してきたデータだから)。データの「外部」にある何かをすでに読んでいるから、なわけです。

でも、コンピューターがアクセスできるのはデータだけです。もとの縦長データでは、「調査年」「自治体名」「人口」と、それぞれの列の中身が何なのかを示すものがそれぞれの列の名前になっていましたよね。すべての数字に「これは●●を示す数字ですよ」というラベルがついている。 これこそが、コンピューターにとって読みやすく、理解しやすい形式なのです。

こういうコードを書くと、縦長に戻すことができます。

df_simple_wide %>%
  pivot_longer(cols = -region,
               names_to = "year",
               values_to = "population")

pivot_longer() 関数の括弧の中では、cols のところでまず、どの列を縦長にするかを選びます。この場合で縦長にしたいのは、region という列を除いた、「2020年度」「2015年度」「2010年度」の三つですね。この三つを一つずつ列挙することもできますが、ここではregion の前にマイナス記号をつけることで、region「以外」だよ、と指定しています。

さらに names_to のところでは、いまは列名になっているもの(つまり「2020年度」「2015年度」「2010年度」の三つです)を、yearという名前の列の中身に格納してください、と指示しています。yearをダブルクオーテーションで囲っているのは、このデータにはyearという列はもともと存在しないので、コンピューターにとっては「初耳」だから、とでも解釈してください。

つぎに values_to のところでは、もとのデータで中身になっていたもの(つまり「2020年度」「2015年度」「2010年度」の三つの列に格納されていた数字)を、population という列に入れてください、と指示しています。populationをダブルクオーテーションで囲っているのは、yearのときと同じ理由です。

めんどくさいですが、こういう書き方もできます。

df_simple_wide %>%
  pivot_longer(cols = c(`2020年度`, `2015年度`, `2010年度`),
               names_to = "year",
               values_to = "population")

colsのところで、縦長にしたい三つの要素をすべて指名しています。複数の要素を指定するときにはc(`2020年度`, `2015年度`)といった形で囲ってあげる必要があります。

どうでしょうか。さくっと理解するのはなかなか難しいと思います。私は正直、これが腑に落ちるまでかなりの時間を要しました。ていうか、今でもときどき混乱します。

pivot_wider() と pivot_longer() で、データがどう組み替わるのか。以下のアニメーションを動かしてみることが、理解の助けになるかもしれません。スクロールして、何度でも行き来してみてください。

縦長(tidy data) region year population A市 2010 48,300 A市 2015 49,100 A市 2020 50,200 B市 2010 82,100 B市 2015 85,400 B市 2020 88,700 pivot_wider() 列の名前に持ち上げる pivot_longer() データの中身に降ろす 横長(人間が読みやすい形) region 2010 2015 2020 A市 48,300 49,100 50,200 B市 82,100 85,400 88,700 赤い部分が列の名前になり、 青い部分が中身になる この形なら 2020/2010 の 割り算が1行の中でできる
同じデータの二つの形

整然データ、という考え方

いま説明した「縦長」の形には、tidy data(整然データ)という名前がついています。tidyverseというパッケージ名の「tidy」はここから来ています。決まりごとは三つあります。

  1. 同じ種類の情報は、一つの列にまとめる。年は year の列に、人口は population の列に入れます。横長の形のように、2010年、2015年、2020年と、年ごとに別々の列をつくることはしません。
  2. 1件の観測に、1行を使う。「札幌市の2020年の人口」で1行、「札幌市の2015年の人口」でまた1行。この章の最初に見た df_simple が、まさにこの形です。
  3. 種類の違うものは、別々の表にする。たとえば、都道府県の人口と市区町村の人口は、同じ表に混ぜません。

じつは厳密にいうと、三つめは今回のデータでも守れていません。札幌市全体の行と、中央区や北区の行が、同じ表に入っているからです。7章で filter(is.na(ward)) をしないと人口を二重に数えてしまったのは、このためでした。

役所が出す表は、ちっともtidyではありません。列の名前に年や性別が入り、合計や小計の行がふつうの行に混ざっている。

だから私たちの仕事のかなりの部分は、「人間が見るために作られた表」を「機械が読める整然データ」に組み替えることになります(20章では、その最終形態ともいえる「神エクセル」に挑みます)。

次の章では、2000年と2005年のデータも加えます。「数値のはずが文字列だった」という定番のトラップを体験します。