第1部 データを読む・加工する
データ型でつまずく
Excelファイルを読み込みます。ついでに、「数字が数字として認識されない」という定番の落とし穴を体験し、落ちないための方法を学びます。
さて、これまで2010、2015、2020年という国勢調査3回分の人口データを扱ってきました。今度はさらに2000年と2005年のデータも加えてみましょう。
Excelファイルを読む
ただし、この二つのファイルはこれまでとはちがって、Excelのファイルです。なので read_csv() 関数では読めません。
便利なのはreadxlパッケージのなかにある、read_excel() 関数です。まずはreadxlパッケージをインストールし、さらに呼び出しましょう。
install.packages("readxl")
library(readxl)この関数だと、read_csv() とほとんど同じかたちでExcelファイルを読み込めます。もう一つうれしいのは、Excelファイルにも拡張子がxlsのやつとxlsxのやつがありますが、どちらでも同じように読み込んでくれることです。
read_excel("data/人口データ2005.xls", skip = 8)
read_excel("data/人口データ2000.xlsx", skip = 8)よしよし、うまく読めましたね。
エラーが出る
というわけで、ほかの年のデータと合体してみましょう。
df <- bind_rows(df2020,
read_csv("data/人口データ2015.csv", skip = 2),
read_csv("data/人口データ2010.csv", skip = 5,
locale = locale(encoding = "CP932")),
read_excel("data/人口データ2005.xls", skip = 8),
read_excel("data/人口データ2000.xlsx", skip = 8))あらら、エラーが出てしまいました。なぜでしょうか。Rはこんなふうに理由を告げています。
Can't combine `..3$A1101_総人口【人】` <double> and `..4$A1101_総人口【人】` <character>.合体しようとしたところ、名前が同じ列なのに、あるものはデータ型がdouble、つまり数値として認識されていて、でも別のものはcharacter、つまり文字列として認識されている。だから合体できないよ(Can't combine)、と言っているのです。
そうですかすいません、でもデータ型って何じゃい。と思いますよね。
tibbleの名前を打つと、実はデータ型が表示されます。列名の下に出てくる記号で分かります。こんな感じです。
df2020# A tibble: 1,916 × 37
`調査年 コード` 調査年 `地域 コード` 地域 `/項目` `A1101_総人口【人】`
<dbl> <chr> <chr> <chr> <lgl> <dbl>
1 2020100000 2020年度 01100 北海道 札… NA 1973395
2 2020100000 2020年度 01101 北海道 札… NA 248680
3 2020100000 2020年度 01102 北海道 札… NA 289323
4 2020100000 2020年度 01103 北海道 札… NA 265379
5 2020100000 2020年度 01104 北海道 札… NA 211835
6 2020100000 2020年度 01105 北海道 札… NA 225298
# ℹ 1,910 more rows
# ℹ 31 more variables: 注釈...7 <lgl>, `A110101_総人口(男)【人】` <dbl>,
# 注釈...9 <lgl>, `A110102_総人口(女)【人】` <dbl>, 注釈...11 <lgl>,
# `A1102_日本人人口【人】` <dbl>, 注釈...13 <lgl>,
# `A110201_日本人人口(男)【人】` <dbl>, 注釈...15 <lgl>,
# `A110202_日本人人口(女)【人】` <dbl>, 注釈...17 <lgl>,
# `A1231_年齢中位数【歳】` <chr>, 注釈...19 <lgl>, …列名のすぐ下に、<dbl> や <chr>、<lgl> といった記号が並んでいますね。これがデータ型です。人口が入っている A1101_総人口【人】 の列は <dbl>、つまり数値として読み込まれています。
ところが、2005年のファイルを読み込んで、同じ列を見てみると……
read_excel("data/人口データ2005.xls", skip = 8)# A tibble: 1,916 × 37
`調査年 コード` 調査年 `地域 コード` 地域 `/項目` `A1101_総人口【人】`
<dbl> <chr> <chr> <chr> <lgl> <chr>
1 2005100000 2005年度 01100 北海道 札… NA 1880863
2 2005100000 2005年度 01101 北海道 札… NA 202801
3 2005100000 2005年度 01102 北海道 札… NA 272877
4 2005100000 2005年度 01103 北海道 札… NA 253996
5 2005100000 2005年度 01104 北海道 札… NA 201307
6 2005100000 2005年度 01105 北海道 札… NA 209428
# ℹ 1,910 more rows
# ℹ 31 more variables: 注釈...7 <lgl>, `A110101_総人口(男)【人】` <chr>,
# 注釈...9 <lgl>, `A110102_総人口(女)【人】` <chr>, 注釈...11 <lgl>,
# `A1102_日本人人口【人】` <chr>, 注釈...13 <lgl>,
# `A110201_日本人人口(男)【人】` <chr>, 注釈...15 <lgl>,
# `A110202_日本人人口(女)【人】` <chr>, 注釈...17 <lgl>,
# `A1231_年齢中位数【歳】` <chr>, 注釈...19 <lgl>, …同じ人口の列なのに、こちらは <chr>、つまり文字列として読み込まれています。さっきのエラーは、この食い違いのことを言っていたわけです。
ここには出てこないものを含めて説明すると、データ型にはこんなものがあります。
| 記号 | 名前 | 中身 |
|---|---|---|
<chr> | character | 文字列。計算はできない |
<dbl> | double | 小数を含みうる数値 |
<int> | integer | 整数 |
<lgl> | logical | TRUE か FALSE |
<date> | Date | 日付 |
<fct> | factor | 決まった選択肢のどれか(グラフの並び順を決めるときに使う) |
まあいろんなデータ型があるんですが、仕事の上では数値と文字列の区別がいちばん大事です。"100" と 100 は、人間の目には同じでもRには別物。文字列として認識されたままでは足し算も引き算もできませんし、並べ替えをすると「1、10、100、2、20」のように、数値としての大きさではなく、先頭にある数字の大きさに従って並んでしまいます。
なぜ数値が文字列として読まれたのか
合体ができなかった理由はわかりました。でもそもそも、同じ名前の列なのに、数値として読まれたり文字列として読まれたりするのはなぜなのか。
ファイルを開くとわかります。2015年と2020年のファイルでは、人口データが入った列には数字しか入っていません。だから数値として認識されました。でも2000年と2005年のファイルでは、一部の自治体で数字の代わりにハイフン(-)が入っているのです。じつは2010年のファイルにも、ファイルの終わりのほうの五つの行(熊本市の区)にハイフンが入っているのですが、read_csv() は最初の1000行だけを見てデータ型を決めるので、数値として読み込まれていました(ハイフンのところはNAになります)。
ファイルの冒頭(読み込むときにskipしてすっ飛ばした部分)に書かれている凡例を思い出してください。4章で見たあの3行です。
| 記号 | 意味 |
|---|---|
*** | 調査又は集計していないもの |
- | データが得られないもの |
X | 数値が秘匿されているもの |
つまり、人口をそもそも集計していなかったり、データが得られなかったり、秘匿されていたりした場合に、この記号が入っているわけです。このように、数値以外の余計な文字が入っているから、Rには「ああ、これは数値じゃなくて、ひとまずただの文字列として読みこんどこうか」と判断されてしまったわけです。
全部文字列として読み込んでしまう
この問題を解決するには、いくつかのやり方があります。もっとも簡単なのは、データ型が数値になっている列についても、ここはいったん文字列として読み込むことにして、そのうえですべてを合体させる、というアプローチでしょう。たとえば、こんなふうに書けます。
df <- bind_rows(read_csv("data/人口データ2020.csv", skip = 8,
col_types = cols(.default = "c")),
read_csv("data/人口データ2015.csv", skip = 2,
col_types = cols(.default = "c")),
read_csv("data/人口データ2010.csv", skip = 5,
locale = locale(encoding = "CP932"),
col_types = cols(.default = "c")),
read_excel("data/人口データ2005.xls", skip = 8,
col_types = rep("text", 37)),
read_excel("data/人口データ2000.xlsx", skip = 8,
col_types = rep("text", 37)))read_csv() 関数の場合だと、丸括弧のなかで col_types = cols(.default = "c") と書くことで、すべての列はデフォルトで文字列として読み込んでくださいね、と宣言できます。2020年、2015年、2010年のデータについてはこのように処理しています。
一方で2005年と2000年のファイルは read_excel() 関数を使わなければいけませんが、この関数では「デフォルト」となるデータ型を指定することができません。37個あるすべての列について、文字列で読み込んでくださいね、と明示的に指示しているのが col_types = rep("text", 37) という部分です。
rep("text", 37) というのが何なのか、不思議に思うかもしれませんが、要するに「text」というのを37回繰り返しなさいよ、といっているだけです。repはrepeatの最初の3文字です。
> rep("text", 37)
[1] "text" "text" "text" "text" "text" "text" "text" "text" "text" "text"
[11] "text" "text" "text" "text" "text" "text" "text" "text" "text" "text"
[21] "text" "text" "text" "text" "text" "text" "text" "text" "text" "text"
[31] "text" "text" "text" "text" "text" "text" "text"でも、何だかややこしいですね。こんなアプローチもあります。
df <- bind_rows(read_csv("data/人口データ2020.csv", skip = 8) %>%
mutate(across(everything(), as.character)),
read_csv("data/人口データ2015.csv", skip = 2) %>%
mutate(across(everything(), as.character)),
read_csv("data/人口データ2010.csv", skip = 5,
locale = locale(encoding = "CP932")) %>%
mutate(across(everything(), as.character)),
read_excel("data/人口データ2005.xls", skip = 8) %>%
mutate(across(everything(), as.character)),
read_excel("data/人口データ2000.xlsx", skip = 8) %>%
mutate(across(everything(), as.character)))これは5件のデータに対して基本的に同じことをしています。パイプ演算子でつないでから
mutate(across(everything(), as.character))という関数をかけています。これは、すべて(everything())の列にわたって(across())、文字列として(as.character())変換してくださいね、という命令です。
どちらでも、このあとの集計は同じ結果になります(後者では、2010年のファイルのハイフンは、読み込んだ時点でNAになっています)。私は後者のほうが好みですが、やり方は他にもいろいろあるはずです。
どんなアプローチを選ぶかは趣味の問題でもありますが、だいじなのは手間を省きつつ、得たい結果を正しく得られるようなコードを書くことです。元となるデータの特徴をよく観察して、どういう手順をふむべきかを考えましょう。ぐぐったりAIに聞いたりすることも大いに役立ちます。
5年分を合体できたか、確かめておきましょう。
# A tibble: 5 × 2
調査年 n
<chr> <int>
1 2000年度 1916
2 2005年度 1916
3 2010年度 1916
4 2015年度 1916
5 2020年度 1916五つの年すべてが1916行。うまくいっています。
文字列を数値に戻す
さて、全部を文字列として読み込んで合体させたわけですが、このままでは計算ができません。必要な列だけ、数値に戻してやります。
df_simple <- df %>%
rename(year = 調査年,
region = 地域,
population = `A1101_総人口【人】`) %>%
select(year, region, population) %>%
mutate(population = as.double(population))as.double() が、文字列を数値に変換する関数です。ここで、こんな警告が出ることがあります。
Warning: NAs introduced by coercion「変換の過程でNAが生まれました」という意味です。さっき出てきたハイフンは数値にできないので、NAに置き換えられたわけです。
気持ち悪いですが、これはまあOKです。「集計していない」という情報を「数値ではない」というかたちで持ち越したことになります。ただし、いくつNAになったか確かめておくと、より安心でしょう。
df_simple %>%
filter(is.na(population)) %>%
count(year)# A tibble: 3 × 2
year n
<chr> <int>
1 2000年度 47
2 2005年度 34
3 2010年度 52000年度は47、2005年度は34、2010年度は5。どれも、もとのファイルではハイフン(-)が入っていた行で、調査の時点ではまだ政令指定都市になっておらず、区がなかった市の区です(2010年の5件は、2012年に区ができた熊本市の五つの区)。思っていたより多ければ、変換の指定が間違っているか、そもそも読み込み方がおかしい可能性があります。それぞれの年でNAになるデータがなぜあったのか、もとのExcelファイルを開いて確かめておけば安心です。
年も数値にしておく
year の列には「2020年度」のような文字が入っています。たとえばグラフの横軸に「年度」を使いたいときに、数字として認識されていないとうまく並んでくれなかったりして使いにくいので、直しておきましょう。
df_simple <- df_simple %>%
mutate(year = as.double(str_sub(year, 1, 4)))str_sub(year, 1, 4) で頭から4文字(=「2020」)を取り出し、それを as.double() で数値にしています。文字列操作とデータ型変換の合わせ技です。
次の章では、労働人口という別の統計のデータを、自治体ごとに横にくっつけます。自治体の名前でくっつけようとして表記揺れに苦しみ、「地域コード」のありがたさを知ります。