記者のためのR講座データを自分の手で確かめるために

付録

付録C データの準備

この講座で使うファイルは、16章の販売量のファイルを除いて、ここからダウンロードできます。もとの入手先と、加工済みファイルの作り方も書いておきます。

まとめてダウンロード

データ一式(zip)3.5 MB

14個のファイルが入っています。解凍して、プロジェクトのなかの data フォルダに移してください(000979550.xlsx だけは download フォルダへ)。

一つずつ落としたい人は、下の表から。

第1部で使うもの

ファイル中身読み込み方使う章
人口データ2020.csv288 KB2020年の市区町村別人口skip = 804〜08、10、22
人口データ2015.csv288 KB2015年skip = 208、10
人口データ2010.csv273 KB2010年skip = 5、CP93208、10
人口データ2005.xls671 KB2005年(Excel)skip = 810
人口データ2000.xlsx268 KB2000年(Excel)skip = 810
労働人口データ2020.csv134 KB2020年の産業別就業者数skip = 811

飛ばす行数がファイルごとに違うのが分かるでしょうか。同じ統計なのに、ファイルによって上の説明行の数が違う。これが役所のデータのふつうの姿です。

第2部で使うもの(加工済み)

第1部の内容を全部やると自分で作れますが、グラフから始めたい人はこちらを。

ファイル中身
東京都の人口.csv347 バイト東京都の年齢層別人口、5回分
主な都道府県の人口.csv1 KB宮城・東京・愛知・大阪・福岡
都道府県別人口.csv11 KB47都道府県
市町村別人口.csv509 KB全市町村

どれも余計な説明行がないので、read_csv("data/東京都の人口.csv") だけで読めます。

実践編(16章)で使うもの

16章で使う、資源エネルギー庁の石油製品価格調査のファイルです。data フォルダへ。

ファイル中身
260902s5.xlsx2.5 MBガソリン・灯油などの店頭価格(都道府県別、週ごと)
260831o5.xlsx296 KBガソリンなどの卸売価格(地域別、月ごと)

16章ではもう一つ、石油連盟が公表している都道府県別の販売量のファイルを使います。こちらはここでは配っていないので、16章の案内にしたがって、石油連盟の統計のページから落としてください。

第3部で使うもの

第3部は、コードのなかでウェブから直接取ってきます。ただ、サイトの作りが変わって落ちてこないことがあるので、20章で使うファイルだけ置いておきます。

ファイル中身
000979550.xlsx89 KB第50回衆院選(2024年10月27日執行)の小選挙区の市区町村別得票(東京都)。download フォルダへ

フォルダの構え

プロジェクトのフォルダを、まずこの形にしておいてください。

記者のためのR/                  ← プロジェクトのフォルダ
├── 記者のためのR.Rproj
├── 分析.Rmd                    ← 書いたコード
├── data/                       ← もとのデータを置く
├── download/                   ← 第3部でウェブから落としたファイル
└── output/                     ← 書き出したcsvやグラフ

data のなかのファイルは、絶対に手で書き換えないでください。加工はすべてコードのなかでやる。これが後から検証できることの土台です。

自分で取ってくる場合

上のファイルをそのまま使ってもいいのですが、自分で取ってくるところまでやったほうが身につきます。他のテーマで同じことをやるときに必要になるのは、こちらの手順です。

第1部で使うのは、国勢調査の人口データと、産業別の就業者数のデータ(ファイル名は「労働人口データ」)です。どちらも政府統計の総合窓口 e-Stat から取れます。

使っているのは「社会・人口統計体系」という統計です。国勢調査などの結果を、市区町村ごとに項目別に並べ直したもので、A1101_総人口【人】 のような、項目コードのついた列名が特徴です。

e-Statのトップページから「地域」を選び、社会・人口統計体系のデータベースへ進んで、次の項目を市区町村別・年別に指定してダウンロードします。

項目コード中身使う章
A1101総人口全体
A130115歳未満人口05、12〜15
A130215〜64歳人口13
A130365歳以上人口05〜07、13
F2201第1次産業就業者数11
F2211第2次産業就業者数11
F2221第3次産業就業者数11

年は2000年、2005年、2010年、2015年、2020年の5回分。ダウンロードしたファイルの名前を、次のように変えて data フォルダに入れてください。

data/人口データ2020.csv       (csv、上に8行の説明がある)
data/人口データ2015.csv       (csv、上に2行)
data/人口データ2010.csv       (csv、上に5行、文字コードはShift-JIS)
data/人口データ2005.xls       (Excel、上に8行)
data/人口データ2000.xlsx      (Excel、上に8行)
data/労働人口データ2020.csv   (csv、上に8行。2020年だけ)

第2部で使う加工済みファイル

第2部(グラフの章)で使う四つのファイルは、第1部で作った df から作ります。第1部を最後までやった状態で、以下のコードを実行してください。

まず、市町村別の人口データを整えます。10章までの内容の総復習です。

df_all <- df %>%
  rename(year = 調査年,
         code = `地域 コード`,
         region = 地域,
         population = `A1101_総人口【人】`,
         population_under15 = `A1301_15歳未満人口【人】`,
         population_15to64 = `A1302_15~64歳人口【人】`,
         population_over65 = `A1303_65歳以上人口【人】`) %>%
  select(year,
         code,
         region,
         population,
         population_under15,
         population_15to64,
         population_over65) %>%
  mutate(across(c(population, population_under15,
                  population_15to64, population_over65),
                as.double)) %>%
  mutate(prefecture = str_split_i(region, " ", 1),
         municipality = str_split_i(region, " ", 2),
         ward = str_split_i(region, " ", 3)) %>%
  filter(is.na(ward)) %>%              # 政令市の区を除いて二重計上を防ぐ
  select(-region, -ward) %>%
  select(year, code, prefecture, municipality, everything()) %>%
  mutate(year = as.double(str_sub(year, 1, 4)))

やっていることは六つです。列名を短くする、いらない列を捨てる、数値に変換する、地名を三つに分ける、政令市の区を除く、年を数値にする。

できたら、四つのファイルに書き出します。

# 全市町村
df_all %>%
  write_excel_csv("data/市町村別人口.csv")

# 都道府県別に足し上げる
df_pref <- df_all %>%
  group_by(year, prefecture) %>%
  summarize(population = sum(population),
            population_under15 = sum(population_under15),
            population_15to64 = sum(population_15to64),
            population_over65 = sum(population_over65),
            .groups = "drop")

df_pref %>%
  write_excel_csv("data/都道府県別人口.csv")

# 主な5都府県
df_pref %>%
  filter(prefecture %in% c("宮城県", "東京都", "愛知県", "大阪府", "福岡県")) %>%
  write_excel_csv("data/主な都道府県の人口.csv")

# 東京都だけ
df_pref %>%
  filter(prefecture == "東京都") %>%
  write_excel_csv("data/東京都の人口.csv")

.groups = "drop" は、集計のあとにグループ分けを解除する指定です(付けないと「グループ化されたままです」という案内が出ます。7章の ungroup() と同じことをしています)。

書き出したら、確かめます。

read_csv("data/都道府県別人口.csv") %>%
  count(year)

各年47行になっていますか。なっていなければ、地名の分割か、区の除外がうまくいっていません。

第3部で使うデータ

第3部は、コードの中で直接ウェブから取ってきます。事前の準備は download フォルダを作っておくことだけです。

dir.create("download", showWarnings = FALSE)
dir.create("output", showWarnings = FALSE)

対象にしているのは、次の三つです。

  • 17章・18章:裁判所の所在地一覧(裁判所ウェブサイト)
  • 19章:衆院選の市区町村別得票(総務省ウェブサイト)
  • 20章:19章で落としたExcelファイル

ウェブサイトの構造は、しばしば変わります。この講座に書いてあるコードが、そのままでは動かなくなっている可能性があります。その場合は、17章に書いた手順で、自分でHTMLを見て名札を調べ直してください。それも練習の一部です。

Rでまとめて落とす

ブラウザで一つずつ落とすのが面倒なら、Rにやらせることもできます。19章でやることの予習です。

dir.create("data", showWarnings = FALSE)
dir.create("download", showWarnings = FALSE)

base <- "https://ryomakom.github.io/r-course/files/"

files <- c("人口データ2020.csv",
           "人口データ2015.csv",
           "人口データ2010.csv",
           "人口データ2005.xls",
           "人口データ2000.xlsx",
           "労働人口データ2020.csv",
           "東京都の人口.csv",
           "主な都道府県の人口.csv",
           "都道府県別人口.csv",
           "市町村別人口.csv",
           "260902s5.xlsx",
           "260831o5.xlsx")

for (f in files) {
  download.file(paste0(base, URLencode(f)),
                file.path("data", f),
                mode = "wb")      # mode="wb" を忘れるとExcelファイルが壊れます
  message(f)
}

download.file(paste0(base, "000979550.xlsx"),
              file.path("download", "000979550.xlsx"),
              mode = "wb")      # 20章で使うファイルだけは download フォルダへ

URLencode() は、日本語のファイル名をURLで使える形に直すための関数です。mode = "wb" は「中身をそのまま書き込む」という指定で、これを忘れるとExcelファイルが開けなくなります(Windowsだけで起きる、地味にやっかいな罠です)。

この講座に出てくるパッケージ

まとめてインストールしておくなら、これを最初に実行してください。

install.packages(c("tidyverse",   # データ加工とグラフの本体
                   "readxl",      # Excelを読む
                   "rvest",       # ウェブページを読む
                   "httr",        # ファイルを落とす
                   "tidyxl",      # 神エクセルをセル単位で読む
                   "unpivotr",    # 剥がして整然データにする
                   "plotly",      # マウスで触れるグラフ
                   "systemfonts"))  # 使えるフォントを調べる

インストールは1回だけ。使うときには、その都度 library() で呼び出します。R Markdownのいちばん上に、こう書いておくのが定番です。

library(tidyverse)
library(readxl)

theme_set(theme_minimal(base_family = "Yu Gothic"))   # Windowsの場合