Pythonではじめるオープンデータ分析
経済統計の取得から、データハンドリング・可視化・分析まで
内容紹介
ビジネスや研究に役立つ、経済・家計・金融・
目次
第1章 序論
1.1 はじめに
1.1.1 想定読者
1.1.2 前提知識
1.1.3 本書の構成と読み方
1.2 データの利用規約と著作権について
1.3 Pythonの実行環境
1.3.1 本書のPythonスクリプトの表記とターミナルの表記
1.3.2 Pythonの環境構築
1.3.3 本書のPython実行環境の設定
1.3.4 Pythonの実行とJupyter
第I部 Pythonデータ分析の基礎
第2章 データハンドリングとpandas
2.1 pandasとデータフレーム
2.2 データ型
2.3 データの確認
2.4 データ抽出・追加・置換
2.5 欠測値とNull
2.6 重複とユニーク
2.7 分析しやすいデータ
2.7.1 ワイドテーブルとロングテーブル
2.7.2 整然データ
2.7.3 機械判読可能なデータ
2.8 データ整形
2.9 データの結合
2.10 データの読み書き
2.10.1 pandasでのデータの読み書き
2.10.2 ファイル形式
2.10.3 文字コード
第3章 統計の基礎
3.1 変数の種類
3.1.1 量的変数と質的変数
3.1.2 ディメンションとメジャー
3.2 度数分布とヒストグラム
3.3 要約統計量
3.4 量的変数と質的変数の変換
3.4.1 離散化
3.4.2 ダミー変数
3.5 クロス集計
3.6 2変量の統計
3.7 統計の分類と経済統計
3.7.1 調査統計・業務統計・加工統計および基幹統計
3.7.2 全数調査と標本調査
3.7.3 実質値と名目値
3.7.4 季節調整
第4章 データの可視化とPlotly
4.1 Plotly.pyとPlotly Express
4.1.1 グラフファイルの書き出し
4.2 構成割合の可視化
4.2.1 円グラフとサンバーストグラフ
4.2.2 ツリーマップ
4.3 量の比較と推移の可視化
4.3.1 棒グラフ
4.3.2 折れ線グラフ
4.4 構成割合の推移の可視化
4.4.1 エリアチャート
4.4.2 その他の構成割合の推移の可視化
4.5 レイアウトとグラフの組み合わせ
4.5.1 Plotly Expressのカラースケール
4.5.2 グラフの組み合わせ
4.5.3 サブプロット
4.6 分布の可視化
4.6.1 ヒストグラム
4.6.2 箱ひげ図とバイオリン図
4.7 関係性の可視化
4.7.1 散布図
4.7.2 ヒートマップ
4.7.3 バブルチャート
4.8 地図・金融などの特定分野の可視化
第5章 オープンデータとデータ取得
5.1 オープンデータ
5.1.1 オープンデータとは
5.1.2 オープンデータの公開レベル
5.2 データ取得
5.2.1 CSVなどのファイルダウンロード
5.2.2 APIとPython のRequestsライブラリ
第II部 オープンデータ分析の基礎
第6章 オープンデータ・経済統計・公的統計
6.1 経済統計と公的統計とは
6.2 世界の公的機関とオープンデータ
6.2.1 国際連合のデータ
6.2.2 Data CommonsとUN Data Commons for the SDGs
6.2.3 世界銀行のデータ
6.2.4 国際通貨基金（IMF）のデータ
6.2.5 世界保健機関（WHO）のデータ
6.2.6 世界貿易機関（WTO）のデータ
6.2.7 経済協力開発機構（OECD）のデータ
6.2.8 欧州連合（EU）のEurostat
6.2.9 米国統計局のデータ
6.2.10 米国FRBのFRED
6.3 日本の公的機関とオープンデータ
6.3.1 政府統計の総合窓口e-Stat
6.3.2 金融・市場データ
6.3.3 法人・産業データ
6.3.4 地理・気象データ
6.3.5 地方のデータとRESAS
6.3.6 デジタル庁のe-GovポータルとJapan Dashboard
6.4 日本の公的統計とe-Stat
6.4.1 e-Statとは
6.4.2 e-Stat API機能
6.4.3 e-Stat API登録とアプリケーションID取得
6.4.4 e-Stat APIをPythonで利用する
6.4.5 統計ダッシュボードのWebAPI
第7章 人口データの取得・可視化・分析
7.1 人口と国勢調査
7.1.1 人口ピラミッド
7.1.2 人口推移
7.2 人口動態
7.2.1 出生数と死亡数
7.2.2 合計特殊出生率
7.2.3 婚姻件数と離婚件数
7.3 人口推計
7.4 将来推計人口
7.5 世界の人口
7.5.1 将来人口推移
7.5.2 人口の世界地図
7.6 生命表と寿命
7.6.1 完全生命表と死亡数分布
7.6.2 世界の平均寿命・健康寿命
7.7 疾病と感染症
7.7.1 人口動態と死因の国際疾病分類
7.7.2 COVID-19
第8章 家計・生活・労働データの取得・可視化・分析
8.1 家計に関する統計データ
8.1.1 家計調査
8.1.2 全国家計構造調査
8.2 生活に関する統計データ
8.2.1 国民生活基礎調査
8.2.2 社会生活基本調査と生活時間
8.3 労働に関する統計データ
8.3.1 労働力調査と失業率
8.3.2 米国雇用統計
8.3.3 毎月勤労統計調査と賃金
第9章 金融・市場データの取得・可視化・分析
9.1 債券と金利
9.1.1 国債の残高と長期金利
9.1.2 短期金利
9.1.3 FRBとFFレート
9.2 外国為替
9.2.1 FREDの為替データ
9.2.2 国際決済銀行の為替データ
9.3 マネーストックと資金循環
9.3.1 マネーストック
9.3.2 資金循環統計
9.4 株式と株価
9.4.1 有価証券報告書データとEDINET
9.4.2 株価と日本取引所のJ-Quants
9.4.3 米国株の株価
9.5 金融市場の指数
9.5.1 株価指数
9.5.2 株価指数以外の金融市場の指数
9.5.3 投資信託のデータと金融市場の指数
第10章 国際統計・長期経済統計データの取得・可視化・分析
10.1 国民経済計算とGDP
10.1.1 日本のGDP
10.1.2 世界のGDP
10.2 物価とインフレ率
10.2.1 日本の物価とインフレ率
10.2.2 米国の物価
10.3 経済指数
10.3.1 景気動向指数
10.3.2 鉱工業指数、およびさまざまな経済指数
10.4 貿易統計
10.5 国際収支統計
第11章 法人・産業データの取得・可視化・分析
11.1 法人・企業・会社のデータ
11.2 経済センサス
11.2.1 産業・組織形態・雇用者規模別の企業等数
11.2.2 産業のツリーマップ
11.3 法人企業統計
11.3.1 業種・資本金規模別の資産合計
11.3.2 売上高・営業利益・経常利益・当期純利益の推移
11.4 法人番号公表サイト
11.4.1 CSV形式でデータをダウンロードする
11.4.2 Web-APIでデータを取得する
11.5 gBizINFO
11.5.1 CSV形式でデータをダウンロードする
11.5.2 REST APIを利用する
第III部 オープンデータ分析の実践
第12章 gBizINFO の法人データを用いたスタートアップ企業の分析
12.1 gBizINFOのAPIを用いた企業情報の検索
12.2 法人番号を用いてスタートアップ企業の数を都道府県ごとに取得する
12.3 取得したスタートアップ企業のデータを確認する
12.4 スタートアップ企業の立地を地図上にプロットする
第13章 e-Statを用いたふるさと納税のパネルデータ分析
13.1 東京都品川区はふるさと納税でどの程度税収を失ったのか
13.2 市区町村ごとの税収をe-Statで取得し、分析する
13.2.1 パネルデータ分析とは
13.2.2 データの前処理
13.2.3 データの可視化
13.2.4 パネル固定効果モデルを用いたふるさと納税制度による効果の推定
推薦図書
あとがき
索引