02-transform.Rmd

---
output: html_document
editor_options: 
  chunk_output_type: console
---
# `tidyverse`: Загрузка и трансформация данных {#tidy_dplyr}

[_tidyverse_](https://www.tidyverse.org) --- это набор пакетов:

* _ggplot2_, для визуализации
* _tibble_, для работы с тибблами, современный вариант датафрейма
* _tidyr_, для формата tidy data
* _readr_, для чтения файлов в R
* _purrr_, для функционального программирования
* _dplyr_, для преобразованиия данных
* _stringr_, для работы со строковыми переменными
* _forcats_, для работы с переменными-факторами

Полезно также знать о следующих:

* _readxl_, для чтения .xls и .xlsx
* _jsonlite_, для работы с JSON
* _rvest_, для веб-скреппинга
* _lubridate_, для работы с временем
* _tidytext_, для работы с текстами и корпусами
* _broom_, для перевода в tidy формат статистические модели

```{r, message = TRUE}
library("tidyverse")
```

## Загрузка данных
### Рабочая директория

Все в R происходит где-то. Нужно загружать файлы с данными, нужно их куда-то сохранять. Желательно иметь для каждого проекта некоторую отдельную папку на компьютере, куда складывать все, отнсящееся к этому проекту. Две команды позволят опредить текущую рабочую дерикторию (`getwd()`) и (`setwd(.../path/to/your/directory)`).

### Форматы данных: `.csv`

Существет много форматов данных, которые придумали люди. Большинство из них можно загрузить в R. Так как центральный объект в R -- таблица $n \times k$, то и работать мы большую часть времени будем с таблицами. Наиболее распространенные способы хранить данные сейчас это `.csv` (разберем в данном разделе) и `.json` (разберем в разделе @ref{lists}).

`.csv` (comma separated values) -- является обычным текстовым файлом, в котором перечислены значения с некоторым фиксированным разделителем: запятой, табуляцией, точка с запятой, пробел и др. Такие файлы обычно легко открывает LibreOffice, а в [Microsoft Excel нужны некоторые трюки](https://superuser.com/questions/291445/how-do-you-change-default-delimiter-in-the-text-import-in-excel).

### Загрузка данных: readr, readxl
Стандартной функцией для чтения `.csv` файлов в R является функция `read.csv()`, но мы будем использовать функцию `read_csv()` из пакета `readr`.

```{r, eval = FALSE}
read_csv("...")
```

Вместо многоточия может стоять:

* название файла  (если он, есть в текущей рабочей дериктории)
```{r, eval = FALSE}
read_csv("my_file.csv")
```

* относительный путь к файлу (если он, верен для текущей рабочей дериктории)
```{r, eval = FALSE}
read_csv("data/my_file.csv")
```

* полный путь к файлу (если он, верен для текущей рабочей дериктории)
```{r, eval = FALSE}
read_csv("/home/user_name/work/data/my_file.csv")
```

* интернет ссылка (тогда, компьютер должен быть подключен к интернету)
```{r, eval = FALSE}
read_csv("https://my_host/my_file.csv")
```

Для чтения других форматов `.csv` файлов используются другие функции:

* `read_tsv()` -- для файлов с табуляцией в качестве разделителя
* `read_csv2()` -- для файлов с точкой с запятой в качестве разделителя 
* `read_delim(file = "...", delim = "...")` -- для файлов с любым разделителем, задаваемым аргументом `delim`

Стандартной практикой является создавать первой строкой `.csv` файлов названия столбцов, поэтому по умолчанию функции `read_...()`  будут создавать таблицу, считая первую строку названием столбцов. Чтобы изменить это поведение следует использовать аргумент `col_names = FALSE`.

Другая проблема при чтении файлов -- кодировка и локаль. На разных компьютерах разные локали и дефолтные кодировки, так что имеет смысл знать про аргумент `locale(encoding = "UTF-8")`.

```{block, type = "rmdtask"}
Попробуйте корректно считать в R файл [по этой ссылке](https://raw.githubusercontent.com/agricolamz/DS_for_DH/master/data/scary_letters.csv).
```

```{r, echo=FALSE, message=FALSE, warning=FALSE}
read_csv2("https://raw.githubusercontent.com/agricolamz/DS_for_DH/master/data/scary_letters.csv")
```

Благодаря `readxl` пакету Также данные можно скачать напрямую из файлов `.xls` (функция `read_xls`) и `.xlsx` (функция `read_xlsx`), однако эти функции не умеют читать из интернета.

```{r, eval = FALSE}
library("readxl")
xlsx_example <- read_xlsx("...")
```

Существует еще один экстравагантный способ хранить данные: это формат файлов R `.RData`. Создадим data.frame:

```{r}
my_df <- data.frame(letters = c("a", "b"),
                    numbers = 1:2)
my_df
```

Теперь можно сохранить файл...

```{r}
save(my_df, file = "data/my_df.RData")
```

удалить переменную...

```{r error = TRUE}
rm(my_df)
my_df
```

и загрузить все снова:

```{r}
load("data/my_df.RData")
my_df
```

#### Misspelling dataset
Этот датасет я переработал из данных, собранных для статьи [The Gyllenhaal Experiment](https://pudding.cool/2019/02/gyllenhaal/), написанной Расселом Гольденбергом и Мэттом Дэниэлсом для издания [pudding](https://pudding.cool). Они анализировали ошибки в правописании при поиске имен и фамилий звезд.

```{r}
misspellings <- read_csv("https://raw.githubusercontent.com/agricolamz/DS_for_DH/master/data/misspelling_dataset.csv")
```
  

```{r}
misspellings
```

В датасете следующие переменные:

* `correct` -- корректное написание фамилии
* `spelling` -- написание, которое сделали пользователи
* `count` -- количество случаев такого написания

#### `diamonds`

```{r}
diamonds
?diamonds
```


## `tibble`

Пакет `tibble` -- является альтернативой штатного датафрейма в R. Существует встроенная переменная `month.name`:

```{r}
month.name
```

Можно создать датафрейм таким образом:

```{r error=TRUE}
data.frame(id = 1:12,
           months = month.name,
           n_letters = nchar(months))
```

Однако переменная `months` не создана пользователем, так что данный код выдает ошибку. Корректный способ сделать это базовыми средствами:

```{r}
data.frame(id = 1:12,
           months = month.name,
           n_letters = nchar(month.name))
```

Одно из отличий `tibble` от базового датафрейма -- возможность использовать создаваемые "по ходу пьесы переменные"

```{r}
tibble(id = 1:12,
       months = month.name,
       n_letters = nchar(months))
```

Если в окружении пользователя уже есть переменная с датафреймом, его легко можно переделать в `tibble` при помощи функции `as_tibble()`:

```{r}
df <- data.frame(id = 1:12,
                 months = month.name)

df
as_tibble(df)
```

Функицонально `tibble` от `data.frame` ничем не отличается, однако существует ряд несущественных отличий. Кроме того стоит помнить, что многие функции из `tidyverse` возвращают именно `tibble`, а не `data.frame`.

## `dplyr`
В сжатом виде содержание этого раздела хранится [вот здесь](https://www.rstudio.com/wp-content/uploads/2015/02/data-wrangling-cheatsheet.pdf) или [здесь](https://github.com/rstudio/cheatsheets/raw/master/data-transformation.pdf).

### `dplyr::filter()`

![](images/filter.png)

Эта функция фильтрует строчки по условиям, основанным на столбцах.

Сколько неправильных произношений, которые написали меньше 10 юзеров?

```{r}
misspellings %>%
  filter(count < 10)
```

`%>%` --- конвеер (pipe) отправляет результат работы одной функции в другую.

```{r}
sort(sqrt(abs(sin(1:22))), decreasing = TRUE)
1:22 %>% 
  sin() %>% 
  abs() %>% 
  sqrt() %>% 
  sort(., decreasing = TRUE) # зачем здесь точка?
```

Конвееры в _tidyverse_ пришли из пакета _magrittr_. Иногда они работают не корректно с функциями не из _tidyverse_.

![](images/magrittr.png)

### `dplyr::slice()`

Эта функция фильтрует строчки по индексу.

![](images/filter.png)

```{r}
misspellings %>%
  slice(3:7)
```

### `dplyr::select()`

Эта функция позволяет выбрать столбцы.

![](images/select.png)

```{r}
diamonds %>%
  select(8:10)

diamonds %>%
  select(color:price)

diamonds %>%
  select(-carat)

diamonds %>%
  select(-c(carat, cut, x, y, z))

diamonds %>%
  select(cut, depth, price)
```

### `dplyr::arrange()`

Эта функция сортирует (строки по алфавиту, а числа по порядку).

```{r}
misspellings %>%
  arrange(count)

diamonds %>%
  arrange(desc(carat), price)
```

### `dplyr::distinct()`
Эта функция возращает уникальные значения в столбце или комбинации столбцов.

```{r}
misspellings %>%
  distinct(correct)

misspellings %>%
  distinct(spelling)

diamonds %>%
  distinct(color, cut)
```

```{block, type = "rmdtask"}
Во встроенном в `tidyverse` датасете `starwars` отфильтруйте существ выше 180 (`height`) и весом меньше 80 (`mass`) и выведите уникальные значений мест, откуда они происходят (`homeworld`).
```

```{r, include=FALSE}
starwars %>% 
  filter(height > 180, mass < 80) %>% 
  distinct(homeworld)
```


### `dplyr::mutate()`

Эта функция позволяет создать новые переменные.

![](images/mutate.png)

```{r}
misspellings %>%
  mutate(misspelling_length = nchar(spelling),
         id = 1:n())
```

```{block2, type = "rmdtask"}
Создайте переменную с [индексом Кетле](https://ru.wikipedia.org/wiki/%D0%98%D0%BD%D0%B4%D0%B5%D0%BA%D1%81_%D0%BC%D0%B0%D1%81%D1%81%D1%8B_%D1%82%D0%B5%D0%BB%D0%B0):  $\frac{mass}{height^2}$ для всех существ датасета `starwars`. Сколько героев страдают ожирением (т. е. имеют индекс массы тела больше 30)? (Не забудьте перевести рост из сантиметров в метры).
```

```{r,include=FALSE}
starwars %>% 
  mutate(height = height/100,
         BMI = mass/(height^2)) %>% 
  select(name, height, mass, BMI) %>% 
  filter(BMI >= 30)
```


### `dplyr::group_by(...) %>% summarise(...)`

Эта функция позволяет сгруппировать переменные по какому-то из столбцов и получить какой-нибудь вывод из описательной статистики (максимум, минимум, последний, первый, среднее, медиану и т. п.).

![](images/group_by_s.png)
  
```{r}
misspellings %>%
  summarise(min(count), mean(count))

misspellings %>%
  group_by(correct) %>% 
  summarise(mean(count))

misspellings %>%
  group_by(correct) %>% 
  summarise(my_mean = mean(count))
```

Если нужно посчитать количество вхождений, то можно использовать функцию `n()` в `summarise()` или же функцию `count()`:

```{r}
misspellings %>%
  group_by(correct) %>% 
  summarise(n = n())


misspellings %>%
  count(correct)
```

```{block, type = "rmdtask"}
А что будет, если в датасете `misspellings` создать переменную `n` и зоставить отсортировать по переменным `correct` и `n`?
```

Можно даже отсортировать результат:

```{r}
misspellings %>%
  count(correct, sort = TRUE)
```

Если вы хотите создать не какое-то саммари, а целый дополнительный столбец с этим саммари вместо функции `summarise()` нужно использовать функцию `mutate()`:

```{r}
misspellings %>%
  group_by(correct) %>% 
  mutate(my_mean = mean(count))
```

Схематически это выглядит так:

![](images/group_by_m.png)

```{block, type = "rmdtask"}
В датасете starwars запишите в отдельную переменную среднее значение роста (`height`) по каждой расе (`species`).
```

```{r, include=FALSE}
starwars %>% 
  group_by(species) %>% 
  mutate(mean_height = mean(height, na.rm = TRUE))
```

## Соединение датафреймов

### `bind_...`

Это семейство функций позволяет соединять разные датафреймы:

```{r}
my_tbl <- tibble(a  = c(1, 5, 2), 
                 b = c("e", "g", "s"))
```

Чтобы соединить строчки датафреймов с одинаковым набором колонок:
```{r}
my_tbl %>% 
  bind_rows(my_tbl)
```

Вместо отсутствующих колонок появятся `NA`:

```{r}
my_tbl %>% 
  bind_rows(my_tbl[,-1])
```

Чтобы соединить строчки датафреймов с одинаковым набором строчек (если названия столбцов будут пересекаться, то они будут пронумерованы):
```{r}
my_tbl %>% 
  bind_cols(my_tbl) # соединяет колонки
```

Соединяя датафреймы с разным количеством строк
```{r error = TRUE}
my_tbl %>% 
  bind_cols(my_tbl[-1,])
```

### `dplyr::.._join()`

Эти функции позволяют соединять датафреймы.

```{r}
languages <- data_frame(
  languages = c("Selkup", "French", "Chukchi", "Polish"),
  countries = c("Russia", "France", "Russia", "Poland"),
  iso = c("sel", "fra", "ckt", "pol")
  )
languages
country_population <- data_frame(
  countries = c("Russia", "Poland", "Finland"),
  population_mln = c(143, 38, 5))
country_population
inner_join(languages, country_population)
left_join(languages, country_population)
right_join(languages, country_population)
anti_join(languages, country_population)
anti_join(country_population, languages)
full_join(country_population, languages)
```

![](images/joins.png)

## `tidyr` package

Давайте посмотрим на датасет с количеством носителей разных языков в Индии согласно переписи 2001 года (данные из Википедии):


```{r}
langs_in_india_short <- read_csv("https://raw.githubusercontent.com/agricolamz/DS_for_DH/master/data/languages_in_india.csv")
```

* Short format

```{r}
langs_in_india_short
```

* Long format

```{r, echo = FALSE}
langs_in_india_short %>% 
  pivot_longer(names_to = "type", values_to = "n_speakers", n_L1_sp:n_all_sp)->
  langs_in_india_long
langs_in_india_long
```

* Short format → Long format: `tidyr::pivot_longer()`

```{r}
langs_in_india_short %>% 
  pivot_longer(names_to = "type", values_to = "n_speakers", n_L1_sp:n_all_sp)->
  langs_in_india_long

langs_in_india_long
```

* Long format → Short format: `tidyr::pivot_wider()`

```{r}
langs_in_india_long %>% 
  pivot_wider(names_from = "type", values_from = "n_speakers")->
  langs_in_india_short
langs_in_india_short
```


```{block, type = "rmdtask"}
[Вот здесь](https://github.com/agricolamz/DS_for_DH/blob/master/data/daghestan_census.xlsx?raw=true) лежит датасет, который содержит информацию о селах в Дагестане в формате `.xlsx`. Данные разделены по разным листам и содержат следующие переменные (данные получены из разных источников, поэтому имеют суффикс `_s1` -- первый источник и `_s2` -- второй источник):

* `id_s1` -- (s1) идентификационный номер из первого источника;
* `name_1885` -- (s1) название селения из переписи 1885
* `census_1885` -- (s1) число людей из переписи 1885
* `name_1895` -- (s1) название селения из переписи 1895
* `census_1895` -- (s1) число людей из переписи 1895
* `name_1926` -- (s1) название селения из переписи 1926
* `language_s1` -- (s1) язык данного селения согласно первому источнику
* `census_1926` -- (s1) число людей из переписи 1926
* `name_2010` -- (s1) название селения из переписи 2010
* `census_2010` -- (s1) число людей из переписи 2010
* `name_s2` -- (s2) название селения согласно второму источнику
* `language_s2` -- (s2) язык данного селения согласно первому источнику
* `Lat` -- (s2) широта селения
* `Lon` -- (s2) долгота селения
* `elevation` -- (s2) высота селения над уровнем моря

Во-первых, объедините все листы `.xlsx` воедино:
```

```{r,  echo=FALSE, message=FALSE}
s1 <- readxl::read_xlsx("data/daghestan_census.xlsx", 1)
s2 <- readxl::read_xlsx("data/daghestan_census.xlsx", 2)
s3 <- readxl::read_xlsx("data/daghestan_census.xlsx", 3)
s4 <- readxl::read_xlsx("data/daghestan_census.xlsx", 4)
s5 <- readxl::read_xlsx("data/daghestan_census.xlsx", 5)
s6 <- readxl::read_xlsx("data/daghestan_census.xlsx", 6)

s1 %>% 
  left_join(s2) %>%
  left_join(s3) %>% 
  left_join(s4) %>% 
  left_join(s6) %>% 
  left_join(s5) %>% 
  distinct() ->
  merged
head(merged)
```

```{block, type = "rmdtask"}
Во-вторых, посчитайте, относительно скольких селений первый и второй источник согласуются относительно языка селения.
```

```{r,  include=FALSE}
merged %>% 
  count(language_s1 == language_s2)
```

```{block, type = "rmdtask"}
В-третьих, посчитайте среднюю высоту над уровнем моря для языков из первого источника. Какой выше всех?
```

```{r,  include=FALSE}
merged %>% 
  group_by(language_s1) %>% 
  summarise(m_el = mean(elevation)) %>% 
  arrange(-m_el)
```

```{block, type = "rmdtask"}
В-четвертых, посчитайте количество населения, которое говорило на каждом из языков из второго датасета, согласно каждой переписи. Приведите значения для лакского языка (`Lak`).
```

```{r,  echo=FALSE, message=FALSE}
merged %>% 
  group_by(language_s2) %>% 
  summarise(s_1885 <- sum(census_1885),
            s_1895 <- sum(census_1895),
            s_1926 <- sum(census_1926),
            s_2010 <- sum(census_2010))
```

## Полезные надстройки

Существует достаточно много пакетов надстроек для `tidyverse`.

* `tidylog` -- делает лог пайпов:

```{r}
library(tidylog)
mtcars %>% 
  group_by(cyl, gear) %>% 
  summarise(mean_mpg = mean(mpg)) %>% 
  pivot_wider(names_from = gear, values_from = mean_mpg)
```

```{r, include=FALSE}
detach("package:tidylog")
```

  * `dtplyr` -- позволяет вызывать функции `dplyr`, но используя `data.table` внутри. Это полезно для работы с большими датасетами.

* `sparklyr` -- связывает R с Apache Spark (инструмент для кластерных вычислений)

* ...