s_inputchecks.Rmd

---
title: "Vstupní kontrola dat"
output: html_document
---

IN PROGRESS (INTERNAL USE ONLY)

```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = FALSE, message = FALSE, warning = FALSE,
                      fig.width = 10, fig.asp = 1/.62, fig.retina = 2,
                      out.width = "100%")
source("_targets_packages.R")
```

```{r}
targets::tar_load(ef_pub)
targets::tar_load(efs_obl)
targets::tar_load(efs_prv)
targets::tar_load(efs_fin)
targets::tar_load(efs_zop)
targets::tar_load(efs_prj)
targets::tar_load(efs_prj_basic)
targets::tar_load(efs_prj_kat)
targets::tar_load(efs_prj_sc)
targets::tar_load(macro_sum_reg_quarterly)
```

## Sestavy

### Oblasti intervence - stavy

```{r}
efs_obl %>% 
  distinct(prj_id, impl_stav_nazev, impl_stav_id, fin_pravniakt_eu) %>% 
  count(impl_stav_nazev, impl_stav_id, wt = fin_pravniakt_eu/1e9, sort = T) %>% 
  head()
```
```{r}
efs_obl %>% 
  count(wt = n_distinct(prj_id))
```
```{r}
efs_obl %>% 
  count(wt = fin_pravniakt_eu*oblast_intervence_podil/1e9)
```


### Finanční pokrok

```{r}
efs_fin %>% 
  count(wt = n_distinct(prj_id))
```


```{r}
efs_fin %>% 
  add_op_labels() %>%  
  count(op_nazev, wt = fin_vyuct_eu/1e9, sort = T)
```


```{r}
efs_obl %>% 
  filter(prj_id %in% efs_fin$prj_id) %>% 
  count(wt = fin_pravniakt_eu*oblast_intervence_podil/1e9)
```

```{r}
efs_fin %>% 
  filter(prj_id %in% efs_obl$prj_id) %>% 
  count(wt = fin_pravniakt_czv/1e9)
```


```{r}
efs_fin %>% 
  # filter(real_stav_id >= "PP27a") %>%
  summarise(across(starts_with("fin_"), ~round(sum(.x, na.rm = T)/1e9))) %>% 
  t()
```


```{r}
efs_zop %>% 
  count(wt = fin_vyuct_czv/1e9)
```


```{r}
efs_fin %>% 
  filter(!prj_id %in% efs_obl$prj_id)
```


```{r}
efs_obl %>% 
  group_by(prj_id) %>% 
  count(wt = oblast_intervence_podil, sort = T)
```


```{r}
length(unique(efs_obl$prj_id))
```


```{r}
efs_obl %>% 
  filter(prj_id %in% efs_fin$prj_id,
         str_detect(impl_stav_id, "PP")) %>%
  filter(impl_stav_id >= "PP27a") %>%
  select(-oblast_intervence_podil) %>% 
  distinct() %>% 
  # group_by(prj_id, kod_stavu) %>%
  # mutate(sm = sum(oblast_intervence_podil, na.rm = T)) %>%
  # filter(sm <= 1) %>%
  # ungroup() %>%
  count(wt = fin_pravniakt_eu/1e9)
```


```{r}
efs_prj %>% 
  distinct() %>% 
  nrow()
```


```{r}
efs_obl %>% 
  add_count(prj_id, oblast_intervence_kod) %>% 
  arrange(desc(n))
```

```{r}
efs_obl %>% 
  count(prj_id, wt = oblast_intervence_podil) %>% 
  arrange(desc(n))
```


```{r}
efs_obl %>%
  group_by(prj_id) %>% 
  filter(sum(oblast_intervence_podil) > 1) %>% 
  writexl::write_xlsx("data-output/E005_Kategorizace_oblast_nad100procent.xlsx")
```
```{r}
efs_fin %>% 
  filter(fin_vyuct_czv < fin_ukonc_czv) %>%
  select(prj_id, fin_vyuct_czv, fin_ukonc_czv) %>% 
  writexl::write_xlsx("data-output/E003_Finance_ukoncene-vic-nez-vyuctovane.xlsx")
```


```{r}
efs_prj_basic %>% 
  count(op_nazev)
```


```{r}
efs_prj_kat %>% 
  add_count(prj_id) %>% 
  count(n)
```


```{r}
efs_prj_sc %>% 
  add_count(prj_id, wt = sc_podil) %>% 
  filter(n > 1)
```


```{r}
efs_fin %>% 
  replace_na(list(fin_vyuct_czv = 0, fin_ukonc_czv = 0)) %>%
  # filter(fin_ukonc_czv > fin_vyuct_czv) %>% 
  select(prj_id, fin_vyuct_czv, fin_ukonc_czv) %>% 
  add_op_labels() %>%  
  # group_by(op_zkr) %>% 
  summarise(across(starts_with("fin"), ~sum(.x)/1e9)) %>% 
  mutate(delta = fin_ukonc_czv - fin_vyuct_czv,
         delta_prop = delta/fin_vyuct_czv)
```


```{r}
efs_zop %>% 
  count(wt = fin_vyuct_czv)
```


```{r}
efs_fin %>% 
  count(wt = fin_vyuct_czv)
```


```{r}
efs_fin %>% 
  add_op_labels() %>% 
  filter(is.na(fin_vyuct_czv) & fin_ukonc_czv == fin_pravniakt_czv) %>% 
  count(op_zkr)
```


```{r}
ef_pub %>% 
  count(op_zkr, wt = fin_vyuct_czv/1e9)
```


```{r}
efs_fin %>% 
  summarise(across(starts_with("fin"), sum, na.rm = T)) %>% 
  mutate(zop_stat_a_eu = (fin_vyuct_eu + fin_vyuct_sr)/1e9,
         pa_stat_a_eu = (fin_pravniakt_eu + fin_pravniakt_sr)/1e9,
         uk_stat_a_eu = (fin_ukonc_eu + fin_ukonc_sr)/1e9) %>% 
  select(zop_stat_a_eu, pa_stat_a_eu, uk_stat_a_eu)
```


```{r}
efs_fin %>%
  add_op_labels() %>%  
  mutate(pomer_sum = pomer_eu + pomer_narodni + pomer_vlastni) %>% 
  group_by(op_nazev, pomer_eu, pomer_narodni, pomer_vlastni, pomer_sum) %>%
  summarise(across(c(starts_with("fin_vyuct"),
                     starts_with("fin_ukonc")), ~round(sum(.x, na.rm = T)/1e9, 1))) %>% 
  select(op_nazev, matches("czv|eu|sr|soukrome|pomer"))
```

### Časování plateb

```{r zop-timing-df}
targets::tar_load(zop_timing_df)
```

```{r zop-timing-plot, fig.asp=1/2}
targets::tar_read(zop_timing_plot)
```

Takže jako problematické vypadají IROP, OP PPR OP PIK, které hodně plateb proplatí v době těsně kolem skončení fyzické realizace projektu; zároveň mají větší prodlevu plateb po startu projektu. Většina programů pak má nějaké zpožděné platby, které jsou nejspíš následkem administrativních zádrhelů. Tedy:

- co s platbami nahromaděnými kolem konce realizace projektu?
- co s platbami dlouho po skončení realizace?
- koncepčně, pro jistotu: je třeba to řešit? Tedy - je správné přepokládat, že reálně se peníze v ekonomice pohly v době realizace, nikoli podle data platby?

Podíl POST a ANTE plateb (mld. Kč CZV)

```{r zop-timing-sum}
zop_timing_df %>%
  count(type_zop, wt = fin_vyuct_czv/1e9) %>% 
  mutate(n = round(n))
```

Totéž podle OP

```{r zop-timing-tbl}
zop_timing_df %>%
  count(op_zkr, type_zop, wt = fin_vyuct_czv/1e9) %>%
  mutate(n = round(n)) %>% 
  spread(type_zop, n)
```

Podíl plateb proplacených po uplynutí více než 90 % doby realizace projektu (mld. Kč CZV)

```{r zop-timing-tbl2}
zop_timing_df %>%
  mutate(nad90 = (dt_zop_rel ) > 0.9) %>%
  count(nad90, op_zkr, wt = fin_vyuct_czv/1e9) %>%
  spread(nad90, n) %>% 
  set_names(c("OP", "Před 90 % doby projektu", "Později", "Chybí časové údaje"))
```
Co by se stalo, pokud bychom všechny platby posunuli o 15 % doby trvání projektu dřív?

(součty proplacených mld. Kč CZV)

```{r zop-timing-tbl3}
zop_timing_df %>%
  mutate(nad90 = (dt_zop_rel - 0.15) > 0.9) %>%
  count(nad90, op_zkr, wt = fin_vyuct_czv/1e9) %>%
  spread(nad90, n) %>% 
  set_names(c("OP", "Před 90 % doby projektu", "Později", "Chybí časové údaje"))
```

Kolik peněz by v takovém případě bylo zařezeno do doby před rozjezdem projektu?

(součty proplacených mld. Kč CZV)

```{r zop-timing-tbl4}
zop_timing_df %>%
  mutate(nad90 = (dt_zop_rel - 0.15) < 0) %>%
  count(nad90, op_zkr, wt = fin_vyuct_czv/1e9) %>%
  spread(nad90, n) %>% 
  set_names(c("OP", "Před začátkem doby projektu", "Později", "Chybí časové údaje"))
```

Takže u OP ŽP a OP D bychom zřejmě tuto úpravu dělat neměli, popř. ani u OP TP.

## PRV

```{r, echo=TRUE}
targets::tar_load(efs_prv)
all(efs_prv %>% count(prj_id) %>% pull() == 1)
```

## Veřejný seznam projektů

```{r}
targets::tar_load(ef_pub)
```

### Součet

```{r}
ef_pub %>% 
  count(wt = fin_vyuct_czv/1e9)
```

### Oblasti intervencí

```{r}
ef_pub %>% 
  select(prj_id, oblast_intervence_kod, fin_vyuct_czv) %>% 
  separate_rows(oblast_intervence_kod, sep = ";") %>% 
  mutate(oblast_intervence_kod = str_trim(oblast_intervence_kod)) %>% 
  group_by(oblast_intervence_kod) %>% 
  mutate(oblast_intervence_count = n()) %>% 
  count(oblast_intervence_kod, sort = T, wt = fin_vyuct_czv/1e9)
```