pre-process_2017_tres_anos.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a3c93b80-a134-4476-9181-dba7e18985e3",
   "metadata": {},
   "source": [
    "### **Tradução dos valores das características socioeconômicas da edição de 2021**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "22f4a66e-05dd-47f9-8cd3-d27349640c96",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "23852f68-ccb4-453a-a7a3-c91ec492f002",
   "metadata": {},
   "outputs": [],
   "source": [
    "dados_21 = pd.read_csv('computacao_enade_2017_tres_anos.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "b536e8c4-4aa9-4f38-81da-00a36840e84d",
   "metadata": {},
   "outputs": [],
   "source": [
    "dados_21.replace({'CO_GRUPO': {72: 'ADS', 4004: 'BCC', 4003: 'EC', 6409: 'GTI', 4005: 'LCC', 79: 'RC', 4006: 'SI'}}, inplace=True) # inplace=True permite que o df seja modificado diretamente\n",
    "dados_21 = dados_21.astype({'CO_GRUPO':str})\n",
    "\n",
    "estado_dict = {\n",
    "11 : 'RO',12 : 'AC', \n",
    "13 : 'AM',14 : 'RR',\n",
    "15 : 'PA',16 : 'AP',\n",
    "17 : 'TO',21 : 'MA',\n",
    "22 : 'PI',23 : 'CE',\n",
    "24 : 'RN',25 : 'PB',\n",
    "26 : 'PE',27 : 'AL',\n",
    "28 : 'SE',29 : 'BA',\n",
    "31 : 'MG',32 : 'ES',\n",
    "33 : 'RJ',35 : 'SP',\n",
    "41 : 'PR',42 : 'SC',\n",
    "43 : 'RS',50 : 'MS',\n",
    "51 : 'MT',52 : 'GO', \n",
    "53 : 'DF'\n",
    "}\n",
    "dados_21['CO_UF_CURSO'].replace(estado_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'CO_UF_CURSO':str})\n",
    "\n",
    "regiao_dict = {\n",
    "1 : 'N',2 : 'NE', \n",
    "3 : 'SE',4 : 'SUL',\n",
    "5 : 'CO'\n",
    "}\n",
    "dados_21['CO_REGIAO_CURSO'].replace(regiao_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'CO_REGIAO_CURSO':str})"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b6115184-d249-4296-a633-22df75f307b1",
   "metadata": {},
   "source": [
    "#### **###################################################**\n",
    "#### **Análise de caso 1: IESes do tipo especial \"6\"**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "434c0fbc-1e7e-412b-a652-0d628d12edc0",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Há IESes do tipo especial\n",
    "\n",
    "# ies_especial = dados_21[dados_21[\"CO_CATEGAD\"] == 7]\n",
    "# ies_especial"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c8e6ff17-57b6-40ca-9e21-d251d18681e3",
   "metadata": {},
   "source": [
    "#### **###################################################**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "eab60198-6314-48d1-a740-3419c3eb0588",
   "metadata": {},
   "outputs": [],
   "source": [
    "cat_adm_dict = {\n",
    "1 : 'Pública Federal',2 : 'Pública Estadual', \n",
    "3 : 'Pública Municipal',4 : 'Privada CFL',\n",
    "5 : 'Privada SFL', 7 : 'Pública Municipal'\n",
    "}\n",
    "dados_21['CO_CATEGAD'].replace(cat_adm_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'CO_CATEGAD':str})\n",
    "\n",
    "cat_org_dict = {\n",
    "10019 : 'CEFET',10020 : 'Centro Universitário', \n",
    "10022 : 'Faculdade',10026 : 'IFECT',\n",
    "10028 : 'Universidade'\n",
    "}\n",
    "dados_21['CO_ORGACAD'].replace(cat_org_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'CO_ORGACAD':str})\n",
    "\n",
    "turno_dict = {\n",
    "1 : 'Matutino',2 : 'Vespertino', \n",
    "3 : 'Integral',4 : 'Noturno'\n",
    "}\n",
    "dados_21['CO_TURNO_GRADUACAO'].replace(turno_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'CO_TURNO_GRADUACAO':str})"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "54b2aaf1-be0b-4152-a792-71528c9b8322",
   "metadata": {},
   "source": [
    "#### **###################################################**\n",
    "#### **Análise de caso 2: Outliers dos atributos ANO_FIM_EM e ANO_IN_GRAD**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1a789640-6c9e-4012-a052-3f31135521e1",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Análise dos atributos ANO_FIM_EM e ANO_IN_GRAD\n",
    "\n",
    "outliers_afem = dados_21[(dados_21['ANO_FIM_EM'] < 1951) | (dados_21['ANO_FIM_EM'] > 2021)]\n",
    "outliers_afem\n",
    "\n",
    "outliers_aig = dados_21[(dados_21['ANO_IN_GRAD'] < 1971) | (dados_21['ANO_IN_GRAD'] > 2017)]\n",
    "outliers_aig\n",
    "\n",
    "media_afem = dados_21['ANO_FIM_EM'].mean()\n",
    "media_afem\n",
    "\n",
    "media_aig = dados_21['ANO_IN_GRAD'].mean()\n",
    "media_aig"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7ee8ad0f-f4fc-470c-b0de-1e38df68161d",
   "metadata": {},
   "source": [
    "#### **###################################################**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "f2642bdc-65ad-47ae-9a3f-0307946574d6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Atributo derivado 1 - DIF_GRAD_EM\n",
    "dados_21[\"DIF_GRAD_EM\"] = dados_21['ANO_IN_GRAD'] - dados_21['ANO_FIM_EM']\n",
    "\n",
    "# Atributo derivado 2 - DIF_ANO_GRAD\n",
    "dados_21[\"DIF_ANO_GRAD\"] = (dados_21['NU_ANO'] - dados_21['ANO_IN_GRAD']) + 1\n",
    "\n",
    "dados_21[\"ANO_FIM_EM\"] = dados_21['NU_ANO'] - dados_21['ANO_FIM_EM']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "1b1ef8ca-6282-458b-8fcb-edd4707402b0",
   "metadata": {},
   "outputs": [],
   "source": [
    "est_civil_dict = {\n",
    "'A' : 'Solteiro','B' : 'Casado', \n",
    "'C' : 'Separado', 'D' : 'Viúvo',\n",
    "'E': 'Outro'\n",
    "}\n",
    "dados_21['QE_I01'].replace(est_civil_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I01':str})\n",
    "\n",
    "raca_dict = {\n",
    "'A' : 'Branca','B' : 'Preta', \n",
    "'C' : 'Amarela', 'D' : 'Parda',\n",
    "'E': 'Indígena', 'F': 'Não declarado'\n",
    "}\n",
    "dados_21['QE_I02'].replace(raca_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I02':str})\n",
    "\n",
    "nacionalidade_dict = {\n",
    "'A' : 'Brasileira','B' : 'Naturalizada', \n",
    "'C' : 'Estrangeira'\n",
    "}\n",
    "dados_21['QE_I03'].replace(nacionalidade_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I03':str})\n",
    "\n",
    "nl_pai_mae_dict = {\n",
    "'A' : 'Nenhuma','B' : 'Fundamental 1-5', \n",
    "'C' : 'Fundamental 6-9', 'D' : 'Médio',\n",
    "'E': 'Superior', 'F': 'Pós-graduação'\n",
    "}\n",
    "dados_21['QE_I04'].replace(nl_pai_mae_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I04':str})\n",
    "dados_21['QE_I05'].replace(nl_pai_mae_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I05':str})\n",
    "\n",
    "moradia_dict = {\n",
    "'A' : 'Sozinho','B' : 'Parentes', \n",
    "'C' : 'Cônjuge/Filhos', 'D' : 'Outras pessoas',\n",
    "'E': 'Universidade', 'F': 'Habitação individual/coletiva'\n",
    "}\n",
    "dados_21['QE_I06'].replace(moradia_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I06':str})\n",
    "\n",
    "qtde_moradia_dict = {\n",
    "'A' : 'Nenhuma','B' : 'Uma', \n",
    "'C' : 'Duas', 'D' : 'Três',\n",
    "'E': 'Quatro', 'F': 'Cinco',\n",
    "'G': 'Seis', 'H': 'Sete ou mais'\n",
    "}\n",
    "dados_21['QE_I07'].replace(qtde_moradia_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I07':str})\n",
    "\n",
    "renda_dict = {\n",
    "'A' : 'Até 1,5 SM','B' : 'De 1,5 a 3 SM', \n",
    "'C' : 'De 3 a 4,5 SM', 'D' : 'De 4,5 a 6 SM',\n",
    "'E': 'De 6 a 10 SM', 'F': 'De 10 a 30 SM',\n",
    "'G': 'Acima de 30 SM'\n",
    "}\n",
    "dados_21['QE_I08'].replace(renda_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I08':str})\n",
    "\n",
    "status_financ_dict = {\n",
    "'A' : 'Sem renda/Outros','B' : 'Sem renda/Outros', \n",
    "'C' : 'Tem renda/Outros', 'D' : 'Tem renda/Independente',\n",
    "'E': 'Tem renda/Sustenta', 'F': 'Tem renda/Principal'\n",
    "}\n",
    "dados_21['QE_I09'].replace(status_financ_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I09':str})\n",
    "\n",
    "trabalho_dict = {\n",
    "'A' : 'Não','B' : 'Eventualmente',\n",
    "'C' : 'Até 20 horas', 'D' : '21 a 39 horas',\n",
    "'E': '40 horas ou mais'\n",
    "}\n",
    "dados_21['QE_I10'].replace(trabalho_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I10':str})\n",
    "\n",
    "recebeu_bolsa_dict = {\n",
    "'A' : 'Não se aplica','B' : 'Não',\n",
    "'C' : 'Sim', 'D' : 'Sim',\n",
    "'E': 'Sim', 'F' : 'Sim',\n",
    "'G' : 'Sim', 'H' : 'Sim',\n",
    "'I': 'Sim', 'J' : 'Sim',\n",
    "'K' : 'Sim'\n",
    "}\n",
    "dados_21['QE_I11'].replace(recebeu_bolsa_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I11':str})\n",
    "\n",
    "aux_permanencia_dict = {\n",
    "'A' : 'Nenhum','B' : 'Moradia',\n",
    "'C' : 'Alimentação', 'D' : 'Moradia e Alimentação',\n",
    "'E': 'Permanência', 'F' : 'Outro'\n",
    "}\n",
    "dados_21['QE_I12'].replace(aux_permanencia_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I12':str})\n",
    "\n",
    "bolsa_academica_dict = {\n",
    "'A' : 'Nenhum','B' : 'IC',\n",
    "'C' : 'Extensão', 'D' : 'Monitoria',\n",
    "'E': 'PET', 'F' : 'Outro'\n",
    "}\n",
    "dados_21['QE_I13'].replace(bolsa_academica_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I13':str})\n",
    "\n",
    "atividades_exterior_dict = {\n",
    "'A' : 'Não','B' : 'Prog CSF',\n",
    "'C' : 'Prog Inter GF', 'D' : 'Prog Inter GE',\n",
    "'E': 'Prog Inter Inst', 'F' : 'Prog Inter Outro'\n",
    "}\n",
    "dados_21['QE_I14'].replace(atividades_exterior_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I14':str})\n",
    "\n",
    "politica_dict = {\n",
    "'A' : 'Não','B' : 'Critério étnico-racial',\n",
    "'C' : 'Critério de renda', 'D' : 'Bolsa de estudos',\n",
    "'E': 'Combinação de critérios', 'F': 'Critérios diferentes'\n",
    "}\n",
    "dados_21['QE_I15'].replace(politica_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I15':str})\n",
    "\n",
    "uf_em_dict = {\n",
    "11 : 'RO',12 : 'AC', \n",
    "13 : 'AM',14 : 'RR',\n",
    "15 : 'PA',16 : 'AP',\n",
    "17 : 'TO',21 : 'MA',\n",
    "22 : 'PI',23 : 'CE',\n",
    "24 : 'RN',25 : 'PB',\n",
    "26 : 'PE',27 : 'AL',\n",
    "28 : 'SE',29 : 'BA',\n",
    "31 : 'MG',32 : 'ES',\n",
    "33 : 'RJ',35 : 'SP',\n",
    "41 : 'PR',42 : 'SC',\n",
    "43 : 'RS',50 : 'MS',\n",
    "51 : 'MT',52 : 'GO', \n",
    "53 : 'DF',99 : 'Não se aplica'\n",
    "}\n",
    "dados_21['QE_I16'].replace(uf_em_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I16':str})\n",
    "\n",
    "tipo_em_dict = {\n",
    "'A' : 'Pública','B' : 'Privada', \n",
    "'C' : 'Exterior', 'D' : 'Pública',\n",
    "'E' : 'Privada', 'F' : 'Exterior'\n",
    "}\n",
    "dados_21['QE_I17'].replace(tipo_em_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I17':str})\n",
    "\n",
    "mod_em_dict = {\n",
    "'A' : 'Tradicional','B' : 'Técnico', \n",
    "'C' : 'Magistério', 'D' : 'Supletivo',\n",
    "'E':'Outra'\n",
    "}\n",
    "dados_21['QE_I18'].replace(mod_em_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I18':str})\n",
    "\n",
    "incentivo_graduacao_dict = {\n",
    "'A' : 'Ninguem','B' : 'Pais', \n",
    "'C' : 'Outros Família', 'D' : 'Professores',\n",
    "'E':'Líder religioso', 'F':'Colegas',\n",
    "'G':'Outros'\n",
    "}\n",
    "dados_21['QE_I19'].replace(incentivo_graduacao_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I19':str})\n",
    "\n",
    "enfrentar_diff_dict = {\n",
    "'A' : 'Sem dificuldade','B' : 'Sem apoio', \n",
    "'C' : 'Pais', 'D' : 'Avós',\n",
    "'E':'Irmãos/Primos/Tios', 'F':'Líder religioso',\n",
    "'G':'Colegas de curso', 'H':'Professores do curso',\n",
    "'I':'Serviço de apoio', 'J':'Colegas de trabalho',\n",
    "'K':'Outro'\n",
    "}\n",
    "dados_21['QE_I20'].replace(enfrentar_diff_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I20':str})\n",
    "\n",
    "familia_superior_dict = {\n",
    "'A' : 'Sim','B' : 'Não'\n",
    "}\n",
    "dados_21['QE_I21'].replace(familia_superior_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I21':str})\n",
    "\n",
    "qtde_livros_dict = {\n",
    "'A' : 'Nenhum','B' : '1 ou 2',\n",
    "'C' : '3-5', 'D' : '6-8',\n",
    "'E': '+8'\n",
    "}\n",
    "dados_21['QE_I22'].replace(qtde_livros_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I22':str})\n",
    "\n",
    "horas_estudo_dict = {\n",
    "'A' : 'Nenhum','B' : '1-3',\n",
    "'C' : '4-7', 'D' : '8-12',\n",
    "'E': '+12'\n",
    "}\n",
    "dados_21['QE_I23'].replace(horas_estudo_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I23':str})\n",
    "\n",
    "idioma_estrangeiro_dict = {\n",
    "'A' : 'Sim presencial','B' : 'Sim semi.',\n",
    "'C' : 'Sim pres. e semi.', 'D' : 'Sim distância',\n",
    "'E': 'Não'\n",
    "}\n",
    "dados_21['QE_I24'].replace(idioma_estrangeiro_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I24':str})\n",
    "\n",
    "motivo_curso_dict = {\n",
    "'A' : 'Mercado','B' : 'Família',\n",
    "'C' : 'Valorização', 'D' : 'Prestígio',\n",
    "'E': 'Vocação', 'F': 'EaD',\n",
    "'G': 'Baixa concor.', 'H': 'Outro'\n",
    "}\n",
    "dados_21['QE_I25'].replace(motivo_curso_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I25':str})\n",
    "\n",
    "motivo_ies_dict = {\n",
    "'A' : 'Gratuidade','B' : 'Mensalidade',\n",
    "'C' : 'Prox. residência', 'D' : 'Prox. trabalho',\n",
    "'E': 'Facilidade acesso', 'F': 'Qualidade',\n",
    "'G': 'Aprovação', 'H': 'Bolsa',\n",
    "'I': 'Outro'\n",
    "}\n",
    "dados_21['QE_I26'].replace(motivo_ies_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I26':str})\n",
    "\n",
    "alternativas_27_68_dict = {\n",
    "    1 : 'Disc. totalmente',\n",
    "    2 : 'Discordo',\n",
    "    3 : 'Disc. parc.',\n",
    "    4 : 'Concordo parc.',\n",
    "    5 : 'Concordo',\n",
    "    6 : 'Concordo Total.',\n",
    "    7 : 'Não sei responder',\n",
    "    8 : 'Não se aplica'\n",
    "}\n",
    "dados_21['QE_I27'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I27':str})\n",
    "\n",
    "dados_21['QE_I28'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I28':str})\n",
    "\n",
    "dados_21['QE_I29'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I29':str})\n",
    "\n",
    "dados_21['QE_I30'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I30':str})\n",
    "\n",
    "dados_21['QE_I31'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I31':str})\n",
    "\n",
    "dados_21['QE_I32'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I32':str})\n",
    "\n",
    "dados_21['QE_I33'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I33':str})\n",
    "\n",
    "dados_21['QE_I34'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I34':str})\n",
    "\n",
    "dados_21['QE_I35'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I35':str})\n",
    "\n",
    "dados_21['QE_I36'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I36':str})\n",
    "\n",
    "dados_21['QE_I37'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I37':str})\n",
    "\n",
    "dados_21['QE_I38'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I38':str})\n",
    "\n",
    "dados_21['QE_I39'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I39':str})\n",
    "\n",
    "dados_21['QE_I40'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I40':str})\n",
    "\n",
    "dados_21['QE_I41'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I41':str})\n",
    "\n",
    "dados_21['QE_I42'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I42':str})\n",
    "\n",
    "dados_21['QE_I43'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I43':str})\n",
    "\n",
    "dados_21['QE_I44'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I44':str})\n",
    "\n",
    "dados_21['QE_I45'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I45':str})\n",
    "\n",
    "dados_21['QE_I46'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I46':str})\n",
    "\n",
    "dados_21['QE_I47'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I47':str})\n",
    "\n",
    "dados_21['QE_I48'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I48':str})\n",
    "\n",
    "dados_21['QE_I49'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I49':str})\n",
    "\n",
    "dados_21['QE_I50'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I50':str})\n",
    "\n",
    "dados_21['QE_I51'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I51':str})\n",
    "\n",
    "dados_21['QE_I52'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I52':str})\n",
    "\n",
    "dados_21['QE_I53'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I53':str})\n",
    "\n",
    "dados_21['QE_I54'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I54':str})\n",
    "\n",
    "dados_21['QE_I55'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I55':str})\n",
    "\n",
    "dados_21['QE_I56'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I56':str})\n",
    "\n",
    "dados_21['QE_I57'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I57':str})\n",
    "\n",
    "dados_21['QE_I58'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I58':str})\n",
    "\n",
    "dados_21['QE_I59'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I59':str})\n",
    "\n",
    "dados_21['QE_I60'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I60':str})\n",
    "\n",
    "dados_21['QE_I61'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I61':str})\n",
    "\n",
    "dados_21['QE_I62'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I62':str})\n",
    "\n",
    "dados_21['QE_I63'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I63':str})\n",
    "\n",
    "dados_21['QE_I64'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I64':str})\n",
    "\n",
    "dados_21['QE_I65'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I65':str})\n",
    "\n",
    "dados_21['QE_I66'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I66':str})\n",
    "\n",
    "dados_21['QE_I67'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I67':str})\n",
    "\n",
    "dados_21['QE_I68'].replace(alternativas_27_68_dict,inplace=True)\n",
    "dados_21 = dados_21.astype({'QE_I68':str})"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d39a706b-378d-476d-93d0-111c85b8ee9c",
   "metadata": {},
   "source": [
    "#################################################\n",
    "#### **Geração de código para questões repetidas**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cc67ab61-2c89-4482-b99e-7c4c31584acb",
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(63, 69):\n",
    "    print(f\"dados_21['QE_I{i}'].replace(alternativas_27_68_dict,inplace=True)\\ndados_21 = dados_21.astype(\"+\"{\"+f\"'QE_I{i}':str\"+\"})\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb0eea9a-42da-49a1-b40b-8564d305269a",
   "metadata": {},
   "source": [
    "#### **Geração de entradas para o dicionário de colunas**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "0a3f2ded-b8a8-4918-856c-bfded51abdaf",
   "metadata": {},
   "outputs": [],
   "source": [
    "for i in range(63, 69):\n",
    "    print(f'    \"QE_I{i}\": \"\",')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1326d4b-64d0-4969-83bf-477547ca1570",
   "metadata": {},
   "source": [
    "#################################################"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "900a6074-f2b5-4c14-b805-46f56e3375ea",
   "metadata": {},
   "outputs": [],
   "source": [
    "columns_dict = {\n",
    "    \"NU_ANO\": \"Ano\",\n",
    "    \"CO_CURSO\": \"Codigo_do_Curso\",\n",
    "    \"CO_GRUPO\": \"Curso\",\n",
    "    \"CO_UF_CURSO\": \"UF\",\n",
    "    \"CO_REGIAO_CURSO\": \"Regiao\",\n",
    "    \"CO_CATEGAD\": \"Cat_Administrativa\",\n",
    "    \"CO_ORGACAD\": \"Cat_Org_Academica\",\n",
    "    \"CO_TURNO_GRADUACAO\": \"Turno\",\n",
    "    \"TP_PRES\": \"Tipo_Presenca\",\n",
    "    \"NT_FG\": \"Nota_FG\",\n",
    "    \"NT_CE\": \"Nota_CE\",\n",
    "    \"DIF_GRAD_EM\": \"Anos_Preparacao\",\n",
    "    \"DIF_ANO_GRAD\": \"Anos_Graduacao\",\n",
    "    \"ANO_FIM_EM\": \"Conclusao_Ensino_Medio\",\n",
    "    \"ANO_IN_GRAD\": \"Inicio_Graduacao\",\n",
    "    \"NU_IDADE\": \"Idade\",\n",
    "    \"TP_SEXO\": \"Sexo\",\n",
    "    \"QE_I01\": \"Estado_Civil\",\n",
    "    \"QE_I02\": \"Cor_Raca\",\n",
    "    \"QE_I03\": \"Nacionalidade\",\n",
    "    \"QE_I04\": \"Nl_Pai\",\n",
    "    \"QE_I05\": \"Nl_Mae\",\n",
    "    \"QE_I06\": \"Moradia\",\n",
    "    \"QE_I07\": \"Qtde_Pessoas\",\n",
    "    \"QE_I08\": \"Renda\",\n",
    "    \"QE_I09\": \"Situacao_Financeira\",\n",
    "    \"QE_I10\": \"Situacao_Trabalho\",\n",
    "    \"QE_I11\": \"Bolsa_de_Estudos\",\n",
    "    \"QE_I12\": \"Auxilio_Permanencia\",\n",
    "    \"QE_I13\": \"Bolsa_Academica\",\n",
    "    \"QE_I14\": \"Atividade_Exterior\",\n",
    "    \"QE_I15\": \"Politica_de_Ingresso\",\n",
    "    \"QE_I16\": \"UF_Ensino_Medio\",\n",
    "    \"QE_I17\": \"Tipo_Escola_EM\",\n",
    "    \"QE_I18\": \"Modalidade_EM\",\n",
    "    \"QE_I19\": \"Incentivo_Grad\",\n",
    "    \"QE_I20\": \"Enfrentar_Diff\",\n",
    "    \"QE_I21\": \"Familia_Superior\",\n",
    "    \"QE_I22\": \"Qtde_Livros\",\n",
    "    \"QE_I23\": \"Horas_de_Estudo\",\n",
    "    \"QE_I24\": \"Idioma_Estrangeiro\",\n",
    "    \"QE_I25\": \"Motivo_Curso\",\n",
    "    \"QE_I26\": \"Motivo_IES\",\n",
    "    \"QE_I27\": \"Formacao\",\n",
    "    \"QE_I28\": \"Contribuicao_Disciplinas\",\n",
    "    \"QE_I29\": \"Eficiencia_Metodologias\",\n",
    "    \"QE_I30\": \"Experiencias_Inovadoras\",\n",
    "    \"QE_I31\": \"Consciencia_Etica\",\n",
    "    \"QE_I32\": \"Trabalho_Em_Equipe\",\n",
    "    \"QE_I33\": \"Capacidade_Reflexao\",\n",
    "    \"QE_I34\": \"Desenv_Solucao_Problemas\",\n",
    "    \"QE_I35\": \"Comunicacao_Oral_Escrita\",\n",
    "    \"QE_I36\": \"Capacidade_Aprendizado\",\n",
    "    \"QE_I37\": \"Estimulo_Professor\",\n",
    "    \"QE_I38\": \"Plano_de_Ensino\",\n",
    "    \"QE_I39\": \"Contribuicao_Referencias\",\n",
    "    \"QE_I40\": \"Oportunidades_Superacao\",\n",
    "    \"QE_I41\": \"Orientacao_Academica\",\n",
    "    \"QE_I42\": \"Exigencia_Organizacao\",\n",
    "    \"QE_I43\": \"Oportunidades_Extensao\",\n",
    "    \"QE_I44\": \"Oportunidades_IC\",\n",
    "    \"QE_I45\": \"Participacao_Eventos\",\n",
    "    \"QE_I46\": \"Representantes_Orgaos\",\n",
    "    \"QE_I47\": \"Atividades_Praticas\",\n",
    "    \"QE_I48\": \"Eficiencia_Atv_Praticas\",\n",
    "    \"QE_I49\": \"Conhecimentos_Atualizados\",\n",
    "    \"QE_I50\": \"Eficiencia_Estagio\",\n",
    "    \"QE_I51\": \"Eficiencia_TCC\",\n",
    "    \"QE_I52\": \"Intercambio_Nacional\",\n",
    "    \"QE_I53\": \"Intercambio_Internacional\",\n",
    "    \"QE_I54\": \"Avaliacoes_Periodicas\",\n",
    "    \"QE_I55\": \"Avaliacoes_Adequadas\",\n",
    "    \"QE_I56\": \"Disponibilidade_Professores\",\n",
    "    \"QE_I57\": \"Dominio_Professores\",\n",
    "    \"QE_I58\": \"Uso_TICs\",\n",
    "    \"QE_I59\": \"Suficiencia_Funcionarios\",\n",
    "    \"QE_I60\": \"Disp_Monitores\",\n",
    "    \"QE_I61\": \"Condicao_Salas\",\n",
    "    \"QE_I62\": \"Condicao_Praticas\",\n",
    "    \"QE_I63\": \"Amb_Equip_Adequados\",\n",
    "    \"QE_I64\": \"Eficiencia_Biblioteca\",\n",
    "    \"QE_I65\": \"Uso_Biblio_Virtual\",\n",
    "    \"QE_I66\": \"Respeito_Diversidade\",\n",
    "    \"QE_I67\": \"Atv_Lazer_Social\",\n",
    "    \"QE_I68\": \"Atendimento_Necessidades\"\n",
    "}\n",
    "dados_21.rename(columns = columns_dict, inplace = True)\n",
    "dados_21 = dados_21.reindex(columns=[\"Ano\",\"Codigo_do_Curso\",\"Curso\",\"UF\",\"Regiao\",\"Cat_Administrativa\",\"Cat_Org_Academica\",\"Turno\",\n",
    "                                     \"Tipo_Presenca\",\"Nota_FG\",\"Nota_CE\",\"Anos_Preparacao\",\"Anos_Graduacao\",\"Conclusao_Ensino_Medio\",\n",
    "                                     \"Inicio_Graduacao\",\"Idade\",\"Sexo\",\"Estado_Civil\",\"Cor_Raca\",\"Nacionalidade\",\"Nl_Pai\",\"Nl_Mae\",\n",
    "                                     \"Moradia\",\"Qtde_Pessoas\",\"Renda\",\"Situacao_Financeira\",\"Situacao_Trabalho\",\"Bolsa_de_Estudos\",\n",
    "                                     \"Auxilio_Permanencia\",\"Bolsa_Academica\",\"Atividade_Exterior\",\"Politica_de_Ingresso\",\"UF_Ensino_Medio\",\n",
    "                                     \"Tipo_Escola_EM\",\"Modalidade_EM\",\"Incentivo_Grad\",\"Enfrentar_Diff\",\"Familia_Superior\",\"Qtde_Livros\",\n",
    "                                     \"Horas_de_Estudo\",\"Idioma_Estrangeiro\",\"Motivo_Curso\",\"Motivo_IES\",\"Formacao\",\"Contribuicao_Disciplinas\",\n",
    "                                     \"Eficiencia_Metodologias\",\"Experiencias_Inovadoras\",\"Consciencia_Etica\",\"Trabalho_Em_Equipe\",\n",
    "                                     \"Capacidade_Reflexao\",\"Desenv_Solucao_Problemas\",\"Comunicacao_Oral_Escrita\",\"Capacidade_Aprendizado\",\n",
    "                                     \"Estimulo_Professor\",\"Plano_de_Ensino\",\"Contribuicao_Referencias\",\"Oportunidades_Superacao\",\n",
    "                                     \"Orientacao_Academica\",\"Exigencia_Organizacao\",\"Oportunidades_Extensao\",\"Oportunidades_IC\",\n",
    "                                     \"Participacao_Eventos\",\"Representantes_Orgaos\",\"Atividades_Praticas\",\"Eficiencia_Atv_Praticas\",\n",
    "                                     \"Conhecimentos_Atualizados\",\"Eficiencia_Estagio\",\"Eficiencia_TCC\",\"Intercambio_Nacional\",\n",
    "                                     \"Intercambio_Internacional\",\"Avaliacoes_Periodicas\",\"Avaliacoes_Adequadas\",\"Disponibilidade_Professores\",\n",
    "                                     \"Dominio_Professores\",\"Uso_TICs\",\"Suficiencia_Funcionarios\",\"Disp_Monitores\",\"Condicao_Salas\",\n",
    "                                     \"Condicao_Praticas\",\"Amb_Equip_Adequados\",\"Eficiencia_Biblioteca\",\"Uso_Biblio_Virtual\",\n",
    "                                     \"Respeito_Diversidade\",\"Atv_Lazer_Social\",\"Atendimento_Necessidades\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "75691cf8-3aa6-4a8b-855d-13b3b7340791",
   "metadata": {},
   "outputs": [],
   "source": [
    "dados_21.to_csv('./{}.csv'.format('pre-process_2017_tres_anos'),index=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f33a87d-9a5a-4cc8-b675-b12313fe4d71",
   "metadata": {},
   "source": [
    "#### **Gráfico do número de alunos de cada curso**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "962a1aa9-6c64-47bb-8a54-85f28598d716",
   "metadata": {},
   "outputs": [],
   "source": [
    "count_bcc = dados_21[dados_21['Curso'] == 'BCC']['Curso'].count()\n",
    "count_ads = dados_21[dados_21['Curso'] == 'ADS']['Curso'].count()\n",
    "count_gti = dados_21[dados_21['Curso'] == 'GTI']['Curso'].count()\n",
    "count_ec = dados_21[dados_21['Curso'] == 'EC']['Curso'].count()\n",
    "count_lcc = dados_21[dados_21['Curso'] == 'LCC']['Curso'].count()\n",
    "count_rc = dados_21[dados_21['Curso'] == 'RC']['Curso'].count()\n",
    "count_si = dados_21[dados_21['Curso'] == 'SI']['Curso'].count()\n",
    "\n",
    "count_array = [count_bcc,count_ads, count_gti, count_ec, \n",
    "               count_lcc, count_rc, count_si]\n",
    "\n",
    "count_courses = pd.DataFrame({'Número de alunos': count_array}, index=['BCC', 'ADS', 'GTI', 'EC', 'LCC', 'RC', 'SI'])\n",
    "\n",
    "count_courses.plot.bar();"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}