Revista da Associação Médica Brasileira Revista da Associação Médica Brasileira
Rev Assoc Med Bras. 2013;59:583-8 - Vol. 59 Núm.06 DOI: 10.1016/j.ramb.2013.06.010

Proposta de seleção unificada aos Programas de Residência Médica

Sônia Ferreira Lopes Toffoli a,b,, Olavo Franco Ferreira Filho c, Dalton Francisco de Andrade d

a Programa de Pós-graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil
b Universidade Estadual de Londrina, Londrina, PR, Brasil
c Departamento de Clínica Médica, Universidade Estadual de Londrina, Londrina, PR, Brasil
d Departamento de Informática e Estatística, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil

Palavras-chave

Residência médica. Processo seletivo. Teoria Clássica do Teste. Teoria de Resposta ao Item.

Resumo

Objetivo

Este artigo propõe a unificação dos exames de acesso aos programas de Residência Médica (RM) no Brasil. São destacados problemas relacionados à RM e a sua interface com problemas da saúde pública no Brasil e como esta proposta pode auxiliar no enfrentamento desses problemas.

Métodos

A proposta consiste na criação de um banco de itens para ser aplicado na seleção unificada para a RM. São destacadas algumas vantagens em utilizar a Teoria de Resposta ao Item (TRI) nesse banco de itens.

Resultados

Os exames de seleção para os programas de RM são elaborados e aplicados de forma descentralizadas, cada instituição é responsável por sua avaliação. A qualidade dessas provas é questionável, os estudos referentes à qualidade dos itens, a validade e a confiabilidade dos instrumentos não são comumente divulgados.

Conclusão

A avaliação é importante em todo sistema de ensino, provocando transformações necessárias e monitoramento do ensino e da aprendizagem. A proposta da unificação da prova de seleção para a RM, além de oferecer uma avaliação de qualidade elevada às instituições participantes, poderia servir como mais um recurso para avaliar e consequentemente provocar intervenções de melhorias nos cursos de graduação em medicina, fornecer dados para estudos e permitir uma mobilidade regional.

Artigo

Introdução

A Residência Médica (RM) é um programa de treinamento em serviço considerado a melhor forma de capacitação de médicos para o exercício profissional. Atualmente, em algumas especialidades, há uma discrepância entre o número de candidatos e o número de vagas de RM, o que gera uma concorrência acirrada nos processos seletivos para acesso aos programas, principalmente nas regiões mais desenvolvidas do Brasil.1, 2 Embora institucionalizada há mais de 30 anos no Brasil, a RM carece de formulação de políticas públicas específicas e de mecanismos de articulação entre a necessidade de profissionais e a oferta de formação.3, 4 Em conformidade com essa demanda, foi lançado em 2009 o Programa Nacional de apoio à formação de médicos especialistas em áreas estratégicas (Pro-Residência), com objetivo de favorecer a formação de médicos especialistas de acordo com as necessidades do Sistema Único de Saúde (SUS).5

Estudos abordam a distribuição de vagas de RM nas diversas regiões do Brasil, evidenciando uma concentração de programas e de instituições que oferecem RM nas regiões Sudeste e Sul muito superior ao que é oferecido nas regiões Norte e Nordeste, mas também que o percentual de bolsas ofertadas nessas regiões menos favorecidas tem aumentado após o programa Pró-Residência.1

Políticas de incentivo à fixação de médicos em lugares ainda desassistidos vêm sendo utilizadas em todo o mundo. Esses incentivos podem ser ou não financeiros – apesar de importante, o incremento salarial, quando desacompanhado de outros atrativos, perde sua força.6, 7 Exemplos de incentivos não financeiros são boas condições de moradia e escola para os filhos, oferta de educação profissional permanente, possibilidade de ascensão funcional, inclusão de programas de assistência aos residentes como medida preventiva ao estresse e à ansiedade e condições diferenciadas de concorrência às vagas de RM.7, 8, 9, 10

Entre outras propostas sugeridas por especialistas como ações complementares estão a implantação de novos programas de RM em regiões menos privilegiadas, o refinanciamento de dívidas educativas e a concessão de bolsas de estudos a estudantes e residentes em troca do exercício médico em áreas desassistidas, a criação da carreira nacional e a proposta de mudanças nos exames de acesso da RM.6, 7, 10, 11 São variadas as políticas adotadas para solucionar ou amenizar o problema da carência de profissionais da saúde em áreas ermas, mas entre elas sempre são citadas ações relacionadas com a formação médica, em particular com a RM.

Atualmente, os especialistas estão preocupados com a melhoria do sistema de saúde para uma prestação de serviços mais eficiente e humanista. São vários os trabalhos, debates e encontros sobre a formação do profissional e sua inserção no sistema de saúde. O Encontro Nacional de Entidades Médicas de 201012 resultou em algumas propostas concernentes à formação do Médico Rresidente, dentre as quais: garantia de uma vaga de RM para cada egresso da graduação, ampliação das vagas de RM conforme a necessidade de demanda da saúde pública, unificação dos critérios das provas de seleção da RM, minimização da subjetividade na avaliação de ingresso de residentes e não priorização do egresso local em detrimento dos candidatos de fora.

Atendendo plenamente à maioria dessas propostas, e agregando-se às políticas atuais, este trabalho propõe um exame de seleção unificado em todo o país, a fim de mudar o modelo de acesso aos programas de RM, agregando vantagens consistentes às atuais ações voltadas à formação médica e ao direcionamento deses profissionais para áreas prioritárias para o SUS.

A distribuição geográfica desigual de médicos é considerada grave, pois gera escassez de profissionais em regiões mais remotas. Além da carência de médicos para trabalhar na atenção primária à saúde, também há poucos médicos especialistas.1, 5, 7, 13 Nunes et al.,2 no artigo Distribuição de Vagas de Residência Médica e de Médicos nas Regiões do País, após a citação de exemplos de vários estudos ao redor do mundo, afirmam categoricamente que a oferta de residência com qualidade contribui para a fixação de médicos nas regiões em que cursaram tais programas, e que a RM – e não a graduação – é a responsável principal pela redistribuição de médicos.

A proposta de processos seletivos unificados nos moldes do Exame Nacional do Ensino Médio (ENEM)14 poderia contribuir para o enfrentamento do problema da desassistência em regiões menos favorecidas. Em modelos como esse, os candidatos classificados em uma escala comum poderiam ser direcionados, respeitando-se suas preferências, para as localidades ermas, atendentdo às políticas públicas atuais para o direcionamento de especialistas para as regiões carentes.

O exame de seleção unificado para as vagas de RM no Brasil seria feito por intermédio de um banco de itens desenvolvidos de acordo com critérios de validade e confiabilidade, descritos por teorias de medidas atuais, no qual os candidatos seriam classificados em uma escala comum.

Na medida em que as vagas das instituições mais disputadas vão sendo preenchidas, os candidatos são distribuídos para outras instituições, de acordo com sua classificação. Acredita-se que devido a algumas vantagens, muitos candidatos aceitariam a possibilidade de cursar a RM em outras localidades, mesmo sem ter sido esta a primeira opção considerada. Uma dessas vantagens é a possibilidade de continuidade imediata de sua formação; outra é a oportunidade de vivência em outras comunidades, com outras culturas. Esse procedimento está sendo adotado desde 2009 para o direcionamento de candidatos às vagas das instituições de Ensino Superior participantes do ENEM.14

Estudiosos da área da educação médica apontam a necessidade de mudanças na forma de acesso às vagas de RM, principalmente em relação à prova objetiva de conhecimentos nas áreas básicas.2, 15 Essa prova geralmente tem seus itens analisados de acordo com a Teoria Clássica dos Testes (TCT), mas essa análise só é possível após a aplicação dos exames. Eventuais problemas com os itens são detectados tardiamente, e muitas vezes a qualidade da seleção é prejudicada. Os problemas com os itens podem ocorrer em relação à elaboração, com problemas conceituais, em relação à discriminação ou em relação à dificuldade.

Considerando a complexidade evolvida na elaboração de um exame de seleção, e que cada instituição, nas várias regiões do país, é responsável por seus processos de seleção à RM, fica fácil intuir que alguns desses exames tenham qualidade questionável tanto em relação ao instrumento aplicado quanto aos conteúdos exigidos. Desse modo, um exame unificado poderia contribuir para uma melhoria na qualidade de seleção, com seus instrumentos construídos de acordo com atuais conceitos de validade e de confiabilidade, podendo promover um efeito retroativo para uma uniformidade dos currículos dos cursos de graduação em Medicina no Brasil.

Os exames de acesso aos Programas de Residência Médica

O processo seletivo para a RM, a critério da instituição, pode ser realizado em duas fases: escrita e prática. A primeira fase é obrigatória e consiste de exame escrito, objetivo, com igual número de questões nas especialidades de Clínica Médica, Cirurgia Geral, Pediatria, Obstetrícia e Ginecologia e Medicina Preventiva e Social, com peso mínimo de 50%. A segunda fase, opcional, a critério da Instituição, é constituída de prova prática com peso de 40-50% da nota total e análise e arguição de currículo com peso máximo de 10% da nota total.16

Atualmente, no Brasil, são reconhecidas 53 especialidades e 54 áreas de atuação. Entre as 53 especialidades, 29 são de acesso direto, isto é, o único pré-requisito é a graduação em Medicina. Para as outras especialidades, de acesso indireto, é exigida uma formação prévia nas áreas básicas de conhecimento.2

A proposta de unificação dos processos seria para a prova objetiva da primeira fase para as especialidades de acesso direto, pois atualmente estas especialidades são as de necessidade prioritárias para o SUS. As outras etapas, com menor número de concorrentes, ficariam a cargo da instituição de destino de cada candidato.

Metodologia A proposta de seleção unificada aos programas de Residência Médica

Os processos de seleção à Residência Médica são reconhecidamente necessários e têm a pretensão de diferenciar estudantes que apresentam conhecimentos e habilidades consideradas importantes, além de serem responsáveis por orientar a grade curricular dos cursos de graduação.

Ainda que esses exames cumpram satisfatoriamente o papel de classificar os candidatos inscritos, eles trazem inconvenientes. Um deles é a descentralização dos processos seletivos, que acabam limitando as opções na disputa por uma das vagas oferecidas. Por outro lado, restringe a capacidade de recrutamento pelas instituições, desfavorecendo aquelas situadas em localidades mais afastadas dos grandes centros.

Uma alternativa de mudança na seleção à RM seria, então, a unificação da seleção às vagas por meio de uma única prova, democratizando a participação nos processos de seleção e direcionando os jovens em suas especialidades de interesse para as regiões desassistidas, somando-se às atuais políticas públicas voltadas à formação médica e ao direcionamento desses profissionais para áreas prioritárias para o SUS. Além disso, essa unificação dos processos seletivos seria importante pela possibilidade de provocar uma integração curricular entre os diversos cursos de graduação do país.

A utilização da Teoria de Resposta ao Item na construção do banco de itens

Uma avaliação em larga escala como a proposta neste estudo exerce forte influência sobre as políticas educacionais, sobre os currículos das instituições que fazem parte do processo e sobre o futuro profissional dos jovens candidatos, evidenciando a importância de examinar as diversas variáveis envolvidas na construção, aplicação e pontuação dessa avaliação.

As avaliações em larga escala comumente fazem uso de um banco de itens, que pode ser definido como uma base de dados de itens relacionando alguns elementos de cada item, como o enunciado, os parâmetros, o conteúdo avaliado, entre outros.17

Os parâmetros dos itens podem ser estimados pela TCT, mas ela apresenta algumas limitações. A principal delas é que suas medidas são dependentes do instrumento de medida utilizado (prova) e das pessoas avaliadas. Esse tipo de instrumento pode causar incertezas e erros no processo de seleção dos candidatos, pois nos concursos em geral para provimento de vagas a seleção é obtida com base nos escores brutos alcançados pelos candidatos nas provas, que são simplesmente a contagem das questões respondidas corretamente.18, 19 Isso significa que a nota alcançada por um candidato não depende somente de sua capacidade, mas também do nível de dificuldade da prova. Assim, a comparação entre respondentes só pode ser feita se estes foram submetidos ao mesmo instrumento.17, 20

Uma alternativa à TCT muito utilizada atualmente em todo o mundo na elaboração de avaliações em larga escala é a Teoria da Resposta ao item (TRI), que consiste em modelos matemáticos desenvolvidos para representar as relações entre as características individuais do respondente (habilidades), e as características do item (dificuldade, discriminação, acerto ao acaso).

Na TRI, a relação existente entre a probabilidade de um indivíduo responder corretamente a um item e os parâmetros desse item é uma função crescente denominada curva característica do item (CCI). A figura 1 ilustra a curva característica de um item considerado eficiente.21

Curva característica do item.Fonte: BILOG-MG.<cross-ref><sup>21</sup></cross-ref>

Figura 1. Curva característica do item.Fonte: BILOG-MG. 21

O parâmetro b é uma medida da dificuldade do item e é dado na mesma unidade da habilidade (eixo horizontal). É possível observar na figura 1 que quanto maior a habilidade do candidato, maior é a probabilidade (eixo vertical) de ele responder corretamente ao item. A escala utilizada é a (0,1), ou seja, a média é igual a zero e o desvio padrão igual a 1. Traçando-se uma linha vertical em uma habilidade, na interseção desta linha com a CCI obtém-se a probabilidade de um candidato com aquela habilidade responder corretamente ao item. Observe que quanto mais para a direita está a CCI, mais difícil é o item.

A TRI foi desenvolvida nos Estados Unidos em 1952 por Lord,22 e em 1960 na Holanda, por Rasch.23 Tal método passou a ser conhecido principalmente a partir do ano de 1968, com o trabalho de Lord e Novick intitulado Statistical Theories of Mental Tests Scores.24

Alguns exemplos atuais de avaliação em larga escala que utilizam a TRI em seus bancos de itens são o Graduate Record Examination (GRE), Scholastic Assessment Test (SAT), Test of English as a Foreign Language (TOEFL),17 Programa Internacional de Avaliação de Alunos (PISA),25 a Prova Brasil,26 Sistema de Avaliação da Educação Básica (SAEB),27 ENEM,14 entre outros.

Utilizando os modelos fornecidos pela TRI, os itens são elaborados para avaliar cada traço latente e, a partir desses, pode-se ter a descrição de cada item com alguns de seus parâmetros, tais como o traço latente avaliado, índice de discriminação, nível de dificuldade, probabilidade de acerto ao acaso. Na TRI, o processo de estimação dos parâmetros dos itens é conhecido como calibração.20

Algumas vantagens da unificação dos processos de seleção aos programas de RM por meio de um banco de itens calibrados segundo a TRI são:

  • Utilizar itens pré-testados: os itens são classificados quanto à dificuldade, à discriminação, à probabilidade de acerto ao acaso, entre outros. Itens com problemas na elaboração são descartados.

  • Elaborar uma escala única de habilidades: os parâmetros dos itens e as habilidades dos respondentes são colocados em uma escala comum, tornando possível a comparação entre candidatos e entre os parâmetros dos itens, mesmo se provenientes de provas ou grupos distintos.

  • Permitir a mobilidade de estudantes: possibilita que candidatos participem do processo de seleção em sua cidade de origem, sem a necessidade de deslocamento para a localidade da instituição pretendida. Esta também é uma forma de democratizar o acesso, não priorizando o egresso local em detrimento dos candidatos de fora.

  • Elaborar várias edições do exame de seleção: testes equivalentes são organizados à medida da necessidade. Os candidatos são classificados em uma escala única, assim é possível evitar vagas ociosas até mesmo nas instituições de regiões menos favorecidas.

  • Análises mais aprofundadas: é possível uma análise qualitativa dos itens e da população respondente, a partir das respostas dos indivíduos.

  • Orientar o ensino: provocar a uniformização dos currículos de todos os cursos de graduação em medicina do país.

As entidades de classe, o governo e os estudiosos apontam a necessidade de mudanças para a RM e particularmente à sua forma de acesso como foi destacado anteriormente neste artigo. Espera-se, assim, que a criação de um banco de itens para ser aplicado de forma unificada aos exames de seleção para a RM, calibrados segundo a teoria da resposta ao item, proporcione um ganho de qualidade substancial aos processos atuais de seleção, atendendo à demanda das instituições por uma seleção mais eficiente e também às necessidades do SUS quanto à redistribuição de profissionais no território nacional.

Resultados

Atualmente, as provas de seleção para os programas de RM são elaboradas e aplicadas de forma descentralizadas, e cada instituição é responsável por sua avaliação. Especialistas questionam a qualidade dessas provas, sua subjetividade e a falta de equidade, uma vez que muitas dessas vagas não são igualmente disputadas pelos candidatos locais e pelos vindos de outros centros.2, 12

As instituições responsáveis pelos programas de RM não costumam disponibilizar em seus sites oficiais os relatórios com estudos sobre a qualidade dos itens de suas provas, ou sobre a validade e a confiabilidade de seus instrumentos. Aliás, no Brasil, o número de pesquisas sobre as avaliações em larga escala ainda pode ser considerado limitado. Pesquisadores da área de avaliação criticam tanto a escassez de trabalhos sobre a problemática das avaliações brasileiras, descartados sem avaliação sobre sua validade, confiabilidade ou os impactos que exercem no ensino e na sociedade, quanto a deficitária divulgação oficial dos resultados desses exames por parte dos órgãos responsáveis.28, 29

Essa escassez de estudos sobre as avaliações em larga escala no Brasil resulta na pouca transparência dos processos envolvidos na elaboração, correção e pontuação dos exames. Outro fator também relacionado a essa pobre literatura é a falta de recursos e de outros apoios provenientes dos órgãos responsáveis e do governo, capaz de subsidiar e incentivar pesquisas sobre essas avaliações.

Problemas com a qualidade e a dificuldade dos itens são comuns e podem ser detectados apenas após a aplicação do instrumento.18, 19, 20, 30, 31 É por esse motivo que se exige a aplicação de pré-testes na construção de um banco de itens. De fato, Garcia et al.,32 na elaboração de um banco de itens para avaliar os conteúdos escolares na Espanha, excluíram cerca de 25% dos itens, número similar ao alcançado durante a construção do banco Hezinet, um sistema multimídia usado para ensino da língua basca para estrangeiros.30 O ENEM, em sua metodologia para a construção do banco de itens e constante seleção de novos itens para fazer parte deste banco, aplica pré-testes de modo sistemático a alunos de segundo grau em todo o país.26

Discussão

Problemas com itens em provas de concursos em larga escala como os vestibulares, concursos públicos ou exames de seleção para a RM são frequentes, mas poucos são noticiados na imprensa ou nos sites das instituições responsáveis. Os candidatos são informados apenas dos itens anulados por problemas conceituais. Problemas com a qualidade dos itens, como a discriminação, a dificuldade ou a probabilidade de acerto ao acaso normalmente não são divulgados. Também não é comum a divulgação de estudos sobre a validade e a confiabilidade dos instrumentos utilizados nessas seleções.

Estudos comprovam que normalmente são excluídos entre 20-25% de itens de um instrumento, por problemas conceituais ou por serem ineficientes quanto à discriminação. Um banco de itens desenvolvidos utilizando-se corretos procedimentos pedagógicos, pré-testados antes de comporem o instrumento de avaliação, exerce uma grande vantagem, com qualidade muitas vezes superior às provas tradicionais que fazem parte da seleção aos programas de RM.

Para se elaborar um bom instrumento de avaliação, devem-se analisar os itens em termos pedagógicos, quantitativos e qualitativos. Essas análises devem verificar se a avaliação atende aos objetivos e aos critérios de validade e confiabilidade. Os modelos da TRI permitem maior flexibilidade no processo de elaboração de testes e na análise das respostas dadas pelas pessoas avaliadas, além de resultar em uma classificação mais justa e coerente.18, 19, 20, 31

Todo esse procedimento da elaboração de itens e aplicação de pré-testes para compor um grande banco de itens calibrados segundo a TRI encontra-se estabelecido e bem-definido desde a reformulação do ENEM, em 2009.14 O ENEM ocupa hoje um lugar de destaque no setor educacional brasileiro por sua contribuição na democratização do acesso ao ensino superior, unificando esse acesso para um grande número de universidades brasileiras.26

O conhecimento adquirido na experiência do ENEM, replicado na seleção unificada aos programas de RM, poderia proporcionar um ganho de qualidade substancial aos processos atuais, atendendo à demanda das instituições por uma seleção mais eficiente e também às necessidades do SUS quanto à redistribuição de profissionais no território nacional.

Conclusão

Um dos problemas enfrentados pela educação médica está na expansão do número de cursos sem garantias mínimas de qualidade da formação.1, 3 A qualidade educacional requer avaliações sistemáticas e metas pré-estabelecidas. A avaliação é importante em todo sistema de ensino, provocando transformações necessárias e monitoramento do ensino e da aprendizagem.28, 33, 34

Além disso, a proposta da unificação da prova de seleção para a RM poderia servir também para avaliar os cursos de graduação em Medicina. Ainda, pela possibilidade que os modelos da TRI fornecem de comparar testes diferentes, e com eles comparar também os indivíduos que respondem aos testes, estas avaliações poderiam fornecer dados para muitos estudos, inclusive os longitudinais.

Outro problema destacado na literatura específica é a má distribuição de médicos especialistas nas diversas regiões do país. O médico desempenha uma função essencial para a assistência à saúde da população, mas o país enfrenta problemas graves quanto à desassistência em algumas regiões isoladas dos grandes centros.1, 5, 7, 13 Nesse sentido, as ações políticas devem ser direcionadas para a formação qualificada de médicos especialistas, de acordo com as necessidades de saúde de cada região do país. As propostas de mudanças nos exames de acesso da RM sempre são citadas pelos especialistas como uma das formas para o enfrentamento desse problema.7, 10, 11

Como no ENEM,14 que objetiva selecionar com qualidade os candidatos às vagas das Instituições de Ensino Superior, a adoção de uma prova unificada pelos programas de RM permitirá que os candidatos concorram às vagas oferecidas pelo conjunto de instituições com essa categoria de ensino, promovendo também uma mobilidade regional.

Conflitos de interesse

Os autores declaram não haver conflitos de interesse.


☆ Estudo realizado na Universidade Estadual de Londrina, Londrina, PR, Brasil.

Recebido 15 Fevereiro 2013
Aceito 30 Junho 2013

Autor para correspondência. sonialopes@uel.br

Bibliografia

1. Michel JLM, Oliveira RAB, Nunes MPT. Residência médica no Brasil. In: Cadernos da ABEM;2011. v.7. Rio de Janeiro: Associação Brasileira de Educação Médica;2011.
2. Nunes MPT, Michel JLM, Haddad E, Brenelli SL, Haddad DM, Ribeiro ECO, Petta HL. Distribuição de vagas de residência médica e de médicos nas regiões do país. In: Cadernos da ABEM, v. 7, out. 2011. Rio de Janeiro: Associação Brasileira de Educação Médica;2011.
3. Massuda A, Cunha FM, Petta H. Residência médica: contribuições dos médicos residentes ao debate. Rev Assoc Med Bras. 2007;53(2):96-7.
Medline
4. Nunes MPT. Os 3 grandes desafios da Residência Médica. CREMESP: Conselho Regional de Medicina do Estado de São Paulo;2010. ed. 53.
5. Petta HL. Formação de médicos especialistas no SUS: descrição e análise da Implementação do Programa Nacional de Apoio à Formação de Médicos Especialistas em Áreas Estratégicas (Pro-residência) [Dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública Sérgio Arouca –IPEA. 2011.
6. Avery DM, Wheat JR, Leeper JD, Mcknight JT, Ballard BG, Chen J. Admission Factors Predicting Family Medicine Specialty Choice: A Literature Review and Exploratory Study Among Students in the Rural Medical Scholars Program. J Rural Health. 2012;28(1):128-36.
Medline
7. Campos FE, Machado MH, Girard NS. A fixação de profissionais de saúde em regiões de necessidades. Divulg Saúde Debate. 2009;13-24.
8. Leão PBOS, Martins LAN, Menezes PR, Bellodi PL. Well-being and help-seeking: an exploratory study among final-year medical students. Rev Assoc Med Bras. 2011;57(4):379-86.
Medline
9. Lourenção LG, Moscardini AC, Soler ZASG. Saúde e qualidade de vida de médicos residentes. Rev Assoc Med Bras. 2010;56(1):81-91.
Medline
10. Silva RB, Pinealt R. Impact of physician distribution policies on primary care practices in rural Quebec. Can J Rural Med. 2012;17(3):92-8.
Medline
11. Ximenes JAF, Silva MGC. Residência médica em otorrinolaringologia no Ceará em 2003: oferta de vagas e perfil da concorrência. Rev Bras Otorrinolaringol. 2006;72(6):826-30.
12. Propostas aprovadas no XII Enem: Formação Médica –Residência médica. XII Encontro Nacional de Entidades Médicas. Brasília (DF), 28 a 30 jul. 2010 [citado 23 set 2012]. Disponível em: http://medico.cfm.org.br/enem/index.php/pre-enem/29-tema-i–formacao-medica/69-residenciamedica.
13. Corrêa NA. Caracterização da procura por especialidades médicas dos candidatos ao Concurso SUS –SES/SP entre 1999 e 2004 [dissertação]. São Paulo: Faculdade de Medicina, Universidade de São Paulo;2008.
14. Exame Nacional do Ensino Médio [citado 18 ago 2010]. Disponível em: http://www.enem.inep.gov.br/.
15. Ribeiro MAA. Apontamentos sobre Residência Médica no Brasil. Brasília (DF): Câmara dos Deputados –Consultoria Legislativa;2011. Biblioteca Digital Câmara [citado 23 set 2012]. Disponível em: http://bd.camara.gob.br.
16. Secretaria de Educação Superior. Comissão Nacional de Residência Médica. Resolução n. 3, 16 set. 2011.
17. Moreira Junior FJ. Sistemática para implantação de testes adaptativos informatizados baseados na teoria da resposta ao item [Tese]. Florianópolis: Faculdade de Engenharia Produção. Universidade Federal de Santa Catarina. 2011.
18. Andriola WB. Doze motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior (IFES). Ensaio: Aval Pol Públ Educ. 2011;19(70):107-25.
19. De Ayala RJ. The theory and practice of item response thery. New York: The Guilford Press;2009.
20. Andrade DF, Tavares HR, Valle RC. Teoria da resposta ao item: conceitos e aplicações. SINAPE. 2000.
21. Zimowski MF, Muraki E, Mislevy RJ, Bock RD. Bilog-MG. Lincolnwood: Scientific Software Inter-national. 2002.
22. Lord FMA. A theory of test scores Psychometric Monograph. 1952.
23. Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhag: Danish Institute for Educational Research. 1960.
24. Lord FMA, Novick NR. Statistical Theories of mental test scores. Massachusetts: Addison Weslley;1968.
25. Programa Internacional de Avaliação de Alunos (PISA) [citado 23 set 2012]. Disponível em:http://www.enem.inep.gov.br/internacional.
26. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira –INEP [citado 22 ago 2012]. Disponível em: http://www.inep.gov.br.
27. Sistema Nacional de Avaliação da Educação Básica –SAEB [citado 1 set 2012]. Disponível em: http://www.inep.gov.br/saeb/.
28. Scaramucci MVR. Efeito retroativo da avaliação no ensino/aprendizagem de línguas: o estado da arte. Trab Ling Aplic Campinas. 2004;43(2):203-26.
29. Vianna HM. Avaliações nacionais em larga escala: análises e propostas. Estudos em Avaliação Educacional, n. 27, jan-jun;2003.
30. Cuadrado JL, Pérez TA, Vadillo JA, Gutiérrez J. Calibration of an item bank for the assessment of Basque language knowledge. Comput Educ. 2010;55(3):1044-55.
31. Embretson SE, Reise SP. Item response theory for psychologist. Mahwah: Lawrence Erlbaum Associates;2000.
32. García EGJ, Rodriguez G. Elaboración de un TAI sobre contenidos escolares. En: Olea J., Ponsoda V., Prieto G., editors. Tests informatizados: Fundamentos y aplicaciones. Madrid: Pirámide;1999.
33. Nunes MPT, Martins ACS, Machado VR. Avaliação do Sistema RM: instituição, programa, residente, corpo docente. In: Cadernos da ABEM, v. 7, out. 2011. Rio de Janeiro: Associação Brasileira de Educação Médica;2011.
34. SisCNRM: Sistema da Comissão Nacional de Residência médica [citado 14 set 2012]. Disponível em: http://portal.mec.gov.br/index.php?id=12233&option=com_content&task=view.