Resolvemos a última prova da OAB com o ChatGPT (versão de agosto do GPT-3.5). O app foi capaz de responder 76 questões em menos de 25 minutos, quando alcançou o limite de mensagens por hora. Em função disso, foi necessário entrar com outro usuário para terminar a prova. Uma vez completadas as questões, o resultado na primeira fase do Exame 38 da OAB foi:
- 79 questões resolvidas (pois 1 foi anulada);
- 49 respostas corretas;
- 30 respostas erradas; ou seja
- 62% de acerto.
Isso equivale à aprovação na primeira fase da OAB, pois o mínimo é de 50% de acertos.
Estas são as matérias nas quais o ChatGPT reprovou:
- Ética Profissional
- Direito Eleitoral
- Direito Penal
- Direito Processual do Trabalho
Estas são as matérias nas quais o ChatGPT (apenas) passou:
- Direito Previdenciário
- Direito Civil
- Direito Processual Penal
- Direito Processual Civil
- Direito Empresarial
- Direito Administrativo
- Direito do Trabalho
- Direito Tributário
- Direito Constitucional
Por fim, estas são as matérias nas quais o ChatGPT foi muito bem:
- Direito Internacional
- Direito Financeiro
- Direitos Humanos
- Código de Defesa do Consumidor
- Estatuto da Criança e do Adolescente
- Filosofia do Direito
- Direito Ambiental
Com esses resultados, parece que o ChatGPT não é suficientemente confiável para o seu estudo. De outro lado, em algumas áreas, ele já parece bastante bom. Quem sabe numa próxima versão o ChatGPT se torne mais confiável em todos os campos.
