ChatGPT는 코딩 테스트를 통과할 수 있을까?
코딩 테스트를 ChatGPT한테 시키면 과연 풀어줄까 궁금증이 생겼습니다. 저는 이미 간단한 유틸 함수나 소소한 영감들을 이 친구(?)에게 도움받고 있었거든요.
프로그래머스에 들어가서 가장 어려운 lv.5 난이도의 javascript 문제를 뒤져 봅니다.
첫 번째로 보이는 "쿼리의 모음의 개수"로 시작해 보겠습니다.
최고 난이도답게 설명부터 상당히 난해합니다. 하지만 저는 이 문제를 이해하려 하지 않을 겁니다. 모든 것은 ChatGPT가 스스로 하도록 내용만 전달할 겁니다.
위 문제 설명을 그대로 복사해서 ChatGPT에 던져주도록 하겠습니다.
ChatGPT가 몇 초 동안 대기하더니 이내 다음과 같은 대답을 내놓습니다.
뭔가 대단해 보이는 설명으로 문제의 의도를 파악하고 풀이법을 정리해 나가는 모습이 신기하네요. 한 번 복사해서 붙여 넣어보겠습니다.
??? 에러가 났다. 선언되지도 않은 queries라는 변수를 인식할 수 없다는 이야기 같습니다.
당연히 한 번에 통과할 거라 기대하진 않았으니까... 테스트 케이스를 몇 가지 알려주고 이를 토대로 다시 작성해 보도록 했습니다.
그러자 다시 함수를 만들어 주는 모습입니다.
테스트 케이스도 통과한다는 함수를 만들어줬습니다. 다시 복사해서 테스트해 보겠습니다.
에러는 나지 않았지만 하나도 통과하는 케이스가 없었습니다. 뭔가 이상하지만 줄 수 있는 정보를 모두 줘보도록 하겠습니다. 테스트 케이스에 대한 설명도 추가로 알려주도록 해보겠습니다.
그러자 테스트 케이스에 대한 설명을 참고해서 다시 만들어 줍니다.
다시 복사해서 해보겠습니다.
여전히 갈피를 못 잡고 있습니다. 아무래도 정보 전달이 잘 못 된 것 같습니다. 마지막 정보를 주도록 해보겠습니다.
다시 한번 답을 내놓는 ChatGPT.
??? 갑자기 sql? 자바스크립트로 바꿔서 다시 만들어달라고 요청했습니다.
마지막... 다시 복사해서 테스트해 보겠습니다.
음.. 아직 AI는 갈 길이 먼가 봅니다. 여기서 제가 정보를 상세히 전달해 주면 더 좋은 성능이 나오겠지만, 여기서는 단순 복붙만으로 테스트할 의도였기에 여기까지 하도록 하겠습니다.
세 줄 요약
- lv.5의 최고 난이도 코딩 테스트를 풀지는 못했다. (프로그래머스 기준)
- 단순히 코드만을 내뱉는 게 아닌 도출하는 과정, 보완 시 기존 코드의 문제점, 새 코드에서 반영한 점, 동작하는 방식 등을 전부 설명해 준다.
- 위 1, 2로 미루어 보아 시간이 지나면 풀 게 될지도 모른다.