AI가 만든 폼, 완료 화면에 무엇이 남았을까?

AI로 만든 가상 신청 폼 하나를 자동화 도구로 조건마다 두 번씩 시험했다. 평가한 경로에서는 최초본도 완료 화면에 도달했지만 입력값이 표시되지 않았다. 한 번의 코드 수정으로 그 정보가 추가됐다. 사용자 성공률이나 AI의 일반적 능력을 검증한 결과는 아니다. 실제 200% 확대는 시험하지 못했고, 한국어 화면의 키보드 조건에도 미평가 단계가 남았다.

개념 일러스트이며 실제 시험 화면이나 확대 성공의 증거가 아니다.

공식 설명과 이 글의 구분: 도달·조작·확대

W3C의 키보드 기준 해설은 기능을 키보드로 조작할 수 있어야 한다고 설명한다. 이 글에서는 버튼에 도달하는 것, 지금 키보드로 조작할 위치인 ‘초점’을 보는 것, 실제 작동을 구분한다.

텍스트 확대 해설은 자막과 텍스트 이미지를 제외하고 텍스트를 200%까지 확대해도 내용과 기능을 잃지 않아야 한다고 설명한다. 이 글의 화면 폭 축소는 그 확대 시험을 대신하지 못한다. WAI의 간단 점검 안내도 일부 점검을 통과해도 접근성 장벽이 남을 수 있다고 설명한다. 이들은 기준 해설·점검 안내이며, 이 폼의 적합성 판정이 아니다.

관찰: 화면 도달과 입력값 표시를 따로 봤다

2026년 9월 27일의 목표 경로는 입력→검토→완료였다. 이름을 비우고 이메일에 invalid를 넣어 거절시킨 뒤, 연습 참가자 또는 Demo Participant와 demo@example.com으로 바로잡았다. 폼 안 ‘뒤로’로 돌아가 오전을 오후로 바꾸는 것을 시도하고, 변경이 확인된 경로에서 제출했다. 모두 합성 자료다.

최초본은 B0, 한 번 코드를 수정한 것은 B1이다. 생성 설정은 명령줄 도구 Codex CLI gpt-6-astra, 추론 강도 high로 기록됐다. 의미에 맞는 HTML과 보이는 항목 이름을 미리 요구했다. 별도 폴더를 썼지만 도구가 물려받은 맥락·실제 모델 설정을 생성 응답만으로 독립 확인하지는 못했다.

자동화는 macOS의 화면 없는 Chrome 153.0.8010.53과 Node v24.19.0/Playwright를 사용했다. 페이지 내부 구조(DOM)를 읽어 조작 대상을 찾았으므로 사람이 화면만 보고 조작한 시험이 아니다. 포인터 조건도 선택 상자를 클릭한 뒤, 포인터 조작에 상당하는 프로그램 명령 selectOption으로 값을 골랐다. 키보드 조건에서 막힌 조작을 포인터로 대신한 경우는 B0·B1 각각 키보드 실행 0/8회다. 키 입력 경로의 시각 확인은 일부뿐이다.

표의 각 행은 B0·B1 각각 두 번씩이다. 기본 폭은 화면 배치 단위인 CSS 픽셀로 1280×900, 좁은 폭은 640×900이다. 기록의 M100은 포인터·입력, K100은 기본 폭 키보드, K200은 좁은 폭 키보드라는 이름일 뿐 실제 확대나 글자 확대가 아니다.

‘기준’은 DOM에서 완료 화면의 이름·이메일·오후 선택과 로컬 데모·미전송 문구를 확인하는 것이다. 표의 충족 수는 화면 도달 수나 사람의 성공률이 아니다. 한국어 화면의 키보드 조건도 앞선 입력·오류 수정·뒤로 이동은 검사했다.

각 행의 두 반복은 같았다. 버전당 12회 중 평가한 8회에서 B0도 완료 화면에 도달했지만 이름·이메일·오후 선택이 없었다. 로컬 데모·미전송 문구는 있었다. 완료 화면의 입력값 재표시는 기획과 평가 기준에 있었지만 최초 생성 요청에서 빠졌다. B0가 받은 지시를 어긴 것은 아니다. B1은 그 정보를 추가해 평가한 8/8회에서 기준을 충족했다. 입증된 변화는 이 정보 추가이며, 키보드·확대 장벽 해결이 아니다.

B0·B1 각각 오류 거절·바로잡기·첫 검토·뒤로 이동은 DOM 확인상 12/12회였다. 정답 입력값을 정해 둔 자동화여서 사람이 오류 안내를 이해해 바로잡았다는 증거는 아니다. 값 보존은 각각 44/44지점이었다(선택 변경까지 간 8개 경로×4지점, 오후를 선택하지 못한 한국어 화면의 키보드 4개 경로×3지점). 오후 검토는 각각 8/12회로, 포인터 상당 조작 4/4회와 영어 화면에서 앞글자 Af를 쳐 Afternoon을 고른 키보드 조작 4/4회다.

한국어 화면의 키보드 4/4회는 두 버전 모두 선택 변경이 미평가다. 자동 입력한 ArrowDown(아래 방향키)과 End로 값이 바뀌지 않았고, 도구가 지원하지 않는 한글 앞글자 선택은 건너뛰었다. Space·ArrowDown·Enter 뒤 오전인 채 검토로 이동해 중단했다. 최종 제출은 아니며, 뒤의 Alt+ArrowDown 대체 절차는 실행되지 않았다. 기록은 오후 선택과 이후 완료를 시험 도구·환경 제약에 따른 미검사로 분류한다. 이는 원인을 확정한 진단이 아니며 앱의 키보드 결함이나 정상 작동 어느 쪽도 입증하지 않는다.

시험 도구도 고쳤고, 보지 못한 화면도 남았다

표의 결과는 시험 도구를 세 번 고친 뒤 얻었다. 앞선 세 묶음은 각각 12/12회, 총 36회 중단돼 분모에서 제외했다. 첫 묶음은 도구가 ‘시간’을 영역과 선택 상자 중 어디에 연결할지 정하지 못한 6회와 선택 변경 중단 6회, 두 번째는 선택 변경 중단 12회, 세 번째는 완료 정보 불일치 8회와 한국어 선택 미해결 4회다. 세 번째의 8회는 뒤에 평가한 B0와 같은 기준의 불일치를 관찰한 것이지만 채점에 합산하지 않았다. 모두 가짜 앱 실패였다는 뜻은 아니다.

도구는 선택 상자를 우선하도록 바뀌었고 앱의 ‘시간’ 이름 중복은 바꾸지 않았다. 이것이 음성 조작 등에 미치는 영향은 미검사다. 과거 이메일이 오후가 된 것은 초점 이동 뒤 키 입력이 이메일 칸에서 이어진 도구 오류로 분류됐으며, 이동한 정확한 순간은 기록에 없다. 앱의 값 손실로 세지 않았다. 생성 AI의 자체 브라우저 확인도 처음에는 실행에 실패해 화면을 검증하지 못했다.

시각 검토는 당시 조정자 Claude(Opus 5.5)가 후보 10장 중 4장을 본 기록이다. 영어 완료, 영어 좁은 폭 선택 상자·완료, 한국어 좁은 폭 첫 오류가 해당한다. 마지막 화면에는 이름 초점 테두리와 두 오류가 보였다. 영어 기본 폭 완료의 재시작 테두리는 아래쪽이 일부 잘렸지만 조정자는 식별 가능하다고 판단했다. 좁은 폭 선택 상자 테두리도 화면 아래 가장자리에 닿았다. B0 완료를 포함한 나머지 6장과 다른 상태의 가독성·초점·가림은 미확인이다. B0의 누락 값은 이 네 장의 시각 판정이 아닌 DOM 평가 결과다. 가로 넘침은 B0 0/910, B1 0/902개 자동 측정에서 검출됐지만, 이것이 모든 화면의 가독성을 뜻하지는 않는다.

앱 수정은 허용한 세 번 중 한 번, 생성 요청은 네 번 중 두 번을 사용했다. 정해 둔 완료 정보→입력 정보 손실→초점·배치 순위에 따라, 평가한 B1 정보 누락은 해소됐고 남은 중단은 도구·환경으로 분류돼 B2·B3를 실행하지 않았다. 제한적으로 본 이미지도 추가 수리가 필요한 장벽으로 판정되지 않았다. 미확인 화면·한국어 선택·테두리 관찰은 남아 있으며 무결함 판정은 아니다.

생성·수정 응답 합계는 6분 33초, 첫 생성부터 B1 시험 종료까지는 1시간 52분 59초다. 전체 작업시간·사람의 수행시간·생산성은 측정하지 않았다. 추가 지출 한도는 0달러였지만 실제 청구액·토큰 비용은 미확인이다. 별도로 보관한 영문 실험 기록에 요청문과 제외 시도·반복별 근거가 연결돼 있다.

판단과 다시 쓸 점검표

내 편집상 판단은 ‘완료’에 필요한 표시값을 생성 요청부터 구체적으로 적자는 것이다. 이 사례에서는 기획에 있던 요구가 전달되지 않았고, 명시적으로 요청한 뒤 평가 가능한 경로에 표시됐다. 이 한 구현의 변화가 독자에게도 같은 효과를 보장하지는 않는다.

실제 확대와 중간 배율, 320 CSS 픽셀 폭에 맞춰 내용을 배치하는 별도 재배치 시험, 화면낭독기 음성, 한글 입력기 조작, 다른 브라우저·모바일, 장애인 사용자 경험은 미검사다. 미전송 문구 확인도 네트워크 감사는 아니다. 유예됐던 Grok 기획·인터뷰 검토는 2026년 10월 5일 수행·판정했다. 실험 전 자료에 대한 사후 편집 검토이며 실행 결과의 독립 검증은 아니다.

다음은 기획 절차를 이 글에서 줄인 기록용 점검표다. 효과가 검증된 도구나 인증표가 아니다. ‘예/아니요/미검사’와 화면·값·막힌 위치를 적는다. 첫 항목인 실제 확대는 이번 실험에서 미검사다.

이 글은 AI를 활용해 자료 조사와 초안 작성을 보조했으며, 작성자가 최종 원고를 검토하고 수정 방향을 결정했습니다.