이전 장에서는 Anthropic의 여러 새로운 기능을 다뤘습니다. 한편, OpenAI는 아직 새 모델을 출시하지 않았지만(오랫동안 예고됨) 활발히 움직이고 있습니다. 주목할 만한 업데이트 중 하나는 Codex가 이제 컴퓨터 제어를 지원하며, 그 방식이 다르다는 점입니다.
저는 Codex와 Claude Code의 컴퓨터 사용 기능을 모두 시험해봤습니다. AI에게 WeChat 메시지를 보내달라고 요청했습니다. Codex는 성공했지만, Claude는 실패했을 뿐만 아니라 WeChat 계정에서 로그아웃까지 시켰습니다.
먼저 두 기능의 설정 및 테스트 과정을 설명하고, 왜 이런 차이가 발생하는지 설명하겠습니다.
Codex 설정 및 사용 경험
Codex 데스크톱 앱을 사용했습니다. 진입점은 ‘설정’에 있습니다. 먼저 왼쪽 메뉴에서 ‘Computer Use’를 클릭한 후 오른쪽에서 Computer Use 플러그인을 체크합니다.
그런 다음 채팅 인터페이스로 돌아가 Codex에 작업을 지시합니다. 예를 들어 ‘Obsidian을 열고 새 파일을 만든 후 제목을 ‘Codex 앱 자동 제어로 작성됨’으로 설정해’와 같이 말이죠.
Enter를 누르면 Codex가 먼저 권한 요청 팝업을 띄우며 Obsidian 제어를 허용할지 묻습니다. ‘허용’을 클릭하세요. 소프트웨어가 위험이 낮다면 왼쪽의 ‘항상 허용’을 체크할 수도 있습니다.
처음으로 Computer Use를 활성화하는 경우 Mac 시스템 수준의 인증 대화상자가 나타나며 손쉬운 사용 및 스크린샷 권한을 요청합니다. 둘 다 ‘허용’을 클릭하세요.
‘허용’을 클릭하면 페이지가 리디렉션됩니다. 시스템 설정에 ‘Codex Computer Use’가 없다면 팝업 아래 배너에서 아이콘을 위 목록으로 드래그하세요. 이미 있다면 토글만 켜면 됩니다. 둘 다 허용하는 것을 잊지 마세요.
권한이 설정되면 Codex가 Obsidian을 열고 새 파일을 만든 후 제목을 작성합니다. 빠르게 완료되며 제목은 요청한 대로 정확히 설정됩니다.
다음으로 난이도를 높여봅시다: Codex에게 WeChat을 조작하여 연락처에 메시지를 보내도록 요청합니다.
시작 후 화면에서 그림자가 있는 작은 파란색 마우스 커서가 천천히 움직이는 것을 볼 수 있습니다. 이것이 Codex가 작동 중인 모습입니다. 이 세부 사항은 나중에 유용하니 기억해두세요.
메시지를 작성한 후 확인을 위해 일시 중지됩니다. ‘보내기’라고 답하고 Enter를 누르면 메시지가 전송됩니다.
전체 과정에 오류가 없었습니다. Codex 작동 중 WeChat이 정상적으로 작동했으며 계정이 로그아웃되지 않았습니다.
Claude 설정 및 사용 경험
Claude의 경우 Claude Code 터미널 버전을 사용했습니다. 터미널에서 /mcp를 입력하고 내장된 computer-use 옵션을 활성화합니다.
Claude에게 동일한 작업을 요청합니다. 먼저 Obsidian으로 파일을 작성해봅니다. 이 테스트는 Codex와 마찬가지로 통과했으므로 스크린샷은 생략합니다.
그다음 WeChat을 시도합니다.
작업을 보낸 지 몇 초 만에 문제가 발생했습니다. Claude가 WeChat을 조작하지 못했습니다. 여러 번 클릭해도 작동하지 않았고, WeChat이 이를 감지하여 로그아웃시켰습니다!
단순한 작업 실패가 아니었습니다. WeChat이 비정상적인 조작을 감지하여 리스크 컨트롤을 발동시켰고, 강제로 재로그인하게 했습니다.
Codex는 작동하고 Claude는 작동하지 않는 이유
처음에는 Claude의 computer-use가 불안정하다고 생각했습니다. 그런데 Codex 스크린샷을 다시 보니 — 그림자가 있는 작은 파란색 마우스 커서를 기억하시나요? 답이 바로 거기에 있었습니다.
구현 메커니즘이 다릅니다.
Codex가 작동할 때는 실제로 마우스 커서를 대상 위치로 이동시킨 후 클릭합니다. 화면에서 커서의 이동 궤적을 볼 수 있습니다. 이동하고, 멈추고, 클릭하는 과정은 본질적으로 사람이 마우스를 사용할 때와 동일한 이벤트 순서입니다.
Claude는 다른 방식을 사용합니다. 좌표를 지정한 ‘클릭’ 이벤트를 직접 합성하여 대상 창으로 전송합니다. 커서는 전혀 움직이지 않고 즉시 클릭합니다. 이 방법은 빠르고 커서 이동을 기다릴 필요가 없지만, 애플리케이션 입장에서는 매우 독특한 특징을 가집니다. 이동 궤적 없이 좌표로 순간이동하는 ‘마우스 클릭’은 사람의 손으로는 만들어낼 수 없습니다.
Codex: 실제 마우스 움직임을 시뮬레이션하므로 애플리케이션이 AI임을 알 수 없습니다. Claude: 클릭 이벤트를 직접 합성하므로 WeChat과 같은 안티 치트 기능이 있는 앱에서 쉽게 감지할 수 있습니다.
일반 데스크톱 애플리케이션은 어느 방법이든 상관하지 않으므로 Claude는 Obsidian에서 잘 작동합니다. 하지만 WeChat과 같이 계정 보안 시스템이 있는 앱은 자동화 특성을 적극적으로 스캔합니다. 감지되면 리스크 컨트롤을 발동시키는데, 제 스크린샷에 나온 ‘계정 보안을 위해 다시 로그인해 주세요’가 바로 그 상황입니다.
Anthropic의 현재 computer-use 구현은 합성 이벤트 방식을 따릅니다. 장점은 속도이고, 단점은 자동화를 적극적으로 감지하는 애플리케이션을 속일 수 없다는 점입니다.
사용 권장 사항
사용 사례별로 나누어 보겠습니다.
Codex 사용처: WeChat, QQ, 온라인 뱅킹, 기업용 IM, 게임 등 자동화 방지 기능이 내장된 소프트웨어 조작. Codex의 실제 마우스 방식이 유일한 선택입니다.
Claude 사용처: 일반 데스크톱 애플리케이션 조작 — Obsidian, 메모장, Finder, 디자인 소프트웨어 등. 이러한 앱은 실제 마우스 사용 여부를 신경 쓰지 않으며, Claude는 커서 이동을 기다릴 필요가 없어 더 빠르고 효율적입니다.
제가 직접 시도해봤습니다. 결과는 계정이 강제로 로그아웃되어 다시 스캔하여 로그인해야 합니다. 피해는 작지만 짜증납니다.
전반적으로, 제 개인적인 느낌으로는 컴퓨터 제어 기능이 다소 과시용입니다. 아직 실제로 사용할 이유를 찾지 못했습니다. 하지만 미래에는 가능성이 있습니다.
따라서 이 장은 기능에 대한 간략한 소개일 뿐입니다.