LLM을 더 강하게 밀어붙이면 실제로 효과가 있는 이유

사이드 프로젝트에 AI를 활용하는 방법을 고민해왔습니다. 위챗 공개 계정(WeChat public account)도 써봤지만, 솔직히 월 AI 구독료도 못 건졌어요. 소설 프레임워크도 짜봤는데 첫 장이 마음에 들지 않더군요. 그러다 문득 AI를 주식 트레이딩에 활용해보면 어떨까 싶어서 오늘의 경험으로 이어졌습니다.

분명히 말씀드리자면, AI 주식 트레이딩이 효과가 있다는 뜻도 아니고 이 방법을 추천하는 것도 아닙니다. 오늘 Claude Max를 구독해서 넉넉한 할당량을 활용해 완전한 AI 보조 시스템을 구축해보려는 것뿐이고, 차트 작성은 그중 한 부분일 뿐입니다. 이 시스템이 실제로 주식으로 돈을 벌게 해줄지는 – 나중에 대박 나면 그때 다시 이 프레임워크를 살펴보기로 하죠.

그런데 버그 하나에 막혔습니다. 찬 이론(Chan Theory) 의 ‘획(stroke)’ 끝점이 캔들스틱의 고점과 저점에 정확히 정렬되어야 하는데, AI가 그린 차트는 계속 어긋나더군요.

세 번이나 수정을 요청했고, 매번 AI가 “수정했습니다"라고 말했지만 차트를 열어보면 여전히 틀려 있었습니다.

그러다 예전에 본 PUA 스킬(Skill)이 떠올랐습니다. Kashen도 추천했던 거죠. 항상 농담이라고 생각했어요 – “대기업 직장 압박"으로 AI를 PUA한다고? 말도 안 된다고 생각했죠.

하지만 어쩔 수 없이 시도해봤습니다.

그런데 한 번에 고쳐졌습니다!

먼저, 효과를 확인해보죠

먼저 수정 전 차트를 보세요. 획의 끝점과 캔들스틱의 고점/저점 사이에 확연한 차이가 있습니다:

PUA 스킬을 사용한 후, AI가 문제를 다시 분석했고, 수정 결과는 이렇습니다:

끝점이 이제 캔들스틱의 최고점과 최저점에 직접 정렬되었습니다. 이전 세 번의 시도로 해결되지 않던 문제가 PUA 스킬 한 번에 해결된 겁니다.

실제로 무슨 일이 일어났을까?

대화 중에 AI에게 이렇게 말했습니다:

PUA 스킬을 사용해서 스스로 동기부여하고, 진짜 문제가 무엇인지 확인해봐.

그러자 AI가 PUA 스킬을 로드하고 스타일이 확 바뀌었습니다. 먼저 스스로 “화웨이 스타일"을 선택한 다음, RCA 5-Why 근본 원인 분석(RCA 5-Why Root Cause Analysis) 이라는 방법론을 실행했습니다.

간단히 말해, “왜"를 다섯 번 연속으로 묻는 겁니다:

1. 왜 획 끝점이 캔들스틱 고점/저점과 정렬되지 않았나? → 차트의 좌표가 원본 캔들스틱과 일치하지 않았음.
2. 왜 일치하지 않았나? → 극점을 찾는 코드가 ±3개 캔들스틱 범위 내에서만 찾았는데, 실제 차이는 3개를 훨씬 넘을 수 있었음.
3. 왜 차이가 그렇게 컸나? → 캔들스틱 병합 후 여러 개가 하나로 합쳐져서 인덱스가 어긋났음.
4. 왜 이전 세 번의 수정이 실패했나? → 차트 코드만 계속 수정하고 데이터 자체가 올바른지 검증하지 않았음.
5. 근본 원인은 무엇인가? → 데이터 검증 없이 코드를 무작정 수정했음.

근본 원인을 찾은 후 AI의 접근 방식이 완전히 바뀌었습니다. 코드를 급하게 수정하지 않고, 먼저 데이터 세트를 출력했습니다 – 획 끝점의 실제 좌표와 원본 캔들스틱의 실제 고점/저점을 비교한 것입니다:

up end: orig_idx=185, snap±3=188:4025, true_extreme±10=194:4179
→ Off by 6 candlesticks and 154 points!

데이터가 드러나자 문제가 명확해졌습니다. ±3개 캔들스틱 검색 범위가 턱없이 부족했던 겁니다. AI는 고정 반경 대신 “인접한 획 사이의 완전한 구간에서 극점 검색” 방식으로 변경했습니다. 수정 후 세 개의 차트 모두 한 번에 올바르게 생성되었습니다.

이전 세 번의 실패에서는 AI가 매번 코드를 직접 수정하고 “수정했습니다"라고 말한 뒤 끝냈습니다. 이번에는 달랐습니다 – 먼저 진단하고, 검증한 후에야 조치를 취했습니다.

이런 행동 변화의 원인은 무엇일까요? 바로 PUA 스킬입니다.

PUA 스킬이란?

한 문장으로 설명: AI에 ‘대기업 직원’ 페르소나를 부여해서 대기업 방법론으로 일하게 만드는 것입니다.

GitHub URL: https://github.com/tanweai/pua

농담 같은 프로젝트처럼 들리지만, 실제로는 매우 완벽한 도구 세트를 포함하고 있습니다.

13가지 ‘스타일(flavor)‘을 지원하며, 각각은 특정 대기업의 문화 스타일에 해당합니다:

여기서 핵심은: 각 스타일은 말투만 바뀌는 것이 아니라 문제 해결 방법론 자체가 바뀐다는 점입니다.

게다가 ‘방법론 라우터’가 있어서 현재 작업 유형에 따라 가장 적합한 방법론을 자동으로 선택합니다. 제 경우에는 디버깅 시나리오였기 때문에 자동으로 화웨이 스타일의 RCA 근본 원인 분석을 선택했습니다. 새 기능을 개발하는 경우라면 머스크 스타일의 첫 번째 원리를 선택했을 겁니다. 코드 리뷰라면 잡스 스타일의 먼저 빼기를 선택했겠죠.

사용자가 선택할 필요 없이 AI가 스스로 결정합니다.

왜 우스워 보이는데 실제로 효과가 있을까?

많은 사람들이 “AI를 PUA한다"는 말을 보고 농담이라고 생각합니다. 저도 처음에는 그렇게 생각했어요. 하지만 사용해보니 효과가 있는 데는 그만한 이유가 있다는 것을 깨달았습니다.

“진지하게 임해"를 구체적인 단계로 바꾸기

AI에게 “신중하게 생각해” 또는 “철저히 확인해"라고 말하면 효과가 있을까요?

아마 없을 겁니다. AI는 “신중하게"가 구체적으로 어떤 행동을 의미하는지 모르기 때문입니다. 동료에게 “진지하게 해"라고 말하는 것과 같아서, 알겠다고 말하지만 여전히 같은 방식으로 일합니다.

PUA 스킬은 “진지하게 해"라고 말하지 않습니다. 이렇게 말합니다: “화웨이 RCA 5-Why 근본 원인 분석을 실행해”, “데이터로 먼저 진단하고 코드를 수정하지 마”, “Blue Army 자가 공격을 통해 네 해결책이 틀렸다고 가정해”.

각 문장은 추상적인 태도 요구가 아니라 구체적인 실행 단계입니다.

신입 사원에게 “잘해"라고 말하는 대신 SOP 매뉴얼을 주는 것과 같습니다 – A를 먼저 하고, B를 한 다음, C 후에 체크리스트로 확인하라고. AI가 이런 구체적인 지시를 받으면 실행 효과가 완전히 달라집니다.

세 가지 레드라인이 ‘가짜 완료’를 차단

PUA 스킬에는 넘을 수 없는 세 가지 레드라인이 있습니다:

1. 검증되지 않음 = 완료 아님 — “수정했습니다"라고 말하기 전에 테스트를 실행하고 출력 결과를 붙여넣어야 함.
2. 데이터 없음 = 해결되지 않음 — “환경 문제일 수도 있습니다"라고 말하기 전에 검증했는가? 아니면 추측인가?
3. 다 해보지 않음 = 포기하지 마 — “해결할 수 없습니다"라고 말하기 전에 모든 방법을 시도했는가?

제 이전 세 번의 실패를 돌아보면, 매번 AI가 코드를 수정하고 검증 없이 “수정했습니다"라고 말했습니다. 만약 그 레드라인이 있었다면, AI는 차트를 실행하고 끝점 위치를 비교하도록 강제되었을 것이고, 첫 번째 시도에서 문제가 여전히 있다는 것을 발견했을 겁니다.

이 세 가지 레드라인은 “대기업 조직 문화"처럼 들리지만, 본질적으로 “완료"의 정의를 “내가 고쳤다고 생각함"에서 “데이터가 고쳐졌음을 증명함"으로 바꿉니다.

실패는 재시도가 아닌 방법 전환

일반적으로 AI가 세 번 시도해도 문제를 고치지 못하면, 네 번째 요청에도 같은 접근 방식을 사용할 가능성이 높아서 같은 함정에서 계속 맴돌게 됩니다.

PUA 스킬은 다릅니다. 실패 전환 체인이 있습니다: 연속 실패 후 자동으로 다른 방법론으로 전환합니다.

원래 방법이 안 됨 → 머스크 스타일의 첫 번째 원리로 전환, 요구 사항 자체에 의문 제기 → 그래도 안 됨 → 화웨이 스타일의 Blue Army 역공격으로 전환, 네 해결책이 틀렸다고 가정 → 그래도 안 됨 → 아마존의 Dive Deep으로 전환, 데이터 수준에서 분석.

각 전환은 이전 방법의 보완재입니다 – 문제를 완전히 다른 각도에서 바라보게 하며, 같은 길을 고집하지 않습니다.

제 사례가 전형적이었습니다. 처음 세 번은 AI가 계속 차트 코드만 수정했는데, 이는 “같은 접근 방식을 반복적으로 시도"한 것이었습니다. PUA 스킬이 개입한 후에는 데이터 진단으로 바로 전환했습니다 – 먼저 코드를 수정하지 말고, 데이터가 올바른지 먼저 확인하라고. 각도가 바뀌자 근본 원인이 즉시 드러났습니다.

프롬프트의 행동 제약이 실제로 효과가 있다

어떤 분들은 AI에 “P8"이라는 라벨을 붙이면 실제로 더 잘할까? 사이비 과학 아니냐고 물을 수 있습니다.

사이비 과학이 아닙니다. AI가 무엇을 하고 어떻게 하는지는 모두 프롬프트에 쓰여진 내용에 달려 있습니다. PUA 스킬은 단순한 직함뿐만 아니라 완전한 행동 제약 세트를 주입합니다:

• 무언가를 하기 전에 “내가 아직 생각하지 못한 것은 무엇일까?” 자문하기
• 문제를 해결할 때 비슷한 문제도 존재하는지 확인하기
• 사용자가 지적할 때까지 기다리지 말고 능동적으로 문제 찾기

이러한 제약은 프롬프트에 작성되어 있으며, AI는 응답을 생성할 때마다 이를 참조합니다.

예를 들어: 신입에게 ‘프로젝트 리더’라는 직함을 주는 것만으로는 효과가 없을 수 있습니다. 하지만 ‘프로젝트 리더 행동 매뉴얼’ – 언제 보고할지, 무엇을 확인할지, 어떻게 인수할지 – 도 함께 주면 행동 패턴이 실제로 바뀝니다. PUA 스킬이 바로 후자를 하는 것입니다.

설치 및 사용 방법

설치

GitHub에서 다운로드: https://github.com/tanweai/pua

전체 폴더를 ~/.claude/skills/pua/에 넣고, SKILL.md가 해당 경로에 있는지 확인하세요.

API Key를 설정하거나 추가 종속성을 설치할 필요가 없습니다. 그냥 넣기만 하면 바로 사용할 수 있습니다.

사용법

방법 1: 직접 호출

Claude Code에서 다음을 입력하세요:

/pua

AI가 PUA 스킬을 로드하고 대기업 모드로 전환합니다. 그 후에는 평소처럼 요청하면 AI가 자동으로 방법론에 따라 작업합니다.

방법 2: 대화 중 트리거

특별히 호출할 필요 없이 대화 중에 직접 말하면 됩니다:

Use the PUA Skill to motivate yourself

또는 더 직접적으로:

You got it wrong again. Can you be more careful?

PUA 스킬은 이러한 “사용자 불만” 표현을 인식하고 자동으로 활성화되도록 설계되었습니다.

방법론 라우터

“스타일"을 수동으로 선택할 필요가 없습니다. PUA 스킬이 현재 작업 유형에 따라 자동으로 매칭합니다:

• 디버깅? → 화웨이 스타일 RCA 근본 원인 분석
• 새 기능 작성? → 머스크 스타일 첫 번째 원리
• 코드 리뷰? → 잡스 스타일 먼저 빼기
• 리서치? → 바이두 스타일 검색 우선

물론 수동으로 지정할 수도 있습니다. 예를 들어 “이 작업은 알리바바 스타일로 해줘”.

요약

AI를 PUA한다는 것은 실제로 조종하는 것이 아닙니다. 껍데기는 우습지만, 그 안의 방법론은 효과적입니다.

오늘 배운 점:

1. PUA 스킬이란? — AI에 대기업 방법론과 행동 제약을 주입하는 스킬로, 13가지 기업 문화 ‘스타일’을 지원합니다.
2. 왜 효과가 있는가? — 모호한 “진지하게 해"를 구체적인 실행 단계로 바꾸고, 레드라인으로 가짜 완료를 차단하며, 실패 시 방법론을 자동 전환합니다.
3. 핵심 원리 — 심리적 암시가 아니라 프롬프트의 구조화된 지시가 효과를 냅니다. 방법론 구체화 + 행동 제약 + 강제 검증 루프.
4. 사용 방법 — 다운로드하여 ~/.claude/skills/pua/에 넣고, /pua를 입력하거나 대화 중에 직접 트리거합니다.

핵심 포인트:

• AI가 자주 “고치고 또 고치거나” “고쳤다고 말하지만 실제로는 안 고쳐진” 경우, PUA 스킬을 시도해보세요.
• 본질적으로 AI에 SOP 세트를 설치하는 것입니다 – 먼저 진단하고, 검증한 후에 조치를 취하도록.
• 오픈 소스 무료, 설정 불필요, 그냥 넣고 사용하면 됩니다.

실전 시나리오: 완전한 재현 가능 사례