다섯 조언자 회의록으로 클로드의 맞장구 걸러 내기

2. 다섯 조언자가 각각 보는 것

다섯 명은 일부러 서로 부딪히게 골랐어요. 한 사람이 못 보는 곳을 다른 사람이 보라는 뜻이에요.

• 반대론자는 이 결정이 실패할 이유만 찾아요. 무엇이 가장 먼저 무너지는지 알려 줘요.
• 첫 원리 사고가는 내 질문 속에 숨은 가정을 뜯어봐요. 애초에 질문이 잘못됐다고 말하기도 해요.
• 확장론자는 내가 놓친 기회를 찾아요. 잘되면 얼마나 커질 수 있는지 봐요.
• 바깥사람은 이 분야를 전혀 몰라요. 그래서 안에 있는 사람이 더는 묻지 않는 질문을 던져요.
• 실행가는 전략 대신 이번 주에 할 일만 말해요.

그리고 회의는 세 단계로 흘러가요. 다섯 명이 따로 답하고, 서로의 답을 이름을 가린 채 평가하고, 의장이 모든 걸 읽고 결론을 내려요.

3. 회의록은 의장 결정부터 읽어요

회의록은 길어요. 처음부터 다 읽지 말고 맨 아래 3단계 의장의 최종 결정부터 보세요. 거기에 결정 하나, 가장 강한 이유, 가장 큰 위험, 7일 안에 할 일이 모여 있어요.

그다음 마음에 걸리는 대목이 있으면 위로 올라가 그 말을 한 조언자의 답을 읽어요. 2단계 평가에서 순위가 높게 나온 답은 다른 조언자들도 설득력 있다고 본 답이에요. 평가 끝에는 “답 A = 실행가”처럼 어느 답이 누구였는지 공개돼요.

그냥 물었을 때와 무엇이 다를까

그냥 물으면 클로드 한 명이 답 하나를 줘요. 관점도 하나라서 방향은 알려 주지만, 그 답을 누가 반박했는지는 알 수 없어요.

이 프롬프트로 물으면 다섯 조언자의 답, 이름을 가린 서로 평가, 의장의 결정 하나, 7일 안에 할 일까지 한 번에 받아요. 결론이 같은 쪽으로 나오더라도, 그 결론에 닿는 동안 반대 의견과 놓친 기회가 먼저 다 나와요.

막힐 때

영상에서 말한 “한 줄”은 위 프롬프트를 통째로 붙여 넣는 거예요. “다섯 조언자로 답해 줘”라는 말만 치면 클로드가 다섯 역할을 마음대로 정하고, 이름을 가린 평가와 의장 결정이 빠진 답을 줘요. 제가 직접 쳐 봤더니 그랬어요. 프롬프트 전문을 붙여 넣어야 회의록이 나와요.

예전 대화 내용이 답에 섞여요. 시크릿 채팅으로 새로 열어 보세요. 시크릿 채팅은 기록과 검색에 남지 않아요.

알고 쓰면 좋은 한계

이 방법은 채팅 하나 안에서 클로드 한 모델이 다섯 역할을 모두 맡아요. 그래서 이름을 가린 평가도 같은 모델이 하는 거예요. 원래 이 아이디어는 안드레이 카파시의 LLM Council에서 왔는데, 거기서는 서로 다른 AI 모델 여러 개가 각자 답하고, 누구 답인지 모른 채 서로를 평가해요. 진짜 여러 모델의 회의를 원하면 원조 저장소를 보세요. 다만 이건 직접 설치해야 해요.

다음 한 걸음

자주 쓴다면 매번 프롬프트를 찾아 붙이지 말고 프로젝트 지침이나 스킬로 저장해 두세요. 여기서는 프로젝트 지침으로 저장하는 방법을 보여 드릴게요. claude.ai 왼쪽 사이드바의 “프로젝트”에서 프로젝트를 하나 만들고, 그 프로젝트의 지침 칸에 위 프롬프트를 붙여 넣어요. 그다음부터는 그 프로젝트 안에서 새 채팅을 열고 고민 한두 문장만 적으면 돼요.

아래 한 장은 위 프롬프트 전문이에요. 휴대폰에 저장해 두고 필요할 때 보세요.

참고한 곳

• Science 논문 aec8352: AI 모델 11개가 사람보다 49% 더 자주 사용자가 옳다고 답했다는 연구
• 같은 연구의 arXiv 사전 공개판: 위 논문을 누구나 무료로 읽을 수 있는 판
• 카파시 LLM Council 저장소: 여러 AI 모델이 이름을 가린 채 서로 평가하는 원조 방법
• Unsplash 사진: 창가의 회의 탁자 사진, Benjamin Child, Unsplash 라이선스