Consensus 없이 Exactly-Once가 어려운 이유

분산 시스템에서 Exactly Once가 어려운 이유

현대 IT 서비스에서 데이터의 정확성은 생명과 같습니다. 은행 계좌에서 돈을 이체할 때 0.5번만 처리되거나 2번 처리된다면 어떤 일이 벌어질까요? 우리는 이를 방지하기 위해 ‘Exactly-Once(정확히 한 번)’라는 개념을 사용합니다. 하지만 분산 시스템 환경에서 이를 구현하는 것은 엔지니어들에게 가장 어려운 난제 중 하나로 꼽힙니다. 왜 ‘정확히 한 번’이라는 단순해 보이는 목표가 기술적으로는 그토록 달성하기 어려운지, 그 본질적인 이유와 실무적인 해결책을 상세히 살펴보겠습니다.

분산 환경에서 발생하는 문제의 본질

분산 시스템은 여러 대의 컴퓨터가 네트워크를 통해 통신하며 하나의 작업을 수행합니다. 여기서 Exactly-Once가 어려운 이유는 크게 두 가지 불확실성 때문입니다. 첫째는 네트워크의 불확실성이고, 둘째는 개별 노드의 장애 가능성입니다.

네트워크는 언제든 끊길 수 있습니다. 데이터를 보냈는데 응답이 오지 않는다면, 데이터가 전송 중에 유실된 것인지, 아니면 전송은 성공했지만 응답이 유실된 것인지 알 수 없습니다. 이런 상황에서 시스템은 재시도(Retry)를 선택하게 되는데, 이 재시도가 바로 중복 처리의 원인이 됩니다. 반대로 시스템이 다운되면 처리하던 작업이 중간에 멈추게 되고, 이를 복구하는 과정에서 데이터가 누락될 위험이 생깁니다. 즉, 네트워크와 하드웨어의 불완전함이 정확히 한 번이라는 목표를 방해하는 핵심 요소입니다.

합의 알고리즘 없이 Exactly Once가 불가능한 이유

많은 사람이 단순히 데이터베이스 트랜잭션만 잘 사용하면 Exactly-Once가 가능할 것이라고 생각합니다. 하지만 여러 서버에 걸쳐 있는 데이터라면 이야기가 달라집니다. 여러 노드가 서로 다른 상태를 가지고 있을 때, 무엇이 ‘정확한 상태’인지 결정하려면 모든 노드가 동일한 결론에 도달해야 합니다. 이를 ‘합의(Consensus)’라고 합니다.

합의 과정이 없다면 A 서버는 작업이 성공했다고 믿고 B 서버는 실패했다고 믿는 ‘분할 뇌(Split-brain)’ 현상이 발생합니다. 분산 시스템에서 데이터의 일관성을 유지하려면 누군가는 리더가 되어 순서를 정하거나, 다수결을 통해 결정을 내려야 합니다. Consensus 알고리즘(예: Paxos, Raft) 없이 Exactly-Once를 보장하려 하면, 시스템은 네트워크 오류 시 일관성을 포기하거나 가용성을 포기해야 하는 CAP 이론의 한계에 부딪히게 됩니다.

흔한 오해와 진실

• 오해: 트랜잭션만 사용하면 무조건 안전하다.진실: 단일 데이터베이스 내에서는 맞지만, 마이크로서비스 아키텍처처럼 여러 시스템에 걸쳐 있는 작업에서는 트랜잭션만으로 해결되지 않습니다.

• 오해: 재시도를 무한히 하면 언젠가는 정확하게 처리된다.진실: 재시도는 중복 처리를 유발합니다. 중복을 방지할 수 있는 ‘멱등성(Idempotency)’ 설계가 선행되지 않으면 데이터 오염이 발생합니다.

• 오해: 분산 시스템에서는 Exactly-Once를 완벽하게 구현할 수 있다.진실: 분산 환경에서 완벽한 Exactly-Once는 이론적으로 불가능에 가깝습니다. 대신 ‘결과적 일관성’을 제공하거나, 멱등성을 통해 ‘논리적 Exactly-Once’를 구현하는 것이 실무적인 정답입니다.

실무에서 활용하는 멱등성 설계의 중요성

합의 알고리즘을 매번 사용하는 것은 시스템 성능을 매우 느리게 만듭니다. 그래서 전문가들은 합의 대신 ‘멱등성(Idempotency)’이라는 개념을 적극 활용합니다. 멱등성이란 같은 작업을 여러 번 수행해도 결과가 달라지지 않는 성질을 의미합니다.

멱등성을 활용한 실무 적용 팁

• 고유 요청 ID 발급: 모든 요청에 고유한 식별자(UUID)를 부여합니다. 서버는 이 ID를 기록해두고, 동일한 ID가 다시 들어오면 이미 처리된 작업으로 간주하여 무시합니다.
• 상태 확인 후 처리: 작업을 수행하기 전 현재 상태를 확인합니다. 예를 들어 결제 완료 상태라면 ‘결제 대기’ 요청이 들어와도 이를 거부합니다.
• 데이터베이스 유니크 제약조건 활용: 데이터베이스의 고유 키 설정을 통해 중복 데이터 삽입을 원천 차단합니다.

비용 효율적인 시스템 설계 전략

합의 알고리즘을 사용하는 분산 데이터베이스는 구축과 운영 비용이 매우 높습니다. 따라서 모든 데이터에 Exactly-Once를 적용하려 하지 마세요. 비즈니스 로직에 따라 우선순위를 나누는 것이 중요합니다.

데이터 중요도에 따른 설계 전략

금융 데이터와 같이 데이터 무결성이 핵심인 경우에는 분산 트랜잭션(2PC, SAGA 패턴 등)을 도입하는 것이 합리적입니다. 하지만 일반적인 사용자 로그나 통계 데이터라면 멱등성 설계만으로도 충분히 비용 효율적인 시스템을 구축할 수 있습니다.

전문가가 제안하는 분산 데이터 관리 철학

분산 시스템 전문가들은 “실패를 가정하고 설계하라”고 조언합니다. 네트워크는 항상 끊길 수 있고, 서버는 언제든 죽을 수 있다는 사실을 받아들이는 것에서부터 설계가 시작됩니다. Exactly-Once를 달성하려는 강박은 오히려 시스템을 복잡하게 만들고, 장애 발생 시 복구를 어렵게 만듭니다.

대신 ‘최소한 한 번(At-least-once)’ 처리를 기본으로 하고, 애플리케이션 레벨에서 이를 ‘정확히 한 번’처럼 보이게 만드는 것이 가장 성공적인 전략입니다. 예를 들어, 메시지 큐에서 메시지를 읽어올 때 중복이 발생할 수 있음을 인정하고, 처리하는 서비스에서 이미 처리한 메시지인지 확인하는 체크 로직을 넣는 방식입니다. 이렇게 하면 복잡한 합의 알고리즘 없이도 비즈니스 요구사항을 완벽하게 충족할 수 있습니다.

자주 묻는 질문과 답변

Q: 마이크로서비스 환경에서 데이터 일관성을 맞추려면 꼭 분산 트랜잭션을 써야 하나요?

A: 반드시 그렇지는 않습니다. 분산 트랜잭션은 성능 저하가 심합니다. 대신 SAGA 패턴과 같은 보상 트랜잭션 방식을 사용하여 단계별로 처리하고, 실패 시 이전 단계를 되돌리는 방식을 권장합니다.

Q: Exactly-Once를 구현할 때 가장 주의해야 할 점은 무엇인가요?

A: ‘상태’의 관리입니다. 여러 서버가 동시에 동일한 상태를 변경하려고 할 때 발생하는 경합 조건을 어떻게 제어할지가 핵심입니다. 낙관적 락(Optimistic Lock)을 사용하여 데이터의 버전을 체크하는 방식을 고려해 보세요.

Q: 시스템 복구 시 중복 처리를 완벽하게 막을 수 있나요?

A: 완벽한 차단은 어렵지만, 데이터베이스의 트랜잭션 격리 수준을 조정하고 멱등성 키를 활용하면 99.99% 이상의 정확도를 보장할 수 있습니다. 비즈니스적으로 허용 가능한 수준의 복구 정책을 세우는 것이 중요합니다.

결국 분산 시스템에서 Exactly-Once는 기술적인 완벽함보다는 운영상의 유연함과 비즈니스적인 타협점 사이에서 찾아가는 과정입니다. 합의 알고리즘의 무거운 비용을 감당할지, 아니면 멱등성을 통한 가벼운 설계를 선택할지 결정하는 것은 여러분이 다루는 데이터의 가치에 달려 있습니다. 오늘 살펴본 원리들을 바탕으로 각자의 서비스에 가장 적합한 데이터 정합성 전략을 수립해 보시길 바랍니다.