Consensus 없이 Exactly-Once가 어려운 이유

분산 시스템에서 Exactly Once가 왜 그토록 어려운가

현대 IT 시스템은 수많은 서버와 네트워크가 얽혀 작동하는 분산 환경입니다. 우리가 은행 앱에서 돈을 송금하거나, 이커머스에서 결제를 할 때 데이터는 여러 단계를 거쳐 이동합니다. 이때 가장 이상적인 데이터 처리 방식은 단 한 번만 정확하게 처리되는 Exactly-Once(정확히 한 번) 전달입니다. 하지만 분산 시스템에서 이를 완벽하게 구현하는 것은 매우 어렵습니다. 그 핵심적인 이유는 바로 Consensus(합의)라는 과정이 필수적이기 때문입니다. 왜 합의 없이는 정확한 처리가 불가능한지, 그리고 우리가 이를 위해 어떤 현실적인 타협을 하고 있는지 자세히 알아보겠습니다.

데이터 처리의 세 가지 유형

분산 시스템에서 데이터를 처리할 때 크게 세 가지 전달 보장 수준이 존재합니다.

• At-Least-Once(최소 한 번): 데이터가 유실되지 않도록 보장하지만, 네트워크 오류로 인해 중복 처리가 발생할 수 있습니다. 가장 구현하기 쉽고 널리 쓰입니다.

• At-Most-Once(최대 한 번): 데이터가 손실될 수 있지만, 절대 중복 처리는 발생하지 않습니다. 실시간 스트리밍이나 센서 데이터처럼 일부 유실이 허용되는 환경에서 사용합니다.
• Exactly-Once(정확히 한 번): 데이터가 유실되지도 않고 중복 처리도 되지 않는 이상적인 상태입니다. 시스템의 모든 구성 요소가 데이터 처리 상태에 대해 완벽하게 합의해야 가능합니다.

Consensus가 필요한 근본적인 이유

분산 시스템에서 Exactly-Once가 어려운 이유는 두 가지 핵심 문제 때문입니다. 바로 ‘네트워크의 불확실성’과 ‘시스템 상태의 분리’입니다. 네트워크는 언제든 끊길 수 있고, 데이터가 전송되었는지 확인하는 응답 자체가 유실될 수도 있습니다. 이때 발신자는 데이터가 잘 도착했는지 알 수 없으므로 불안한 마음에 데이터를 다시 보냅니다. 수신자 입장에서는 똑같은 데이터를 두 번 받게 되는데, 이를 중복으로 처리할지 말지 결정하려면 수신자와 발신자가 서로 ‘이 데이터는 처리되었다’는 사실을 실시간으로 공유하고 합의해야 합니다.

이 합의 과정(Consensus)은 비용이 많이 듭니다. 모든 노드가 동일한 상태를 유지하기 위해 통신을 반복해야 하기 때문입니다. 만약 합의 과정 없이 Exactly-Once를 구현하려 한다면, 누군가는 반드시 데이터 처리 상태를 보관하는 중앙 기록소를 만들어야 합니다. 하지만 그 중앙 기록소조차 장애가 발생할 수 있기 때문에, 결국은 다시 합의 알고리즘(Raft, Paxos 등)을 도입해야 하는 딜레마에 빠지게 됩니다.

실생활에서 마주하는 Exactly Once의 모습

우리가 사용하는 서비스들은 이 문제를 어떻게 해결하고 있을까요? 완벽한 Exactly-Once는 비용이 너무 크기 때문에, 대부분의 엔지니어는 ‘멱등성(Idempotency)’이라는 개념을 활용합니다.

멱등성이란 무엇인가

멱등성이란 연산을 여러 번 수행해도 결과가 달라지지 않는 성질을 의미합니다. 예를 들어, ‘잔액을 100만 원으로 변경해라’라는 명령은 10번 실행해도 잔액은 100만 원입니다. 반면 ‘잔액에 1만 원을 더해라’는 명령은 10번 실행하면 결과가 달라집니다. 분산 시스템에서는 후자를 전자의 방식으로 변환하여 중복 처리가 발생해도 최종 결과가 동일하게 유지되도록 설계합니다.

현실적인 구현 기법

• 고유 식별자 사용: 모든 트랜잭션에 고유한 ID를 부여합니다. 수신자는 이 ID를 이미 처리했는지 확인한 뒤, 처리했다면 무시하고 처리하지 않았다면 수행합니다.

• 상태 확인과 업데이트: 데이터를 처리하기 전 현재 상태를 확인하고, 특정 조건이 만족될 때만 업데이트를 수행하는 방식입니다.
• 트랜잭션 로그: 모든 단계의 상태를 로그로 남겨, 장애 발생 시 이전 상태로 복구하거나 중복을 걸러내는 기준점으로 삼습니다.

흔한 오해와 사실 관계

많은 이들이 Exactly-Once를 ‘시스템 자체가 마법처럼 중복을 막아주는 기능’으로 오해하곤 합니다. 하지만 전문가들은 이를 ‘시스템의 상태를 일관되게 유지하기 위한 복합적인 전략’이라고 설명합니다.

전문가의 조언: 완벽함보다는 실용성을 선택하세요

분산 시스템 설계 전문가들은 모든 곳에 Exactly-Once를 적용하려고 하지 말라고 조언합니다. 데이터가 단 한 번도 틀려서는 안 되는 금융 거래 같은 핵심 영역은 비용을 감수하고 합의 알고리즘과 멱등성을 철저히 구현해야 하지만, 로그 수집이나 일반적인 데이터 분석 작업에서는 At-Least-Once로 설계하고 후처리(Data Cleansing)를 통해 중복을 제거하는 것이 훨씬 비용 효율적입니다.

시스템을 설계할 때 스스로에게 질문해보세요. “이 데이터가 중복 처리되었을 때 비즈니스적인 치명타가 발생하는가?” 만약 그렇다면 멱등성을 보장하는 고유 키 설계를 최우선으로 고려해야 합니다. 만약 그렇지 않다면 복잡한 합의 과정을 생략하고 시스템의 응답 속도를 높이는 것이 더 나은 선택일 수 있습니다.

자주 묻는 질문과 답변

Q: Exactly-Once를 구현하기 위해 반드시 블록체인을 써야 하나요?

A: 아닙니다. 블록체인은 합의 알고리즘을 사용하지만, 일반적인 비즈니스 애플리케이션에서는 데이터베이스의 트랜잭션 기능이나 Kafka와 같은 분산 메시지 큐의 트랜잭션 기능을 활용하는 것만으로도 충분한 수준의 Exactly-Once를 구현할 수 있습니다.

Q: 중복 처리를 막는 가장 쉬운 방법은 무엇인가요?

A: 모든 요청에 클라이언트가 고유한 ‘요청 ID’를 생성해서 보내는 것입니다. 서버는 이 ID를 데이터베이스의 유니크 키로 저장하여 이미 처리된 요청인지 즉시 확인할 수 있습니다.

Q: 클라우드 환경에서는 이 문제가 더 심각한가요?

A: 클라우드 환경은 가상화된 네트워크를 사용하기 때문에 네트워크 지연이나 노드 간의 일시적인 통신 단절이 더 빈번할 수 있습니다. 따라서 클라우드 네이티브 환경에서는 멱등성 설계가 선택이 아닌 필수입니다.

비용 효율적인 활용 방법

시스템 자원을 절약하면서도 데이터 정확도를 높이는 효율적인 전략을 소개합니다.

• 데이터베이스 트랜잭션 활용: 가능한 한 데이터 처리와 상태 업데이트를 하나의 트랜잭션으로 묶으세요. 이를 통해 데이터 처리와 기록을 원자적(Atomic)으로 만들 수 있습니다.
• 지연 처리와 배치 작업: 실시간성을 조금 희생하더라도 데이터를 모아서 처리하면 중복 검사가 훨씬 쉬워집니다. 대량의 데이터를 정렬한 뒤 중복을 제거하는 것이 개별 처리보다 효율적입니다.
• 낙관적 락(Optimistic Locking) 사용: 데이터가 수정되는 동안 잠금을 걸지 않고, 업데이트 시점에 버전 정보를 확인하는 방식을 사용하면 시스템 성능 저하 없이 데이터 일관성을 지킬 수 있습니다.

결국 Exactly-Once는 단순히 기술적인 선택의 문제가 아니라, 비즈니스의 요구사항과 시스템의 성능 사이에서 균형을 찾아가는 과정입니다. 합의가 왜 어려운지 이해하고, 우리 시스템에 맞는 현실적인 타협점을 찾는 것이 진정한 분산 시스템 엔지니어링의 시작입니다.