Split-Brain 상황에서 발생하는 중복 이벤트

분산 시스템의 골칫거리 스플릿 브레인 현상 이해하기

현대 IT 인프라에서 시스템의 안정성은 무엇보다 중요합니다. 우리가 매일 사용하는 은행 앱, 온라인 쇼핑몰, SNS 서비스는 멈추지 않고 24시간 운영되어야 합니다. 이를 위해 서버들은 여러 대가 서로 연결되어 상태를 공유하는 클러스터 형태로 운영됩니다. 하지만 네트워크 장애나 예기치 못한 하드웨어 오류가 발생하면, 시스템이 마치 두 개의 독립된 뇌를 가진 것처럼 행동하는 스플릿 브레인 현상이 발생합니다. 이 현상은 단순히 시스템을 멈추게 하는 것을 넘어 데이터의 중복과 불일치를 유발하여 비즈니스에 치명적인 타격을 입힙니다.

스플릿 브레인이란 무엇인가

스플릿 브레인은 분산 시스템에서 네트워크 연결이 끊어지면서 클러스터의 노드들이 서로를 ‘죽었다’고 판단하고, 각자 자신을 시스템의 주인(Master)으로 선언하는 상태를 말합니다. 예를 들어 A와 B라는 두 서버가 서로의 상태를 확인하며 운영되다가 중간 네트워크가 차단되면, A는 B가 죽었다고 생각하고 혼자 서비스를 운영하려 합니다. 동시에 B 역시 A가 죽었다고 판단하고 혼자 서비스를 운영하게 됩니다. 이 과정에서 두 서버 모두 쓰기 작업을 수행하게 되면 데이터의 중복과 충돌이 발생합니다.

왜 스플릿 브레인이 위험한가

• 데이터 무결성 훼손: 서로 다른 서버에서 동일한 데이터에 대해 각기 다른 업데이트를 수행하면 데이터의 일관성이 깨집니다.

• 서비스 중단 및 복구 비용 증가: 중복된 데이터를 수동으로 대조하고 병합하는 과정에서 막대한 시간과 비용이 소모됩니다.
• 사용자 경험 악화: 사용자는 자신이 방금 처리한 작업이 다른 서버의 데이터와 충돌하여 사라지거나 왜곡되는 황당한 경험을 하게 됩니다.

중복 이벤트 발생의 메커니즘과 유형

스플릿 브레인 상황에서 발생하는 데이터 문제는 크게 세 가지 유형으로 분류할 수 있습니다.

1. 이중 쓰기 현상

두 개의 마스터 서버가 서로 인지하지 못한 채 동일한 키 값에 대해 데이터를 쓰려고 할 때 발생합니다. 데이터베이스 관점에서는 마지막에 쓴 데이터가 기존 데이터를 덮어쓰거나, 양쪽 데이터가 모두 유효한 것처럼 기록되어 나중에 합칠 때 큰 혼란을 줍니다.

2. 이벤트 순서 뒤바뀜

분산 시스템에서는 이벤트의 발생 순서가 매우 중요합니다. 스플릿 브레인 상황에서는 A 서버에서 발생한 이벤트와 B 서버에서 발생한 이벤트가 네트워크 복구 후 재동기화될 때, 실제 발생 시간과 다르게 기록될 수 있습니다. 이는 결제 처리나 재고 관리 시스템에서 치명적인 오류를 일으킵니다.

3. 고스트 업데이트

네트워크가 끊긴 상태에서 특정 서버가 작업을 수행했지만, 나중에 네트워크가 복구되었을 때 해당 작업이 유효하지 않은 것으로 간주되어 삭제되거나 롤백되는 경우입니다. 사용자는 작업이 완료되었다고 생각하지만 실제로는 반영되지 않는 상황이 발생합니다.

실무에서 활용하는 대응 전략과 기술적 팁

스플릿 브레인을 100% 방지하는 것은 어렵지만, 피해를 최소화하는 전략은 존재합니다. 다음은 엔지니어들이 주로 사용하는 실용적인 방어 기제입니다.

쿼럼 기반의 의사결정

전체 노드 중 과반수 이상(Majority)이 연결되어 있을 때만 마스터 역할을 수행하도록 설정하는 방법입니다. 예를 들어 노드가 3개라면 2개 이상이 연결되어야만 쓰기 권한을 갖습니다. 노드가 2개라면 1개만 남았을 때 자동으로 서비스가 중지되도록 설계하여 데이터 불일치를 원천 차단합니다.

펜싱 기술 도입

스플릿 브레인 발생 시, 살아남은 서버가 문제가 있는 다른 서버를 물리적 혹은 논리적으로 격리하는 기술입니다. 전원을 강제로 차단하거나 네트워크 포트를 폐쇄하여, 문제가 생긴 서버가 더 이상 데이터에 접근하지 못하도록 합니다.

멱등성 설계의 중요성

시스템 수준의 방어뿐만 아니라 애플리케이션 수준에서도 대비해야 합니다. 이벤트 처리를 멱등성(Idempotence) 있게 설계하세요. 동일한 요청이 여러 번 들어와도 결과값은 한 번만 반영되도록 고유 ID를 부여하고, 이미 처리된 요청인지 체크하는 로직을 구현하는 것이 가장 비용 효율적인 예방책입니다.

흔한 오해와 진실

오해: 네트워크를 더 좋은 장비로 바꾸면 해결된다

진실: 네트워크 성능을 높여 장애 확률을 줄일 수는 있지만, 물리적인 단절을 완벽하게 예방할 수는 없습니다. 인프라의 개선보다 시스템 아키텍처의 설계가 훨씬 중요합니다.

오해: 모든 데이터를 즉시 동기화하면 해결된다

진실: 실시간 동기화는 성능을 급격히 저하시킵니다. 분산 시스템에서는 ‘결과적 일관성(Eventual Consistency)’ 모델을 받아들이고, 충돌이 발생했을 때 이를 해결하는 정책을 세우는 것이 현실적입니다.

전문가가 제안하는 운영 가이드라인

시스템 운영팀은 항상 최악의 상황을 가정해야 합니다. 다음은 현업 전문가들이 권장하는 체크리스트입니다.

• 심장 박동(Heartbeat) 체크 주기를 최적화하세요. 너무 짧으면 불필요한 장애 감지가 잦아지고, 너무 길면 장애 대응이 늦어집니다.
• 자동 복구보다는 안전한 중단을 선택하세요. 데이터가 오염되는 것보다 시스템이 잠시 멈추는 것이 비즈니스 관점에서는 복구 비용이 훨씬 적게 듭니다.
• 분산 데이터 저장소(Zookeeper, etcd 등)를 활용하세요. 이러한 도구들은 이미 스플릿 브레인을 방지하기 위한 쿼럼 알고리즘이 내장되어 있어 직접 구현하는 것보다 훨씬 안정적입니다.
• 로그 기록을 철저히 하세요. 장애 발생 시점의 로그는 나중에 중복된 데이터를 식별하고 수정하는 유일한 단서가 됩니다.

비용 효율적인 장애 대응 방법

대규모 인프라를 갖추기 어려운 스타트업이나 소규모 서비스에서는 다음과 같은 가성비 높은 접근 방식을 고려해보세요.

• 클라우드 매니지드 서비스 이용: AWS RDS나 Google Cloud Spanner와 같은 매니지드 데이터베이스는 이미 스플릿 브레인 방지 로직이 적용되어 있습니다. 직접 인프라를 구축하는 것보다 관리 비용과 리스크를 획기적으로 줄일 수 있습니다.
• 비동기 메시지 큐 도입: Kafka나 RabbitMQ와 같은 메시지 큐를 사용하여 이벤트 처리를 비동기로 수행하면, 서버 간 직접적인 충돌을 완화하고 장애 발생 시 이벤트 재처리가 가능해집니다.
• 수동 복구 절차의 문서화: 자동화가 완벽하지 않다면, 장애 발생 시 어떤 순서로 데이터를 대조하고 복구할지 명확한 매뉴얼을 만들어 두는 것이 큰 도움이 됩니다.

자주 묻는 질문과 답변

질문: 스플릿 브레인이 발생했는지 어떻게 알 수 있나요?

답변: 시스템 모니터링 툴을 통해 동일한 서비스가 두 군데 이상의 노드에서 마스터 모드로 동작하고 있다는 경고를 확인하거나, 데이터베이스의 타임스탬프가 비정상적으로 튀는 현상을 통해 발견할 수 있습니다.

질문: 중복된 데이터를 발견하면 어떻게 처리하는 것이 가장 좋나요?

답변: 가장 먼저 해당 데이터를 격리하고, 비즈니스 로직상 최신 상태를 유지하는 쪽을 선택해야 합니다. 이때 ‘Last Write Wins(마지막 쓰기가 승리)’ 전략을 사용할지, 아니면 사용자에게 확인을 요청할지 사전에 정의된 정책을 따라야 합니다.

질문: 단일 서버로 운영하면 스플릿 브레인 문제는 없나요?

답변: 네, 단일 서버는 스플릿 브레인 문제가 발생하지 않습니다. 하지만 단일 장애점(SPOF)이 되어 서버가 죽으면 서비스 전체가 중단됩니다. 따라서 가용성과 일관성 사이에서 적절한 균형점을 찾는 것이 핵심입니다.

분산 시스템을 다루는 것은 마치 줄타기와 같습니다. 스플릿 브레인은 그 과정에서 만날 수 있는 가장 까다로운 장애 중 하나입니다. 이를 완벽하게 피하려 하기보다는, 장애가 발생했을 때 시스템이 스스로를 안전하게 보호하고 관리자가 빠르게 복구할 수 있는 환경을 만드는 것이 진정한 의미의 고가용성 시스템을 구축하는 길입니다. 오늘 제시해 드린 기술적 원리와 대응 전략을 바탕으로 여러분의 시스템이 더욱 견고해지기를 바랍니다.