확률적 추론과 결정론적 제어: AI 항공 시스템의 신뢰성 설계
생성형 AI의 유연함과 항공 안전의 엄격함 사이, '제안'과 '거부'를 분리하는 하이브리드 거버넌스 구조 분석
예전에 안전 필수(Safety-Critical) 시스템을 다루는 프로젝트에 참여했을 때였어요. 팀원 중 한 명이 최신 LLM을 활용해 장애 대응 가이드를 자동 생성하자고 제안하더라고요. 처음엔 “와, 이제 사람이 일일이 매뉴얼 안 찾아도 되겠네”라고 생각했죠. 하지만 곧 무서운 생각이 들었습니다. 만약 AI가 99번은 완벽하게 답하다가, 단 한 번 결정적인 순간에 그럴싸한 ‘환각(Hallucination)’을 내놓는다면 어떻게 될까요?
추천 엔진이 엉뚱한 상품을 추천하는 건 단순한 품질 문제지만, 항공기 제어나 의료 시스템과 같은 고위험 환경에서는 이러한 작은 실패가 치명적인 결과로 이어질 가능성이 있습니다 [3].
여기서 우리가 직면한 본질적인 문제가 나옵니다. 항공과 같은 고위험 도메인에서 AI는 스스로 판단하고 실행하는 ‘전문가’가 되어서는 안 됩니다. 대신, 결정론적 제어 계층(Deterministic Layer)이라는 엄격한 감시자의 검증을 받는 ‘제안자’로 설계되어야만 합니다.
하늘 위의 딜레마: 지능과 예측 가능성의 충돌
항공 시스템의 세계는 정말 보수적입니다. 비행 관리 시스템(FMS) 같은 핵심 컴퓨터는 항공기의 위치를 잡고 비행 계획을 가이드하며, 한 치의 오차도 허용하지 않는 정밀함과 예측 가능성을 생명으로 하죠 [8]. 그런데 여기에 요즘 핫한 LLM 같은 AI를 넣으려고 보니 근본적인 충돌이 발생합니다.
최신 AI들은 복잡한 상황을 분석하는 능력이 정말 뛰어납니다. 하지만 그 본질은 ‘확률적(Stochastic)’이에요. 즉, 다음에 올 가장 확률 높은 토큰을 선택하며 답을 만들어내는 구조죠. 문제는 우리가 항공 운영 제어(AOC) 같은 영역에서 원하는 결과는 ‘확률적인 정답’이 아니라 ‘결정론적인 확신’이라는 점입니다 [2].
현장의 엔지니어들이 가장 두려워하는 게 바로 이 지점이에요.
“the reliance on probabilistic models to produce deterministic outcomes”
(결정론적 결과를 내기 위해 확률적 모델에 의존하는 것) [2]
확률적 모델에 기반한 결정은 아무리 정확도가 높더라도 ‘비제로(non-zero)’의 실패 가능성을 항상 품고 있습니다. 99.9%의 성공률? 항공 안전에서는 그 0.1%가 곧 재앙이 될 수 있다는 뜻입니다.
보이지 않는 틈: ‘대개는 안전하다’는 말의 위험성
우리가 흔히 쓰는 확률적 제어 방식은 요청에 점수를 매겨서 “보통” 나쁜 요청을 걸러냅니다. 하지만 이건 진정한 의미의 ‘안전 장치’가 아니에요. 동일한 입력을 넣어도 온도(Temperature) 설정이나 샘플링 방식에 따라 결과가 달라질 수 있거든요.
반면, 규제 기관이나 감사자가 요구하는 건 “보통 이렇습니다”라는 확률이 아니라, 언제 어디서 누가 실행해도 똑같은 결과가 나오는 ‘재현 가능성’과 이를 증명할 ‘증거’입니다 [3].
여기서 결정적인 차이가 갈립니다.
- 확률적 안전: “필터가 대개는 나쁜 요청을 막아줄 거예요.”
- 결정론적 안전: 보도에 따르면, 동일 입력에 대해 항상 동일한 판정이 나오며 실행 전 차단되는 구조를 지향합니다 [3].
특히 데이터가 극도로 부족한 희귀 사례(Edge Case)에서 확률적 모델은 심각하게 흔들립니다 [4]. 학습 데이터에 없던 상황이 닥치면 AI는 당황해서 ‘그럴듯한 오답’을 내놓기 마련이죠. 그래서 감사관 앞에서는 이런 말이 통하지 않습니다.
“Usually” cannot answer an examiner.
(“대개 그렇다”라는 말로는 검사관을 납득시킬 수 없다.) [3]
패러다임의 전환: 제안하는 AI와 거부하는 거버넌스
그렇다면 AI의 지능은 포기하고 옛날 방식의 규칙 기반 시스템으로 돌아가야 할까요? 당연히 아니죠. 정답은 ‘역할 분담’에 있습니다. 최근 주목받는 AOC Hybrid System v2.0 같은 아키텍처에서는 생성적 추론과 운영 권한의 분리를 고려합니다 [2].
핵심은 간단해요. 생성적 추론(Generative Reasoning)과 운영 권한(Operational Authority)을 완전히 분리하는 것입니다. AI는 최적의 행동 후보를 찾아내는 ‘제안자’가 되고, 결정론적 제어 평면이 이를 검증해 승인하거나 거부하는 ‘거버넌스’ 역할을 맡는 구조죠 [3].
쉽게 말해, AI가 “지금 기상 상황을 보니 경로 A로 우회하는 게 최선 같습니다”라고 제안하면, 뒤에 있는 결정론적 계층이 미리 정의된 안전 규칙(Policy)에 따라 “경로 A는 현재 금지 구역과 겹치므로 거부(Veto)”라고 판정하는 식입니다.
“generative reasoning is a proposal, but operational governance is a veto”
(생성적 추론은 제안의 성격을 띠며, 운영 거버넌스는 이를 거부할 수 있는 권한을 갖는다는 관점입니다.) [2]
이 구조를 코드로 간단히 구현해본다면 이런 느낌일 거예요. AI의 출력물을 그대로 쓰지 않고, 반드시 Validator라는 순수 함수 계층을 통과하게 만드는 거죠.
from typing import List, Dict
import hashlib
class AOCCValidator:
"""결정론적 제어 계층: 정책 기반으로 제안의 허용 여부를 결정함"""
def __init__(self, safety_policies: Dict):
self.policies = safety_policies
def validate(self, proposal: Dict) -> bool:
# 1. 입력값이 동일하면 항상 동일한 결과를 반환하는 순수 함수 구조
# 예: 금지 구역 진입 여부 체크 (결정론적 규칙)
if proposal['route'] in self.policies['forbidden_zones']:
return False # 즉시 거부(Veto)
# 2. 최소 안전 고도 유지 확인
if proposal['altitude'] < self.policies['min_safe_altitude']:
return False
return True
class AIProposalEngine:
"""확률적 추론 계층: 최적의 후보군을 생성함"""
def generate_proposal(self, context: str) -> Dict:
# 실제로는 LLM (GLM-5.2 등)이 복잡한 추론 후 제안 생성
# 여기서는 예시를 위해 단순 딕셔너리 반환
return {"route": "ZONE_B", "altitude": 10000, "reason": "Weather avoidance"}
# --- 실행 흐름 ---
policies = {'forbidden_zones': ['ZONE_B', 'ZONE_C'], 'min_safe_altitude': 5000}
validator = AOCCValidator(policies)
ai_engine = AIProposalEngine()
proposal = ai_engine.generate_proposal("Storm in North sector")
is_allowed = validator.validate(proposal)
if is_allowed:
print("Action Executed: Proposal Approved")
else:
# 확률적 모델의 제안이 결정론적 계층에 의해 완전히 차단됨 (Blocked)
print("Action Blocked: Safety Policy Violation") 위 코드에서 보듯, AIProposalEngine이 아무리 똑똑하게 경로를 짜더라도 AOCCValidator라는 결정론적 필터가 “안 돼”라고 하면 절대 실행될 수 없습니다. 이것이 바로 ‘증명 가능한 안전’의 핵심입니다.
짚고 넘어갈 한계와 고려사항
물론 이 하이브리드 모델이 만능은 아닙니다. 실제 구현하다 보면 몇 가지 현실적인 벽에 부딪히게 돼요.
가장 큰 문제는 “모든 규칙을 다 쓸 수 있는가?” 하는 점입니다. 우리가 마주하는 세상(Open-world)은 너무나 복잡해서, 모든 엣지 케이스를 결정론적 규칙으로 나열하는 건 사실상 불가능합니다 [4]. 규칙이 너무 적으면 안전 구멍이 생기고, 반대로 너무 엄격하면 AI가 가진 유연한 대응 능력이 죽어버려 시스템이 바보가 될 위험이 있죠.
결국 여기서 다시 ‘인간’이 등장해야 합니다. 확률적 AI의 결정이 결정론적 규칙에 의해 한 번 걸러지더라도, 최종 단계에서는 인간 감독자가 워크플로우에 개입해 검증하는 ‘Human-in-the-loop’ 구조가 반드시 통합되어야 합니다 [5].
핵심 요약
신뢰할 수 있는 AI 항공 시스템을 설계한다면 다음 세 가지를 꼭 기억하세요.
- AI의 역할은 ‘결정’이 아니라 ‘제안’이어야 합니다. 생성적 추론과 운영 권한을 엄격히 분리하는 것이 모든 설계의 시작입니다.
- 안전 필수 모듈에서는 ‘대개(Usually)’라는 말을 버리세요. 알려진 바로는 동일 입력에 대해 항상 동일 결과를 내는 결정론적 속성이 중요하게 다뤄지며, 이것이 규제 통과의 핵심 경로가 됩니다 [3].
- 로그가 아니라 증거를 남기세요. 단순한 텍스트 로그가 아니라 암호화된 해시 체인 등으로 구성된 감사 추적(Audit Trail) 체계를 구축해, 결정 과정을 역추적할 수 있어야 합니다 [2, 6].
에필로그: 도구로서의 AI, 책임으로서의 엔지니어링
AI가 쓴 코드가 돌아가고, AI가 짠 경로로 비행기가 움직이는 시대가 오고 있습니다. 하지만 우리는 AI를 인간을 ‘대체’하는 존재가 아니라, 매우 강력하지만 가끔은 엉뚱한 ‘보조 도구’로 정의해야 합니다. 블랙박스 같은 모델의 내부를 다 이해할 수는 없겠지만, 그 출력을 투명하고 감사 가능한 체인 속에 가두는 것은 엔지니어의 책임입니다.
항공 분야가 과거의 수많은 시행착오 끝에 고위험에서 고신뢰 산업으로 변모했듯 [5], AI 시스템 역시 ‘성능’이라는 화려한 겉모습보다 ‘제어 가능성’이라는 투박한 기초를 다질 때 비로소 진정한 혁신이 완성된다고 믿습니다. 결국 가장 보수적인 엔지니어링이 가장 혁신적인 안전을 만드는 법이니까요.
References
1. [medium.com] Automated Skies: The Hidden Engineering Gaps in AI Aviation — https://medium.com/@nazia.therisd/automated-skies-the-hidden-engineering-gaps-in-ai-aviation-1fb7df59b1a5 2. [linkedin.com] The Architecture of Trust: Deterministic Governance in Safety-Critical AI — https://www.linkedin.com/pulse/architecture-trust-deterministic-governance-ai-gpt-56-frank-y6sqc 3. [eveaicore.com] Deterministic vs Probabilistic AI Safety: What’s the Difference? — https://eveaicore.com/learn/deterministic-vs-probabilistic-ai-safety 4. [patsnap.com] Deterministic vs Probabilistic Risk Assessment — https://www.patsnap.com/resources/blog/rd-blog/deterministic-vs-probabilistic-risk-assessment-patsnap-eureka 5. [censinet.com] Safety-Critical AI: Lessons from Aviation for Machine Learning Systems — https://censinet.com/perspectives/safety-critical-ai-lessons-aviation-machine-learning 6. [automation.com] Probabilistic vs. Deterministic AI in Manufacturing — https://www.automation.com/article/probabilistic-vs-deterministic-ai-manufacturing 8. [en.wikipedia.org] Flight management system — https://en.wikipedia.org/wiki/Flight_management_system
관련 글 추천
- https://infobuza.com/2026/07/17/20260717-e846p7/
- https://infobuza.com/2026/07/17/20260717-9dinkl/
FAQ
항공 시스템에서 AI를 '전문가'가 아닌 '제안자'로 설계해야 하는 이유는 무엇인가요?
AI(특히 LLM)는 확률적(Stochastic) 구조를 가지고 있어 99%의 정확도를 보이더라도 결정적인 순간에 환각(Hallucination)이나 오답을 내놓을 수 있는 '비제로'의 실패 가능성을 품고 있기 때문입니다. 따라서 AI가 스스로 판단하고 실행하기보다, 결정론적 제어 계층의 검증을 받는 제안자 역할을 수행해야 치명적인 사고를 막을 수 있습니다.
확률적 안전과 결정론적 안전의 핵심적인 차이는 무엇인가요?
확률적 안전은 필터가 '대개는' 나쁜 요청을 막아줄 것이라고 보는 관점인 반면, 결정론적 안전은 동일한 입력에 대해 항상 동일한 판정이 나오며 실행 전 확실히 차단되는 구조를 지향합니다. 특히 규제 기관이나 감사자는 재현 가능성과 증거를 요구하므로 결정론적 안전이 중요합니다.
생성적 추론과 운영 권한을 분리하는 하이브리드 거버넌스 구조란 무엇인가요?
AI는 최적의 행동 후보를 찾아내는 '생성적 추론(제안자)' 역할을 맡고, 결정론적 제어 평면은 미리 정의된 안전 규칙(Policy)에 따라 해당 제안을 승인하거나 거부(Veto)하는 '운영 권한(거버넌스)' 역할을 맡아 서로를 분리하는 구조입니다.
하이브리드 모델 설계 시 발생할 수 있는 현실적인 한계는 무엇인가요?
세상은 너무 복잡하여 모든 엣지 케이스를 결정론적 규칙으로 나열하는 것이 사실상 불가능하다는 점입니다. 규칙이 너무 적으면 안전 구멍이 생기고, 너무 엄격하면 AI의 유연한 대응 능력이 저하되어 시스템 효율이 떨어질 위험이 있습니다.
신뢰할 수 있는 AI 항공 시스템을 위해 엔지니어가 고려해야 할 핵심 사항은 무엇인가요?
첫째, AI의 역할을 '결정'이 아닌 '제안'으로 한정하고 운영 권한과 분리해야 합니다. 둘째, 동일 입력에 동일 결과가 나오는 결정론적 속성을 확보하여 규제를 통과해야 합니다. 셋째, 단순 로그를 넘어 암호화된 해시 체인 등을 통한 감사 추적(Audit Trail) 체계를 구축해 결정 과정을 역추적할 수 있어야 합니다.
