현대의 개발자들은 풍족한 하드웨어 자원 속에서 코드를 작성합니다. 최신 CPU는 수십억 개의 트랜지스터를 가지고 있고, RAM은 기가바이트 단위로 제공되며, 컴파일러는 우리가 상상하는 것보다 훨씬 똑똑하게 코드를 최적화합니다. 하지만 우리가 누리는 이 ‘추상화의 안락함’은 때때로 소프트웨어가 하드웨어 위에서 실제로 어떻게 작동하는지에 대한 통찰력을 앗아갑니다. 성능 병목 현상이 발생했을 때, 단순히 서버 사양을 높이거나 더 빠른 GPU를 도입하는 것으로 해결하려는 관성은 결국 효율성의 저하와 비용의 증가로 이어집니다.

과거의 전설적인 게임 ‘퀘이크(Quake)’의 개발 과정은 이러한 현대적 관성에 정면으로 도전하는 사례입니다. 당시의 하드웨어 제약은 지금과는 비교할 수 없을 정도로 가혹했습니다. 펜티엄 프로세서의 클럭 속도는 낮았고, 메모리 대역폭은 좁았으며, 3D 그래픽을 실시간으로 렌더링하는 것은 거의 불가능에 가까운 도전이었습니다. 이때 등장한 마이클 아브라시(Michael Abrash)는 단순한 코드 수정을 넘어, CPU의 동작 원리를 완전히 파헤치는 방식으로 프레임 레이트를 두 배로 끌어올렸습니다.

추상화의 배신과 어셈블리어의 필요성

대부분의 개발자는 C언어와 같은 고수준 언어가 제공하는 효율성을 믿습니다. 하지만 마이클 아브라시는 컴파일러가 생성하는 기계어가 항상 최적의 경로를 찾는 것은 아니라는 점에 주목했습니다. 특히 3D 렌더링처럼 반복적인 연산이 수백만 번 일어나는 루프 구간에서, 컴파일러가 삽입하는 불필요한 레지스터 이동이나 비효율적인 분기 예측은 치명적인 성능 저하를 야기합니다.

그는 C언어로 작성된 코드가 실제 CPU에서 어떻게 실행되는지를 분석하기 위해 어셈블리 코드를 직접 뜯어보았습니다. CPU의 파이프라인 구조, 캐시 히트율, 그리고 레지스터 할당 방식을 이해하고 이를 직접 제어하기 시작한 것입니다. 이는 단순히 ‘빠른 코드를 짜는 것’이 아니라, ‘하드웨어가 가장 좋아하는 방식으로 데이터를 공급하는 것’에 가까웠습니다.

성능을 두 배로 만든 핵심 최적화 포인트

마이클 아브라시가 퀘이크의 프레임 레이트를 22.7fps에서 42.2fps로 끌어올린 비결은 특정 핵심 함수들을 수작업으로 최적화한 어셈블리 코드로 대체한 데 있었습니다. 그는 전체 코드를 수정하는 대신, CPU 점유율이 가장 높은 ‘핫스팟’을 찾아 집중 공략했습니다.

• D_DrawSpans8 (벽면 렌더링): 3D 공간의 벽면을 2D 화면의 픽셀로 변환하는 과정에서 발생하는 부동 소수점 연산을 최소화하고, 정수 연산과 시프트 연산으로 대체하여 픽셀 채우기 속도를 극대화했습니다.
• R_DrawSurfaceBlock8 (라이트맵 베이킹): 빛의 효과를 계산하는 라이트맵 처리 과정에서 메모리 접근 패턴을 최적화하여 CPU 캐시 미스를 획기적으로 줄였습니다.
• Polyset 함수 (모델 렌더링): 캐릭터와 같은 복잡한 폴리곤 모델을 그릴 때, 정점 데이터의 처리 순서를 최적화하여 파이프라인 스톨(Stall) 현상을 방지했습니다.

이러한 최적화의 핵심은 ‘루프 언롤링(Loop Unrolling)’과 ‘레지스터 최적화’였습니다. 반복문을 풀어서 분기 예측 실패를 줄이고, 자주 사용하는 변수를 메모리가 아닌 CPU 내부 레지스터에 상주시켜 메모리 접근 시간을 제로에 가깝게 만들었습니다. 이는 현대의 컴파일러도 일부 수행하지만, 당시의 기술력으로는 인간의 직관과 분석을 통한 수동 최적화만이 유일한 해답이었습니다.

기술적 트레이드오프: 성능과 유지보수의 충돌

물론 이러한 접근 방식에는 명확한 기회비용이 따릅니다. 어셈블리어로 작성된 코드는 하드웨어 종속성이 매우 강합니다. 펜티엄 프로세서에 최적화된 코드는 다른 아키텍처의 CPU에서는 작동하지 않거나 오히려 성능이 떨어질 수 있습니다. 또한, 코드의 가독성이 극도로 낮아져 다른 개발자가 이를 수정하거나 유지보수하는 것이 거의 불가능에 가깝습니다.

하지만 퀘이크와 같은 상용 게임 개발 환경에서는 ‘작동하는가’보다 ‘충분히 빠른가’가 제품의 성패를 결정짓는 핵심 지표였습니다. 아브라시는 유지보수성이라는 가치를 잠시 접어두고, 사용자 경험(UX)의 핵심인 ‘부드러운 화면 전환’이라는 절대적 가치를 선택한 것입니다. 이는 엔지니어링에서 말하는 최적의 트레이드오프 결정이었습니다.

현대 개발자에게 주는 교훈과 실천 방안

우리는 더 이상 어셈블리어를 직접 작성할 필요가 없는 시대에 살고 있습니다. 하지만 마이클 아브라시의 접근 방식은 여전히 유효합니다. 하드웨어의 특성을 이해하고 소프트웨어를 설계하는 ‘하드웨어 인지적 프로그래밍(Hardware-aware Programming)’은 고성능 시스템을 구축하는 데 필수적입니다.

현대의 실무자가 적용할 수 있는 액션 아이템은 다음과 같습니다.

• 프로파일링의 습관화: 추측으로 최적화하지 마십시오. Flame Graph나 최신 프로파일링 도구를 사용하여 실제 CPU 사이클이 어디에서 낭비되고 있는지 정확한 데이터로 확인하십시오.
• 데이터 지역성(Data Locality) 고려: 현대 CPU 성능의 병목은 연산 속도가 아니라 메모리 접근 속도(Memory Wall)에 있습니다. 캐시 히트율을 높이기 위해 데이터 구조를 배열 형태로 연속적으로 배치하는 등의 고민이 필요합니다.
• 컴파일러 최적화 옵션 이해: 사용 중인 언어의 컴파일러가 어떤 최적화 플래그를 제공하는지, 그리고 특정 코드 패턴이 어떻게 기계어로 변환되는지 가끔은 확인해 보는 습관을 가지십시오.

결국 최적화란 단순히 코드를 빠르게 만드는 것이 아니라, 우리가 사용하는 도구(언어)와 그 도구가 돌아가는 기반(하드웨어) 사이의 간극을 좁히는 과정입니다. 마이클 아브라시가 보여준 집요한 분석과 하드웨어에 대한 깊은 이해는, 기술적 환경이 변하더라도 고품질 소프트웨어를 만들기 위한 엔지니어의 기본 소양임을 증명합니다.

최적화 전략 비교 분석

마지막으로 기억해야 할 점은, 모든 코드를 최적화할 필요는 없다는 것입니다. 아브라시가 전체 코드가 아닌 ‘핫스팟’에 집중했듯이, 우리 역시 비즈니스 가치가 가장 높은 병목 지점을 찾아내어 정밀하게 타격하는 전략적 접근이 필요합니다. 그것이 바로 진정한 의미의 효율적인 엔지니어링입니다.