[보안] 보안 솔루션의 종류 (3) - IPS/IDS

 

 

 방화벽은 네트워크 보안의 기본 솔루션으로 필수적으로 구축되어야 하지만, OSI 모델의 3계층(네트워크) 및 4계층(전송)에서만 작동하기 때문에 애플리케이션 계층에서 발생하는 공격은 탐지하거나 방어할 수 없다. 애플리케이션 공격은 주로 서비스를 제공하는 시스템의 취약점을 악용하는 방식으로 이루어진다.

 

 예를 들어, 웹 서비스를 제공하려면 TCP 80 포트를 외부에 개방해야 한다. 그러나 이 과정에서 Apache나 IIS와 같은 웹 서버의 취약점을 악용한 공격이 발생할 수 있다. 이러한 공격은 방화벽만으로는 탐지하거나 차단하기 어려운 이유가 됩니다. 방화벽은 기본적으로 네트워크 및 전송 계층의 트래픽만을 분석하고 처리하기 때문이다.

 

 이처럼 애플리케이션 계층에서 발생하는 다양한 공격에 효과적으로 대응하고 방어하기 위해 침입 탐지 시스템(IDS)과 침입 방지 시스템(IPS)이 개발되었다. IDS와 IPS는 네트워크 트래픽 및 애플리케이션 데이터를 심층적으로 분석하여 공격 시도를 탐지하거나 차단하는 기능을 제공하며, 방화벽의 한계를 보완하는 중요한 보안 솔루션으로 자리 잡았다.

 

1. IPS(Intrusion Prevention System), IDS(Intrusion Detection System) 정의

 

 IDS(침입 탐지 시스템)은 시스템 해킹 시도를 탐지하기 위해 설계된 보안 시스템으로, '탐지'에 초점을 맞추고 있다. IDS는 공격에 직접 개입하거나 방어하지 않고, 네트워크 트래픽을 복제하여 검토한 후 침입 여부를 판별한다. 이 시스템은 보안 관제나 사고 대응을 위해 공격 패턴을 식별하고 알림을 제공하는 데 중점을 둔다.

 

 

 IPS(침입 방지 시스템)은 IDS보다 한 단계 발전한 형태로, 공격 탐지뿐만 아니라 직접적으로 공격을 차단할 수 있는 기능을 갖춘 보안 장비이다. IPS는 네트워크 트래픽을 복제하는 방식이 아닌, 실제 트래픽 경로(Inline) 상에 배치되어 실시간으로 유해 트래픽을 차단하고 방어한다.

 

 IDS와 IPS는 단순 탐지 및 방어 외에도 세션 이해 능력, 어노말리(Anomaly) 탐지 등 다양한 기능으로 구분된다. 특히, 회피 공격을 방어하거나 비정상적인 트래픽을 분석하여 더 정교한 보안 환경을 제공한다.

 

- IPS의 유형

IPS는 크게 호스트 기반 IPS(HIPS)와 네트워크 기반 IPS(NIPS)로 나뉜다.

HIPS(Host-based IPS)	개별 호스트 시스템에 설치되어 동작함. 엔드포인트 보안이 강조되는 시기에 주로 사용되며, 클라우드 환경에서의 활용도 증가 추세임. 그러나, 서비스와 리소스를 공유하거나 장애 발생 시 원인 분석이 어려운 점이 단점으로 지적됨.
NIPS(Network-based IPS)	네트워크 상에 배치되어 전체 트래픽을 중앙에서 분석 및 차단함. 일반적으로 IPS라고 하면 NIPS를 지칭하며, 네트워크 보안 강화가 필요할 때 선호됨. 클라우드 내부 네트워크에서도 점차 NIPS로 전환하는 추세임.

 

 보안 환경은 기술 트렌드와 요구사항에 따라 변하고 있다. 예를 들어, 클라우드 환경에서는 기존 HIPS가 가진 문제를 보완하기 위해 NIPS 배포 방식이 재부각되고 있다. IPS는 다양한 네트워크 환경에 맞춰 능동적 방어를 제공하며 현대 보안 체계의 중요한 구성 요소로 자리 잡고 있다.

 

2. IPS와 IDS의 동작 방식

 IPS는 패턴 매칭(Signature Matching)과 어노말리(Anomaly) 기반 방어 기법을 통해 공격을 탐지하고 차단한다.

 

- 패턴 매칭 방식

 

 패턴 매칭 방식은 공격 데이터베이스(Signature Database)를 기반으로 동작하며, 이는 IPS의 주요 방어 기법 중 하나이다.

작동 원리	- 과거에 발생한 공격이나 취약점 정보를 수집해 데이터베이스화하고, 이를 바탕으로 네트워크 트래픽에서 유사한 패턴을 탐지함. - 이러한 방식은 "패턴 기반", "시그니처(Signature) 기반", 또는 "데이터베이스 기반" 방어라고도 함.
특징 및 중요성	- 대부분의 IPS는 수천 개 이상의 공격 데이터베이스를 보유하며, 최신 공격 패턴을 빠르게 업데이트해 방어 효과를 극대화함. - 예: 코드 레드 웜(Code Red Worm)은 간단한 공격 스트링을 통해 IIS 웹 서버의 취약점을 악용하여 서버를 감염시키고, 이후 감염된 서버는 다른 서버를 대상으로 공격하는 웜 활동을 수행함.

 

- 어노말리 공격 방어

어노말리 방어 기법은 기존 패턴 매칭 방식의 한계를 보완하기 위해 개발된 방식이다.

패턴 매칭 방식의 한계	- 공격을 방어하려면 공격 패턴 데이터베이스가 사전에 준비되어야 함.  - 하지만, 웜(Worm)이나 변종 바이러스는 빠르게 전파되며, 기존 데이터베이스 기반 방어로는 신속한 대응이 어려움.  - 예: 초기 웜은 한 달에 걸쳐 퍼졌으나, 점차 알고리즘이 발전하면서 단 4시간 만에 인터넷 전체로 확산되는 사례도 발생했음.  - 데이터베이스 업데이트 주기가 하루 이상 소요되는 경우, 급속히 진화하는 공격을 방어하기 어려운 문제가 있음.
어노말리 기법의 특징	- 어노말리 방식은 화이트리스트 기반 방어 기법으로, 정상적인 트래픽 기준을 설정하고 이상 행위를 탐지하여 방어함.  - 기존 패턴 매칭 방식이 "공격임이 확실한 트래픽"만 차단했다면, 어노말리는 의심스러운 행위를 기준으로 차단함.  - 이는 새로운 공격 방식이나 변종 공격에도 빠르게 대응할 수 있도록 설계되었음.

 

 

- 어노말리 기법의 유형 : 프로파일 어노말리(Profile Anomaly)와 프로토콜 어노말리(Protocol Anomaly)

어노말리 기법은 프로파일 어노말리(Profile Anomaly)와 프로토콜 어노말리(Protocol Anomaly)로 나뉘며, 각각의 방식은 트래픽과 프로토콜의 이상 행위 탐지에 초점을 맞춘다.

• 프로파일 어노말리(Profile Anomaly)

 

 프로파일 어노말리는 평소 설정된 기준과 다른 트래픽 패턴을 감지하여 공격 여부를 판단하는 방식이다.

작동 원리	- 관리자가 사전에 설정한 기준 또는 IPS가 학습한 정상 트래픽 프로파일을 기반으로 동작함.  - 예외적인 트래픽을 탐지하여 비정상 행위로 판단함.
특징	동적 프로파일 기능의 발전으로, 프로파일 어노말리 기법은 DDoS 방어 장비로도 발전되었음.
예시	- 프린트 서버에 FTP 패킷이 전송되는 경우.  - 보통 1MB 이하의 트래픽이 발생하던 시스템에서 갑작스럽게 수십 MB 이상의 트래픽이 발생하는 경우.  - 웜(Worm)은 다량의 트래픽을 타깃 서버로 전송하여 다른 시스템을 감염시키는데, 이와 같은 행위를 효과적으로 탐지함.

 

• 프로토콜 어노말리(Protocol Anomaly)

프로토콜 어노말리는 잘 알려진 서비스 포트와 프로토콜 간의 불일치를 탐지하여 공격을 차단하는 방식이다.

필요성	- SPI 방화벽과 NAT 기능이 대중화되면서 해커가 직접 PC를 공격하기 어려워졌음.  - 이에 따라, 해커는 악성 코드를 웹 서버나 이메일에 올려놓고, 내부 사용자가 해당 코드를 다운로드해 실행하도록 유도하는 방식으로 우회 공격을 시도함.
공격 메커니즘	- 악성 코드는 실행 후 외부의 C&C(Command and Control) 서버와 연결됨.  - 이후, 사용자 정보를 전달하고 해커의 지시에 따라 좀비 PC로 동작함.  - 좀비 PC는 정상 서비스 요청처럼 보이기 때문에, 일반 방화벽으로는 탐지가 어려움.
작동 원리	- 잘 알려진 포트에서 실제 통신하는 프로토콜과 다른 프로토콜이 사용될 경우, 이를 감지함.  - 예를 들어, HTTP(포트 80)나 HTTPS(포트 443)처럼 잘 알려진 포트에서 다른 프로토콜이 동작하면, 이를 비정상적인 트래픽으로 간주하고 차단함.
특징	내부 PC가 감염된 경우에도, 프로토콜 어노말리 기법은 비정상적인 통신 시도를 탐지하고 제어할 수 있음

 

3. IPS, IDS의 한계와 극복(NGIPS)

IPS와 IDS는 네트워크 보안의 필수 장비로 자리 잡았지만, 여전히 몇 가지 근본적인 한계를 가지고 있다.

 

- IPS의 주요 문제점

우회 가능성	IPS는 네트워크 상에서 플로(Flow) 엔진을 이용하여 애플리케이션 레벨까지 데이터를 확인함. 플로 엔진은 패킷을 데이터 형태로 변환해 검사하지 않고, 패킷의 흐름을 모니터링하여 공격을 탐지함 이 방식은 빠른 속도라는 장점이 있지만, 공격자가 이를 우회하기가 상대적으로 쉬움.
오탐지 문제	IPS는 오탐지(FP, False Positive)가 자주 발생하므로 초기 설치 시 환경에 맞춘 세부적인 튜닝 작업이 필요함.  - 설치 환경에 맞는 설정 작업이 오래 걸림.  - 지속적인 모니터링과 최적화 작업이 필수적임.  - 오탐과 과도한 알람으로 인해 정상적인 서비스가 차단되거나 공격을 적절히 방어하지 못할 위험이 있음.
운영상의 어려움	오탐이 과도할 경우, 예외 처리 규칙이 많아져 IPS의 본래 목적을 제대로 수행하지 못하거나, 설치만 해두고 제대로 사용하지 못하는 사례도 존재함.

 

- NGIPS의 등장

이러한 한계를 극복하기 위해 차세대 IPS(NGIPS, Next Generation IPS)가 등장했다.

기능 향상	NGIPS는 기존 IPS의 문제를 보완하고, 애플리케이션 인식 및 다양한 외부 시스템과의 연동 기능을 제공함.   - APT(Advanced Persistent Threat) 공격 방어 기능이 포함된 장비도 있음.
통합 보안으로 발전	NGIPS는 방화벽이 차세대 방화벽(NGFW)이나 통합 위협 관리(UTM)로 발전한 것처럼, 다양한 보안 기능을 통합하는 방향으로 발전하고 있음.  - 기존 단독 IPS 시장은 점점 축소되고, 여러 보안 기능을 결합한 장비가 주를 이루고 있음.

※ 참고 : IPS의 공격 데이터베이스 구축 방법 IPS가 효과적으로 공격을 방어하려면 최신화된 공격 데이터베이스가 필수적이다. 이 데이터베이스는 주로 실제 해킹 사례에서 얻은 정보를 바탕으로 작성된다.  - 허니팟(Honeypot) 시스템 활용 허니팟의 역할 허니팟은 의도적으로 보안이 취약한 시스템을 인터넷에 공개하여 해커가 공격하도록 유도하는 장치이다. 방어 체계가 없으며, 다양한 취약점을 의도적으로 포함하고 있다. 또한, 해커는 이를 실제 시스템으로 착각하고 공격을 시도하게 된다. 공격 로깅 및 분석 허니팟은 해커가 시도한 모든 공격을 기록(로깅)한다. 수집된 공격 데이터를 바탕으로 공격 방식과 취약점을 분석하고 이를 통해 새로운 공격 데이터베이스가 생성된다.  - 결과물 활용 : 이렇게 구축된 공격 데이터베이스는 IPS에 업데이트되어 최신 해킹 기법에 대한 방어 능력을 지속적으로 강화하는 데 활용된다. 허니팟 시스템은 최신 위협 탐지와 공격 데이터 수집을 위한 중요한 도구로 자리 잡고 있다.