프록시 프로토콜 비교：Shadowsocks, VMess, Trojan, VLESS 선택 가이드

프로토콜이란 무엇인가요

Clash 구독을 사용할 때 Shadowsocks, VMess, Trojan, VLESS 등의 용어를 자주 접하게 됩니다. 이것들은 Clash만의 개념이 아니라 프록시 프로토콜입니다. 클라이언트와 원격 서버 사이에 연결을 수립하는 방법, 데이터를 암호화하는 방법, 전송을 캡슐화하는 방법을 규정합니다.

프로토콜을 「택배 포장 방식」으로 이해할 수 있습니다: 동일한 화물(귀하의 네트워크 트래픽)을 다른 포장과 운송 경로로 보내면 목적지에 도달하는 속도, 안전성, 검사받을 확률이 모두 달라집니다. Clash는 다중 프로토콜 클라이언트로 여러 프로토콜의 노드를 동시에 관리하고, 그 위에 규칙 분기, 프록시 그룹 등의 고급 기능을 제공합니다.

프로토콜 차이를 이해하면 구독에서 더 안정적이고 빠른 노드를 선택하는 데 도움이 됩니다. 또한 「같은 구독 서비스라도 왜 프로토콜마다 지연이 크게 다른지」, 「왜 특정 회선이 갑자기 연결되지 않는지」와 같은 문제도 이해할 수 있습니다.

Shadowsocks (SS)

Shadowsocks는 비교적 일찍 등장하여 널리 사용되는 경량 프록시 프로토콜입니다. 설계 철학은 단순함과 효율성으로, TCP/UDP 레이어에서 트래픽을 암호화하고 위장하며 구현 비용이 낮고 클라이언트와 서버 모두 리소스 사용량이 적습니다.

장점으로는 빠른 핸드셰이크, 높은 처리량, 간단한 설정이 있으며 2020년 이전에는 구독 서비스의 주류 선택이었습니다. Clash의 SS 지원은 성숙하며 AEAD 암호화(aes-256-gcm, chacha20-ietf-poly1305 등)와 같은 보안 알고리즘을 포함합니다.

단점은 트래픽 특성이 비교적 고정되어 있어 DPI(심층 패킷 검사) 환경에서 식별 및 간섭을 받기 쉽습니다. 네트워크 환경이 SS를 집중적으로 차단한다면 잦은 연결 끊김이나 속도 저하가 발생할 수 있습니다. 네트워크 환경이 비교적 자유롭고 최고 속도를 추구하는 경우에 적합합니다.

VMess (V2Ray 체계)

VMess는 V2Ray 프로젝트의 핵심 프로토콜로, 설계 목표는 유연성과 확장성입니다. 여러 전송 방식(TCP, mKCP, WebSocket, gRPC 등)을 지원하며 TLS, CDN과 조합하여 프록시 트래픽이 일반적인 HTTPS 또는 CDN 액세스처럼 보이도록 할 수 있습니다.

대표적인 조합인 VMess + WebSocket + TLS + CDN: 트래픽이 Cloudflare 등 CDN을 통해 중계되어 서버 IP가 숨겨지며 검열 우회 능력이 크게 향상됩니다. 구독 서비스들이 엄격한 심사에 대응하기 위해 이 방식을 자주 사용합니다.

단점은 설정이 복잡하고 핸드셰이크 오버헤드가 약간 크며 서버와 클라이언트 성능 요구가 높다는 점입니다. Clash Meta 코어는 VMess 및 V2Ray 생태계를 비교적 잘 지원합니다. 유연한 위장이나 CDN 연동이 필요한 고급 사용자, 또는 구독 서비스의 「프리미엄 회선」에 적합합니다.

Trojan

Trojan의 핵심 아이디어는 일반적인 HTTPS 트래픽으로 위장하는 것입니다. TLS 프로토콜을 직접 재사용하여 프록시 연결의 특성이 일반 웹사이트 방문과 거의 차이가 없습니다. 정상적인 HTTPS를 오인 차단하지 않고 Trojan을 정확하게 식별하기 어렵기 때문에 검열 우회 능력이 뛰어납니다.

Trojan은 도메인과 유효한 TLS 인증서(보통 Let's Encrypt 등에서 무료 발급)가 필요하며 설정 난이도는 중간 수준입니다. 지연은 보통 VMess보다 낮은데, 커스텀 프로토콜 캡슐화 레이어가 하나 적기 때문입니다. 많은 우수한 구독 서비스가 Trojan을 주력 프로토콜로 사용하며, 특히 홍콩, 일본, 싱가포르 등 저지연 노드에서 안정적인 성능을 보입니다.

차단이 심하거나 장기적인 안정성을 추구하는 사용자에게 적합합니다. 구독에 Trojan 노드가 있고 속도 테스트 결과가 좋다면 우선 시도해 보세요.

VLESS와 XTLS / Reality

VLESS는 V2Ray의 진화 버전으로 VMess의 일부 불필요한 암호화 레이어를 제거하고 암호화 역할을 TLS에 맡겨 코어가 더 가볍습니다. XTLS 기술과 함께 TLS 레이어에서 스트리밍 처리를 할 수 있어 CPU 오버헤드를 더욱 줄이고 처리량을 향상시켜 고대역폭 환경에 적합합니다.

Reality는 최근 인기 있는 검열 우회 방안으로, 자체 도메인과 인증서 없이 실제 웹사이트의 TLS 핸드셰이크 특성을 「빌려」 트래픽을 유명 사이트(예: microsoft.com) 방문과 구분하기 어렵게 만듭니다. 설정 난이도가 높지만 검열 우회 능력이 매우 강하여 많은 새로운 구독 서비스의 첫 번째 선택이 되었습니다.

Clash Meta는 VLESS + XTLS, VLESS + Reality를 잘 지원합니다. 클라이언트와 구독이 지원한다면 이런 새로운 프로토콜 노드를 우선적으로 경험해 보세요.

전송 레이어와 위장

프로토콜 자체 외에도 전송 방식이 사용 경험에 영향을 줍니다. WebSocket(WS)은 방화벽 통과와 CDN 연동에 편리하고, gRPC는 HTTP/2 기반으로 멀티플렉싱 성능이 좋으며, TCP 직접 연결은 가장 단순하지만 간섭받기 쉽습니다. TLS 암호화는 HTTPS 위장의 기반으로 반드시 활성화해야 합니다.

Clash 설정의 network, ws-opts, tls 등의 필드가 바로 이 전송 파라미터를 설명합니다. 구독을 가져온 후 이것들은 보통 미리 설정되어 있어 사용자가 직접 수정할 필요가 없습니다. 전송 레이어를 이해하면 「WS+TLS 노드가 지연이 약간 높지만 차단받기 어려운 이유」, 「gRPC가 다중 연결 환경에서 더 적은 리소스를 사용하는 이유」 등의 현상을 이해하는 데 도움이 됩니다.

어떻게 선택할까요

절대적으로 「최고」인 프로토콜은 없으며, 현재 네트워크 환경에 가장 적합한 방안만 있을 뿐입니다. 다음 원칙을 참고하세요:

• 속도 추구, 환경이 자유로움: Shadowsocks는 단순하고 효율적이며 지연이 낮습니다.
• CDN 위장 필요, 유연한 조합: VMess + WS + TLS가 더 유연합니다.
• 차단이 심함, 장기적 안정성 필요: Trojan 또는 VLESS + Reality가 검열 우회 능력이 더 강합니다.
• 고대역폭, 낮은 CPU: VLESS + XTLS가 처리량 성능이 좋습니다.

실제 사용에서는 클라이언트에서 구독 내 각 프로토콜 노드에 대해 원클릭 속도 테스트를 하고, 지연이 낮고 패킷 손실이 적은 회선을 선택하는 것을 권장합니다. 동일한 프로토콜도 다른 노드, 다른 지역에서의 성능 차이가 매우 크므로 속도 테스트가 프로토콜 파라미터를 외우는 것보다 훨씬 신뢰할 수 있습니다. 어떤 프로토콜이 전면 타임아웃된다면 로컬 네트워크가 해당 프로토콜을 집중적으로 간섭하는 것일 수 있으므로 다른 프로토콜로 바꾸거나 구독 서비스 고객 지원에 문의하세요. 또한 Clash Meta 코어는 새로운 프로토콜 지원 업데이트가 빠르므로 Meta 계열 클라이언트(Clash Verge Rev 등)를 사용하면 VLESS, Reality 등 새로운 방안의 장점을 더 잘 활용할 수 있습니다.

프로토콜과 노드의 관계

노드를 선택할 때 프로토콜은 참고 요소 중 하나일 뿐이며, 지연, 안정성, 대역폭이 일상 경험의 핵심 지표입니다. 네트워크 환경 변화에 따라 구독 서비스들도 회선 프로토콜을 업그레이드하므로 클라이언트를 업데이트하고 정기적으로 속도 테스트를 하면 항상 최상의 경험을 유지할 수 있습니다. 구독 서비스를 선택하고 있다면 Trojan, VLESS 등 새로운 프로토콜을 제공하고 노드 커버리지가 넓은 서비스를 우선 선택하는 것이 장기적인 유연성 측면에서 더 유리합니다.