서버간 파일 이전

[airman5573]

서버 간 대용량 파일 고속 이전: ssh와 rsync 활용법

두 개의 원격 서버 간에 대용량 파일을 이전할 때, 로컬 컴퓨터를 거치지 않고 서버끼리 직접 통신하게 하여 전송 속도를 극적으로 향상시킨 경험을 공유합니다.

1. 문제 상황

기존에는 다음과 같은 비효율적인 방식으로 파일을 이전했습니다.

1. Source 서버의 파일을 내 로컬 컴퓨터로 다운로드
2. 다운로드한 파일을 다시 Target 서버로 업로드

두 서버가 모두 미국에 위치해 있어 다운로드 속도는 빨랐지만, 로컬에서 Target 서버로 업로드하는 속도가 매우 느렸습니다. 10GB 파일을 옮기는 데 40시간이 소요되는 문제가 발생했습니다.

2. 해결 방법

ssh의 -A 옵션(Agent Forwarding)과 rsync를 활용하여 Target 서버에서 Source 서버로 직접 접속해 파일을 가져오는 방식으로 변경했습니다.

결과: 40시간 걸리던 작업이 단 5분 만에 완료되었습니다.

실행 명령어

1. Local에서 Target 서버로 접속 (-A 옵션 사용)

로컬 컴퓨터의 SSH 인증 정보를 Target 서버가 잠시 '빌려' 쓸 수 있도록 -A 옵션을 추가하여 접속합니다.

ssh -A target_server_user@target_server_host_name

2. Target 서버에서 rsync로 Source 서버 파일 가져오기

Target 서버에 접속된 상태에서, rsync 명령어를 실행하여 Source 서버의 파일을 직접 가져옵니다.

rsync -avz --progress source_user@source_server_ip:/path/to/source/file.zip /path/to/target/destination/

예시:

rsync -avz --progress [email protected]:/home/server_name/public_html/wp-content/ai1wm-backups/heavy_file.zip /home/ploi/server_name/public/wp-content/ai1wm-backups/

---

3. 참고 설명

SSH -A 옵션 (Agent Forwarding)

-A 옵션은 현재 사용 중인 로컬 컴퓨터의 SSH 키 인증 능력을 다음 접속지(Target 서버)가 '빌려서' 사용할 수 있게 해주는 기능입니다. 이를 통해 Target 서버에서 Source 서버로 다시 SSH 접속을 할 때 비밀번호나 별도의 키 설정 없이 인증이 가능해집니다. (키 파일 자체가 복사되는 것이 아니므로 안전합니다.)

rsync란 무엇인가? (What is rsync?)

rsync는 'remote sync'의 약자로, 원격지의 파일과 디렉터리를 **'똑똑하고 효율적으로 동기화'**하는 명령어 도구입니다. 단순 복사(cp, scp)와는 차원이 다른 강력한 기능을 제공하여 '파일 동기화의 스위스 아미 나이프'라고 불립니다.

rsync의 핵심 특징 및 장점

1. 델타 전송 알고리즘 (Delta Transfer Algorithm) - 가장 중요한 특징!
rsync의 심장이자 scp와의 가장 큰 차이점입니다.

• scp의 방식 (단순 전체 복사): 10GB 파일에 1MB의 작은 변화가 생겨도 파일 **전체(10GB)**를 다시 전송합니다.
• rsync의 방식 (지능적 증분 복사): 변경 사항이 생겼을 때, 원본과 대상 파일을 비교하여 변경된 1MB 조각만 전송합니다.

비유: 1000페이지짜리 책의 오타 1개를 수정했다고 책 전체를 다시 보내는 것이 아니라, 수정된 페이지만 보내주는 것과 같습니다. 이 덕분에 반복적인 백업이나 업데이트 시 네트워크 사용량과 시간을 극적으로 줄일 수 있습니다.

2. 속도와 효율성
델타 전송 덕분에 두 번째 동기화부터는 비교할 수 없을 정도로 속도가 빠릅니다.

3. 유연성과 다양한 옵션
--exclude, --include로 특정 파일을 제외/포함하거나 --delete 옵션으로 원본에서 삭제된 파일을 대상에서도 삭제하는 등 다양한 제어가 가능합니다.

4. 안정성 (이어받기 기능)
--partial 또는 -P 옵션을 사용하면 대용량 파일 전송 중 네트워크가 끊겨도, 다음 실행 시 처음부터가 아닌 끊겼던 부분부터 이어서 전송할 수 있습니다.

사용된 rsync 옵션 상세 설명

옵션	설명	왜 중요한가?
-a --archive	아카이브 모드. -rlptgoD 옵션을 모두 포함합니다. (권한, 소유자, 그룹, 수정 시간 등 파일 속성 보존)	파일 속성을 그대로 유지하여 애플리케이션(예: 워드프레스) 오류를 방지하고 데이터 무결성을 지킵니다.
-v --verbose	상세 모드. 어떤 파일이 처리되고 있는지 진행 상황을 간략히 보여줍니다.	작업이 정상적으로 진행되고 있음을 시각적으로 확인할 수 있습니다.
-z --compress	압축 모드. 데이터를 압축하여 전송하고, 도착지에서 압축을 해제합니다.	텍스트 파일 등 압축 효율이 좋은 파일의 전송 속도를 높여줍니다. (이미 압축된 파일에는 효과가 미미)
--progress	진행 상황 표시. 현재 전송 중인 파일의 진행률, 속도, 남은 시간 등을 실시간으로 보여줍니다.	대용량 파일 전송 시 작업이 멈춘 것처럼 보이는 것을 방지하고, 언제 끝날지 예측할 수 있어 사용자 경험을 크게 향상시킵니다.

--progress 옵션 출력 예시:

heavy_file.zip
    1.25GB  25%  105.34MB/s    0:00:28 (xfer#1, to-check=0/1)

cp, scp, rsync 비교

도구	복사 방식	핵심 특징
cp	무조건 전체 복사	로컬(같은 컴퓨터 내)에서만 사용 가능
scp	무조건 전체 복사	원격지(서버 간) 복사 가능. SSH로 암호화.
rsync	변경된 부분만 지능적 복사	원격/로컬 모두 가능. 빠르고, 안정적, 기능이 매우 많음.

[yoonminsang]

만약 한번에 옮기는게 가능하지 않은 경우라면 미국 서버를 임시로 띄워서 작업하는 것도 방법일것같네요~