[AWS] AS-IS Product RDS Mysql 장애 원인을 알고 싶습니다.

Summary

아래의 이미지와 같이 RDS Mysql Error가 있었습니다. 원인을 알고 싶습니다.

[Error message]

Read Replica Replication Error - IOError” 2003, reason: reconnecting to master ‘RDS유저명@DB IP:3306’ - retry-time:60 retries: 1 message: Can’t connect to MySQL server on ‘DB IP:3306’(111)

===

Solution

서울 리전의 RDS가  Auto minor version upgrade 가 활성화 된 상태입니다.

따라서 유지 관리 기간 동안 Auto minor version upgrade가 진행되어,  

Primary RDS에서 패치가 수행됨에 따라 Primary DB가 다시 시작되어 나타난 현상입니다.

이로 인해 RDS Primary가 수정되고 Replication에 사용할 수 없는 경우,

Replication이 일시 중지될 때 이 RDS의 Read Replica에 대한 연결 문제가 발생한 것입니다. 

이후에 RDS Primary를 RDS에서 자동으로 기본 보조 버전으로 업그레이드하는 동안 읽기 복제본 복제가 일시 중지되었다가 다시 시작되었습니다. 

현재 Slave 상태는 3개 모두 정상으로 확인됩니다.

추가적으로 RDS Auto minor version upgrade 비활성화 방법 안내드리겠습니다.

[RDS Auto minor version upgrade 비활성화 방법]

1) RDS 콘솔 접속 후 Modify 선택

2) Enable auto minor version upgrade 체크 해제

[Auto minor version upgrade 비활성화 설정하였을 경우 - Maintenance 확인 방법] 

[RDS 콘솔을 통한 확인]

1) RDS 콘솔 접속 후 Maintenance & backups 탭 선택

2) Pending maintenance 항목 확인

[AWS Health Dashboard 를 통한 확인]

1) AWS Health Dashboard 검색

2) Your account health 에서 Event 확인

[Auto minor version upgrade 비활성화 설정하였을 경우 - 업그레이드 방법 안내]

[첫 번째 방법]

1) RDS 콘솔 접속 후 Maintenance & backups 탭 선택

2) Pending maintenance 에서 유지/관리 이벤트 선택 후 즉시 적용 or 유지 관리 기간 적용 선택

[두 번째 방법]

1) RDS 콘솔 접속 후 우측 상단의 Modify 선택

2) DB engine version 에서 버전 선택

3) 우측 하단의 Continue 선택

4) 유지/관리 기간 적용 or 즉시 적용 선택 후 Modify DB instance 선택

[업그레이드 주의 사항]

RDS 마이너 업그레이드 진행 시 수 분에서 수 시간 다운 타임이 발생할 수 있습니다.

Reference

▶ 참고문서[1] : Upgrading the MySQL DB engine - Amazon Relational Database Service