[트러블 슈팅] 외부에서의 redis 접근으로 인한 복제 노드로 변환되는 문제

문제 및 원인

Caused by: io.lettuce.core.RedisReadOnlyException: READONLY You can't write against a read only replica.
    at io.lettuce.core.internal.ExceptionFactory.createExecutionException(ExceptionFactory.java:144)

서버 에러가 발생하였습니다. redis의 노드가 복제로 인해서 readonly로 바뀌었다는 로그를 확인할 수 있었습니다.

저희 시스템은 redis를 refresh token을 저장하는 용도로 사용하고 있습니다. redis에 쓰기 접근이 안되기에 로그인이 불가한 상황이었습니다.

더군다나 저희는 복제를 활용하는 sentinel이나 클러스터 모드를 사용하지 않는 저희로서는 황당한 에러였는데요.

redis 로그 확인

ubuntu@ip-*****:~$ tail -n 100 /var/log/redis/redis-server.log

레디스가 readonly로 변하게 된 정확한 이유를 파악해보기로 했습니다.

redis-server.log

129991:C 17 Mar 2025 13:45:36.087 * Fork CoW for RDB: current 0 MB, peak 0 MB, average 0 MB
120429:M 17 Mar 2025 13:45:36.179 * Background saving terminated with success
120429:M 17 Mar 2025 15:55:35.362 * 1 changes in 3600 seconds. Saving...
120429:M 17 Mar 2025 15:55:35.363 * Background saving started by pid 130262
130262:C 17 Mar 2025 15:55:35.369 * DB saved on disk
130262:C 17 Mar 2025 15:55:35.370 * Fork CoW for RDB: current 0 MB, peak 0 MB, average 0 MB
120429:M 17 Mar 2025 15:55:35.463 * Background saving terminated with success
120429:M 17 Mar 2025 16:55:36.055 * 1 changes in 3600 seconds. Saving...
120429:M 17 Mar 2025 16:55:36.057 * Background saving started by pid 130802
130802:C 17 Mar 2025 16:55:36.062 * DB saved on disk
130802:C 17 Mar 2025 16:55:36.063 * Fork CoW for RDB: current 0 MB, peak 0 MB, average 0 MB
120429:M 17 Mar 2025 16:55:36.157 * Background saving terminated with success
120429:M 17 Mar 2025 19:18:05.325 * Background saving started by pid 131064
131064:C 17 Mar 2025 19:18:05.332 * DB saved on disk
131064:C 17 Mar 2025 19:18:05.333 * Fork CoW for RDB: current 0 MB, peak 0 MB, average 0 MB
120429:M 17 Mar 2025 19:18:05.362 * Background saving terminated with success
120429:S 17 Mar 2025 19:18:05.411 * Before turning into a replica, using my own master parameters to synthesize a cached master: I may be able to synchronize with the new master with just a partial transfer.
120429:S 17 Mar 2025 19:18:05.411 * Connecting to MASTER 8.134.137.47:23721
120429:S 17 Mar 2025 19:18:05.411 * MASTER <-> REPLICA sync started
120429:S 17 Mar 2025 19:18:05.411 * REPLICAOF 8.134.137.47:23721 enabled (user request from 'id=65 addr=8.134.137.47:40870 laddr=172.31.18.212:6379 fd=8 name= age=1 idle=0 flags=N db=0 sub=0 psub=0 ssub=0 multi=-1 qbuf=47 qbuf-free=20427 argv-mem=24 multi-mem=0 rbs=1024 rbp=623 obl=0 oll=0 omem=0 tot-mem=22320 events=r cmd=slaveof user=default redir=-1 resp=3')
120429:S 17 Mar 2025 19:19:06.141 # Timeout connecting to the MASTER...
120429:S 17 Mar 2025 19:19:06.142 * Reconnecting to MASTER 8.134.137.47:23721 after failure
120429:S 17 Mar 2025 19:19:06.142 * MASTER <-> REPLICA sync started
120429:S 17 Mar 2025 19:20:07.316 # Timeout connecting to the MASTER...
120429:S 17 Mar 2025 19:20:07.317 * Reconnecting to MASTER 8.134.137.47:23721 after failure
120429:S 17 Mar 2025 19:20:07.317 * MASTER <-> REPLICA sync started
120429:S 17 Mar 2025 19:21:08.491 # Timeout connecting to the MASTER...
120429:S 17 Mar 2025 19:21:08.492 * Reconnecting to MASTER 8.134.137.47:23721 after failure
120429:S 17 Mar 2025 19:21:08.492 * MASTER <-> REPLICA sync started
120429:S 17 Mar 2025 19:22:09.664 # Timeout connecting to the MASTER...
120429:S 17 Mar 2025 19:22:09.664 * Reconnecting to MASTER 8.134.137.47:23721 after failure
120429:S 17 Mar 2025 19:22:09.665 * MASTER <-> REPLICA sync started
120429:S 17 Mar 2025 19:23:10.837 # Timeout connecting to the MASTER...
120429:S 17 Mar 2025 19:23:10.837 * Reconnecting to MASTER 8.134.137.47:23721 after failure

수 많은 로그 중에서 누군가가 REPLICAOF를 사용해서 저희 서버의 redis를 복제를 시도하였습니다.

REPLICAOF 명령어 사용 시 저희 서버는 마스터 노드를 중지하고, 슬레이브 노드를 생성하게 됩니다.

슬레이브 노드는 읽기 접근만 가능하게 설정되었기에, RT를 발급할 수 없어 시스템의 로그인 오류 문제가 발생하였습니다.

누군가의 외부 침입으로 인한 슬레이브 노드 변환 문제 발견

120429:S 18 Mar 2025 01:05:25.666 # Possible SECURITY ATTACK detected. It looks like somebody is sending POST or Host: commands to Redis. This is likely due to an attacker attempting to use Cross Protocol Scripting to compromise your Redis instance. Connection aborted.

• 누군가가 외부의 접근을 통해서 redis의 데이터를 복제하려하기에 REPLICAOF를 사용한 것이었고 이로 인해 시스템이 마스터 노드와의 연결에서 슬레이브 노드와의 연결을 시도한거였습니다.
• 그러나 슬레이브 노드는 읽기 권한만 활성화되어있기 때문에 RT를 발급 및 저장할 수 없는 에러가 발생한 것이었습니다.

해결방법

외부의 침입을 방지하면 되기에 redis의 비밀번호를 설정하여 REPLICAOF와 같은 명령어가 사용되지않게 조치하기로 하였습니다.

EC2 접속 후 redis.conf 접근

ubuntu@ip-*****:~$ sudo vim /etc/redis/redis.conf
ubuntu@ip-*****:~$ sudo systemctl restart redis

redis.conf 수정

requirepass {비밀번호}

requirepass {비밀번호} 추가를 해줍니다.

redis.conf 영구적용을 위한 재시동

ubuntu@ip-*****:~$ sudo systemctl restart redis

redis-cli 사용 시 비밀번호 입력

ubuntu@ip-*****:~$ redis-cli
127.0.0.1:6379> AUTH 비밀번호
OK

이제부터 명령어를 입력하기 위해서는 앞선 비밀번호 입력이 필요합니다.

외부에서 레디스 포트번호를 통해서 특정 명령어를 입력하더라도 비밀번호가 유출되지않는 한 실행이 불가합니다.

redis 클라이언트 비밀번호 적용

package com.ice.studyroom.config;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.connection.RedisStandaloneConfiguration;
import org.springframework.data.redis.connection.lettuce.LettuceConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.StringRedisSerializer;

@Configuration
public class RedisConfig {

    @Value("${spring.redis.host}")
    private String host;

    @Value("${spring.redis.port}")
    private int port;

    // 추가된 코드 1: .env에서 비밀번호 불러오기
    @Value("${spring.redis.password}")
    private String password;

    // 추가된 코드 2: 비밀번호를 토대로 접근할 수 있게 설정
    @Bean
    public RedisConnectionFactory redisConnectionFactory() {
        RedisStandaloneConfiguration redisConfig = new RedisStandaloneConfiguration(host, port);
        redisConfig.setPassword(password);

        return new LettuceConnectionFactory(redisConfig);
    }

    //.. 다른 코드
}

Spring Boot에서 Redis 클라이언트를 설정하고 Redis와 연결하는 작업을 설정해주었습니다.