[JDBC] 커넥션풀, 데이터 소스

2. 커넥션풀과 데이터소스 이해

1. 커넥션 풀 이해

데이터베이스 커넥션 매번 획득

위 그림은 데이터베이스 커넥션을 획득할 때의 과정인데 꽤나 복잡한 과정을 거친다.

1. 애플리케이션 로직은 DB 드라이버를 통하여 커넥션을 조회한다. 

2. DB 드라이버는 DB와 TCP/IP 커넥션을 연결하는데 3 way handshake 동작이 발생한다.

3. DB 드라이버는 TCP/IP 커넥션이 연결되면 ID, PW 등 정보를 DB에 전달한다.

4. DB는 내부 인증을 완료하고 내부에 DB 세션을 생성한다.

5. DB는 커넥션이 생성 완료되었다는 응답을 보낸다.

6. DB 드라이버는 커넥션 객체를 생성하여 클라이언트에 반환한다.

 

커넥션을 만드는 과정은 복잡하기도 하고 시간도 많이 걸린다.  그래서 이런 문제를 해결하기 위해 커넥션을 미리 생성해두고 사용하는 커넥션 풀이라는 방법을 사용한다. 실무에서는 항상 커넥션 풀을 기본으로 사용한다.

커넥션 풀은 성능이 뛰어난 오픈소스들이 많기 때문에 오픈 소스를 사용하는데 주로 HikariCP를 사용한다.

 

커넥션 풀은 말 그대로 커넥션을 관리하는 풀이다. 애플리케이션을 시작할 때 커넥션 풀은 필요한 만큼 커넥션을 미리 확보하여 풀에 보관한다. 기본값은 보통 10개이다. 

커넥션 풀에 들어있는 커넥션은 TCP/IP로 DB와 커넥션이 연결되어 있는 상태이기 때문에 언제든 즉시 SQL을 DB에 전달할 수 있다.

 

애플리케이션 로직에서는 DB 드라이버를 통하여 새로운 커넥션을 획득하는 것이 아닌 커넥션 풀을 통해 이미 생성되어 있는 커넥션을 객체 참조로 그냥 가져다 쓰기만 하면 된다. 커넥션 풀에 커넥션을 요청하게 되면 커넥션 풀은 자신이 갖고 있는 커넥션 중 하나를 반환한다.

그 후 애플리케이션 로직은 커넥션 풀에서 받은 커넥션을 사용하여 SQL을 DB에 전달하고 그 결과를 받아서 처리한다.

커넥션을 모두 사용하면 종료하는 것이 아닌 다음 번에 다시 사용할 수 있게 해당 커넥션을 그대로 커넥션 풀에 반환한다.

(커넥션을 종료하는 것이 아닌 살아 있는 상태로 반환한다.)

 

2. DataSource 이해

커넥션을 얻는 방법에는 JDBC DriverManager을 직접 사용하거나, 커넥션 풀을 사용하는 등 다양한 방법이 존재한다.

앞서 JDBC로 개발한 애플리케이션처럼 DriverManager를 통해서 커넥션을 획득하다가, HikariCP 같은 커넥션 풀을 사용하는 방법으로 변경하기 위해서는 의존 관계가 변경 되기 때문에 커넥션 획득하는 애플리케이션 코드도 함께 변경해야 한다.

그래서 자바에서는 이런 문제를 보다 쉽게 해결하기 위해 javax.sql.DataSource라는 인터페이스를 제공하는데 DataSource는 커넥션을 획득하는 방법을 추상화 하는 인터페이스이다. 이 인터페이스는 커넥션 조회가 제일 핵심 기능이다.

대부분의 커넥션 풀은 이미 DataSource인터페이스를 구현해두었기 때문에 개발자는 DataSource 인터페이스에만 의존하도록 애플리케이션 로직을 작성하기만 하면 된다.

 

DriverManager는 DataSource 인터페이스를 사용하지 않아서 직접 사용해야만 한다. 그래서 DataSource 기반 커넥션 풀을 사용하려면 관련 코드를 모두 고쳐야하는 번거로움이 있는데 스프링은 이러한 문제 해결을 위해 DriverManagerDataSource라는 DataSource를 구현한 클래스를 제공하여 DriverManager도 DataSource를 통해 사용할 수 있게 한다. 

 

3. DataSource 예제1 - DriverMangaer

기존 DriverManager을 통하여 커넥션을 획득하는 방법을 확인해보자

[ConnectionTest.java] -드라이버 매니저

@Slf4j
public class ConnectionTest {

    /*
    * 기존 DriverManager 이용
    * */
    @Test
    void driveManager() throws SQLException {
        Connection con1 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        Connection con2 = DriverManager.getConnection(URL, USERNAME, PASSWORD);
        //getConnection 호출할 때 마다 파라미터 전달해야함
        log.info("connection={}, class={} ", con1, con1.getClass());
        log.info("connection={}, class={} ", con2, con2.getClass());
    }
  }

connection=conn0: url=jdbc:h2:tcp://..test user=SA, class=class org.h2.jdbc.JdbcConnection

connection=conn1: url=jdbc:h2:tcp://..test user=SA, class=class org.h2.jdbc.JdbcConnection

 

[ConnectionTest.java] - 데이터소스 드라이버 매니저 추가

/*
    * 스프링 제공하는 DataSource가 적용된 DriveManager
    * */
    @Test
    void dataSourceDriverManger() throws SQLException {
        //DriverMangerDataSource - 항상 새로운 커넥션 획득
        DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
        useDataSource(dataSource);
        //생성할 때만 파라미터 전달하고 사용할 땐 getConnection만 호출
    }

    private void useDataSource(DataSource dataSource) throws SQLException {
        Connection con1 = dataSource.getConnection();
        Connection con2 = dataSource.getConnection();
        log.info("connection={}, class={} ", con1, con1.getClass());
        log.info("connection={}, class={} ", con2, con2.getClass());
    }

DriverManagerDataSource - Creating new JDBC DriverManager Connection to [jdbc:h2:tcp:..test] DriverManagerDataSource - Creating new JDBC DriverManager Connection to [jdbc:h2:tcp:..test]

connection=conn0: url=jdbc:h2:tcp://..test user=SA, class=class org.h2.jdbc.JdbcConnection

connection=conn1: url=jdbc:h2:tcp://..test user=SA, class=class org.h2.jdbc.JdbcConnection

 

DriverManager과 DataSouce를 통하여 커넥션을 획득하는 방법에는 큰 차이가 있는데 DriverManager는 커넥션 획득할 때 마다 URL, USERNAME, PASSWORD 같은 파라미터를 계속 전달해야 한다. 반면 DataSource를 사용하는 방식은 처음 객체 생성시에만 필요 파라미터를 넘겨두고 커넥션 획득할 때는 dataSource.getConnection()만 호출하면 된다.

 

설정과 사용의 분리

• 설정 : DataSource를 만들고 필요한 속성을 사용하여 URL, USERNAME, PASSWORD 같은 부분을 입력하는 것을 말한다. 설정과 관련된 속성들은 한 곳에 있어야 변경에 유연하게 대처할 수 있다.
• 사용 : 설정은 신경 쓰지 않고, DataSource의 getConnection()만 호출해서 사용하면 된다.

 

4. DataSource 예제2 - 커넥션 풀

[ConnectionTest.java] - 데이터소스 커넥션 풀 추가

 @Test
    void dataSourceConnectionPool() throws SQLException, InterruptedException {
        //커넥션 풀링 : HikariProxyConnection(Proxy) -> JdbcConnection(Target)
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);
        dataSource.setMaximumPoolSize(10);
        dataSource.setPoolName("MyPool");

        useDataSource(dataSource);
        Thread.sleep(1000); //커넥션 풀에서 커넥션 생성 시간 대기
    }

HikariCp 커넥션 풀을 사용하는데 HidariDataSource는 DataSource 인터페이스를 구현하고 있다. 커넥션 풀에서 커넥션을 생성하는 작업은 애플리케이션의 실행 속도에 영향을 주지 않기 위해 별도의 쓰레드에서 작동하기 때문에 테스트가 먼저 종료 되어 버리는 문제가 생긴다. 이는 예제처럼 Thread.sleep을 통해서 대기 시간을 주어야 로그를 확인할 수 있다.

 

 

#커넥션 풀 초기화 정보 출력

HikariConfig - MyPool - configuration:

HikariConfig - maximumPoolSize................................10

HikariConfig - poolName................................"MyPool"

 

#커넥션 풀 전용 쓰레드가 커넥션 풀에 커넥션을 10개 채움

[MyPool connection adder] MyPool - Added connection conn0: url=jdbc:h2:.. user=SA

[MyPool connection adder] MyPool - Added connection conn1: url=jdbc:h2:.. user=SA

[MyPool connection adder] MyPool - Added connection conn2: url=jdbc:h2:.. user=SA

[MyPool connection adder] MyPool - Added connection conn3: url=jdbc:h2:.. user=SA

[MyPool connection adder] MyPool - Added connection conn4: url=jdbc:h2:.. user=SA

...

[MyPool connection adder] MyPool - Added connection conn9: url=jdbc:h2:.. user=SA

 

#커넥션 풀에서 커넥션 획득1

ConnectionTest - connection=HikariProxyConnection@446445803 wrapping conn0: url=jdbc:h2:tcp://localhost/~/test user=SA, class=class

com.zaxxer.hikari.pool.HikariProxyConnection

 

#커넥션 풀에서 커넥션 획득2

ConnectionTest - connection=HikariProxyConnection@832292933 wrapping conn1: url=jdbc:h2:tcp://localhost/~/test user=SA, class=class

com.zaxxer.hikari.pool.HikariProxyConnection

 

MyPool - After adding stats (total=10, active=2, idle=8, waiting=0)

 

커넥션 풀에서 커넥션을 2개 획득하고 반환하지 않았다. 그래서 풀에 있는 10개 커넥션 중 2개를 가지고 있는 상태이다.

마지막 로그에서 보면 사용중인 커넥션 active =2, 풀에서 대기 상태인 커넥션 idle=8을 확인할 수 있다.

 

5. DataSource 적용

애플리케이션에 DataSource를 적용해보자

[MemberRepositoryV1.java]

/*
*  JDBC - DataSource 사용, JdbcUtils 사용
* */
@Slf4j
public class MemberRepositoryV1 {

    //의존 관계 주입
    private final DataSource dataSource;

    public MemberRepositoryV1(DataSource dataSource) {
        this.dataSource = dataSource;
    }
    
	//save() 
    //findById()
    //update() 
    //delete()
   
    //해제
    /*
    * 해제는 rs -> pstmt -> con 으로
    * */
    private void close(Connection con, Statement stmt, ResultSet rs) {

        JdbcUtils.closeResultSet(rs);
        JdbcUtils.closeStatement(stmt);
        JdbcUtils.closeConnection(con);

    }
    private Connection getConnection() throws SQLException {
        Connection con = dataSource.getConnection();
        //dataSource에서 커넥션 획득
        log.info("get connection={}, class={}",con, con.getClass());
        return con;
    }
}

외부에서 DataSource를 주입 받아 사용을하므로 직접 만든 DBConnectionUtil을 사용하지 않아도 된다.

DataSource는 표준 인터페이스이기 때문에 DriverManagerDataSource에서 HikariDataSource로 변경되어도 해당 코드를 변경하지 않아도 된다.

스프링은 JDBC를 편리하게 다룰 수 있는 JdbcUtils라는 편의 메서드를 제공한다. 이를 사용하면 커넥션을 좀 더 편리하게 닫을 수 있다.

 

[MemberRepositoryV1Test.java]

@Slf4j
class MemberRepositoryV1Test {

    MemberRepositoryV1 repository;
    @BeforeEach //각 테스트 실행되기 직전에 실행
    void beforEach() {
        //기본 DriverManager - 항상 새로운 커넥션 획득 -> 성능 느림
       /* DriverManagerDataSource dataSource = new DriverManagerDataSource(URL, USERNAME, PASSWORD);
        */
        //커넥션 풀링
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);
        repository = new MemberRepositoryV1(dataSource);

    }
    @Test
    void crud() throws SQLException {
        log.info("start");

        //save
        Member member = new Member("memberV5", 10000);
        repository.save(member);

        //findById
        Member memberById = repository.findById(member.getMemberId());
        assertThat(memberById).isNotNull();

        //update : money: 10000 -> 20000
        repository.update(member.getMemberId(), 20000);
        Member updateMember = repository.findById(member.getMemberId());
        assertThat(updateMember.getMoney()).isEqualTo(20000);

        //delete
        repository.delete(member.getMemberId());
        assertThatThrownBy(() -> repository.findById(member.getMemberId()))
                .isInstanceOf(NoSuchElementException.class);
    }
}

MemberRepositoryV1은 DataSource 의존관계 주입이 필요하다.

 

DriverManagerDataSource 사용

get connection=conn0: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

get connection=conn1: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

get connection=conn2: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

get connection=conn3: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

get connection=conn4: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

get connection=conn5: url=jdbc:h2:.. user=SA class=class org.h2.jdbc.JdbcConnection

 

DriverManagerDataSource를 사용하면 conn0~5 번호를 통해서 매번 새로운 커넥션이 생성되어 사용된다.

 

HikariDataSource 사용

get connection=HikariProxyConnection@xxxxxxxx1 wrapping conn0: url=jdbc:h2:... user=SA

get connection=HikariProxyConnection@xxxxxxxx2 wrapping conn0: url=jdbc:h2:... user=SA

get connection=HikariProxyConnection@xxxxxxxx3 wrapping conn0: url=jdbc:h2:... user=SA

get connection=HikariProxyConnection@xxxxxxxx4 wrapping conn0: url=jdbc:h2:... user=SA

get connection=HikariProxyConnection@xxxxxxxx5 wrapping conn0: url=jdbc:h2:... user=SA

get connection=HikariProxyConnection@xxxxxxxx6 wrapping conn0: url=jdbc:h2:... user=SA

 

테스트는 순서대로 실행되기 때문에 커넥션을 사용하고 다시 돌려주는 것을 반복한다. 커넥션 풀 사용시 conn0 커넥션이 재사용된 것을 확인할 수 있다. 

 

DriverManagerDataSource에서 HikariDataSource로 변경해도 MemberRepositoryV1의 코드는 변경할 필요가 없다. MemberRepositoryV1는 DataSource 인터페이스에만 의존하기 때문인데 DataSource를 사용하는 장점이다.