[큐브리드] 프로시저 메모리 누수

어느날 테이블에 5000건 이상의 데이터가 연계되어 들어와 프로시저를 실행하며 DB가 오버플로우가 발생하는 현상이 있었다.

 

문제의 프로시저다(테이블 이름과 컬럼명 등 좀 각색함.)

public static void procedure(){

    Connection conn = null;
    Statement stmt = null;
    PreparedStatement pstmt = null;
    ResultSet rs = null;

    StringBuffer sSql = new StringBuffer();
    StringBuffer iSql = new StringBuffer();

    sSql.append("select * from A");

    iSql.append("MERGE INTO ");
    iSql.append("B");
    iSql.append(" USING db_root            ");
    iSql.append("        ON no = ?                             ");
    iSql.append(" WHEN MATCHED THEN           ");
    iSql.append("   UPDATE SET            ");
    iSql.append("         cd = ?                             ");
    iSql.append("        ,nm = ?                             ");
    iSql.append(" WHEN NOT MATCHED THEN                                 ");
    iSql.append("     INSERT (                                        ");
    iSql.append("         no");
    iSql.append("         cd");
    iSql.append("        ,nm");
    iSql.append("     ) VALUES (                                      ");
    iSql.append("                 ?,?,?   ) ");

    try {
                conn = ConnectionFactory.getConnection();
                stmt = conn.createStatement();
                rs = stmt.executeQuery(sSql.toString());

                while (rs.next()) {

                    String no = rs.getString("no");
                    String cd = rs.getString("cd");
                    String nm = rs.getString("name");

                    try {
                        int n = 0;

                        pstmt = conn.prepareStatement(iSql.toString());

                        pstmt.setString(++n, no);
                        pstmt.setString(++n, cd);
                        pstmt.setString(++n, nm);

                        pstmt.executeUpdate();
						
                        pstmt.close();

                    } catch (Exception e) {
                        e.printStackTrace();
                    } finally {

                    }
                }

    } catch (SQLException e) {
        e.printStackTrace();
    } finally {
        rs.close();
        stmt.close();
        conn.close();
    }
    
}

 

문제점 1. 

    - pstmt를 실행하였을때 에러가 났을 경우 close 해주는 곳이 없다.

문제점 2.

    - 5000건 이상을 하나씩 commit하게 되어 작업이 뒤로 밀린다.

 

 

해결방법

public static void procedure(){

    Connection conn = null;
    Statement stmt = null;
    PreparedStatement pstmt = null;
    ResultSet rs = null;

    StringBuffer sSql = new StringBuffer();
    StringBuffer iSql = new StringBuffer();

    sSql.append("select * from A");

    iSql.append("MERGE INTO ");
    iSql.append("B");
    iSql.append(" USING db_root            ");
    iSql.append("        ON no = ?                             ");
    iSql.append(" WHEN MATCHED THEN           ");
    iSql.append("   UPDATE SET            ");
    iSql.append("         cd = ?                             ");
    iSql.append("        ,nm = ?                             ");
    iSql.append(" WHEN NOT MATCHED THEN                                 ");
    iSql.append("     INSERT (                                        ");
    iSql.append("         no");
    iSql.append("         cd");
    iSql.append("        ,nm");
    iSql.append("     ) VALUES (                                      ");
    iSql.append("                 ?,?,?   ) ");

    try {
                conn = ConnectionFactory.getConnection();
                stmt = conn.createStatement();
                pstmt = conn.prepareStatement(iSql.toString());
                rs = stmt.executeQuery(sSql.toString());

				int i = 0;

				while (rs.next()) {

                            String no = rs.getString("no");
                            String cd = rs.getString("cd");
                            String nm = rs.getString("name");

                            try {
                                
                                int n = 0;

                                pstmt = conn.prepareStatement(iSql.toString());

                                pstmt.setString(++n, no);
                                pstmt.setString(++n, cd);
                                pstmt.setString(++n, nm);

                             	pstmt.addBatch();
								pstmt.clearParameters();

								i++;
                                
                               	//OutOfMemory를 고러해 백건단위 커밋
                                if (i % 100 == 0) {
                                    //batch 실행
                                    pstmt.executeBatch();
                                    //batch 초기화
                                    pstmt.clearBatch();
                                }

                            } catch (Exception e) {
                                e.printStackTrace();
                           
                }
                
                //커밋되지않은 나머지 구문 커밋
                pstmt.executeBatch();

                pstmt.close();
                conn.close();

    } catch (SQLException e) {
        e.printStackTrace(); 
    } finally {
    	if (pstmt != null) try {pstmt.close();pstmt = null;} catch(SQLException ex){}
		if (conn != null) try {conn.close();conn = null;} catch(SQLException ex){}
        if (stmt != null) try {stmt.close();stmt = null;} catch(SQLException ex){}
    }
    
}

방법 1. executeUpdate 방법을 Batch를 add하여 execute하는 방법으로 변경

방법 2. out of memory를 방지하기 위해 100건단위로 배치를 커밋. (기존엔 한건단위로 커밋하여 시간소요)