프로젝트

일반

사용자 정보

실행

태스크 #12828

csi-driver-lvm 에이징 테스트

이 헌제님이 약 한달 전에 추가함. 23일 전에 수정됨.

상태:
진행
우선 순위:
보통
담당자:
목표 버전:
시작 시간:
2026/01/08
완료 기한:
2026/01/12 (33일 지연)
진척도:

0%

추정 시간:
6:00 시간
발견 버전:
반영 버전:
난이도:
쉬움
중요도:
조력자:
회사:
연락처:
점수:
0.44

설명

개요

  • [ AnyStor-E 3.3.3 ] - [ csi-driver-lvm ] - [ k8s cluster ] 의 구성으로 PVC 구성 시 AnyStor-E 에서 LV 및 공유를 구성할 수 있도록 한다.
  • PV 를 생성한 이후에 장시간 운용 시 자원을 많이 사용하는 사례가 있어 이를 에이징 테스트한다.

개선 포인트

  • 모든 API 에 대해 timeout 을 지정하여 무기한 대기하지 않도록 한다.
  • k8s 의 볼륨에 nfs 마운트 한 경우 마운트가 실패한 경우 혹은 기타 rpc 요청에 대해 timeout 을 지정하여 무기한 대기하지 않도록 한다.

테스트 기간

  • 이를 4일간 테스트하여 cpu 및 메모리로 인해서 장애가 발생하지 않는지 확인한다.
  • 기타 장애가 발생했다면 이도 처리한다.

난이도 및 추정시간

  • 단순 테스트로 난이도 쉬움
  • 추정시간 4일이지만 지속 관찰은 하지 않으므로 테스트 구성 및 확인에 6시간으로 추정한다.

파일

실행 #1

이 헌제님이 약 한달 전에 변경

  • 1일 경과

  • 2일 경과

  • 3일 경과

  • 4일 경과

하루당 5~10K 정도의 누수가 있음

실행 #2

이 헌제님이 약 한달 전에 변경

자주 사용하는 transport 에서 idle 을 주기적으로 정리하도록 추가

  • 에이징 시작

실행 #3

이 헌제님이 약 한달 전에 변경

http transaction connection pool 관련 재사용 처리후 에이징 테스트 재시작

REf: https://tech.buzzvil.com/blog/http-connection-pool-in-go-explained/

실행 #4

이 헌제님이 약 한달 전에 변경

5k 정도 누수 아직 있음

실행 #5

이 헌제님이 약 한달 전에 변경

  93 >---localVarHttpResponse, err := a.client.callAPI(r)                            
  94 >---if err != nil || localVarHttpResponse == nil {          <-------------------------                     
  95 >--->---return localVarHttpResponse, err                                        
  96 >---}                                                                           
  97                                                                                 
  98 >---localVarBody, err := ioutil.ReadAll(localVarHttpResponse.Body)              
  99 >---localVarHttpResponse.Body.Close()                                           
 100 >---if err != nil {                                                             
 101 >--->---return localVarHttpResponse, err                                        
 102 >---} 

등에서 제대로 Body를 Close 해주지 않음

실행 #6

이 헌제님이 약 한달 전에 변경

  • 상태 항목을 변경했습니다 (신규 => 진행)
실행 #7

이 헌제님이 약 한달 전에 변경

실행 #8

이 헌제님이 약 한달 전에 변경

에이징 재시작

실행 #9

이 헌제님이 약 한달 전에 변경

  • 파일 항목을 지웠습니다. (clipboard-202601131445-lndfv.png)
실행 #10

이 헌제님이 약 한달 전에 변경

기록

  • 2026-01-13 15:30 31.9M
  • 2026-01-13 17:40 31.9M
  • 2026-01-13 19:30 31.9M
  • 2026-01-14 09:30 31.9M
  • 2025-01-19 09:15 31.9M
실행 #11

이 헌제님이 23일 전에 변경

  • 점수 항목을 변경했습니다 (2.56 => 0.44)

추가 적용사항

  • csi-driver-lvm 의 누수가 아닌 nfs kernel paging 이슈로 보임 (go 의 pprof 돌렸을때 특이사항 없고, page cache 날렸을 경우 메모리 낮아짐)
  • nfs 누수를 막기 위한 rsize,wsize 옵션 추가
  • 하는 김에 일반 볼륨은 rwm 으로 스냅샷은 읽기 전용으로 성능 최적화
실행

내보내기 Atom PDF

클립보드 이미지 추가 (최대 크기: 50 MB)