[DIVE 2025] 3편 - 사전 준비

2025.08.30 - (자격증 및 대외활동) - (DIVE 2025) 1편 - 참가 신청

2025.08.30 - (자격증 및 대외활동) - (DIVE 2025) 2편 - 공부와 오리엔테이션

사전활동

발제사 선택이 완료되면, 사전활동 기간이 있다.

데이터가 제공되고 사전에 미리 분석을 해온다.

내가 알고 있던 해커톤은 1~2일 밤새면서 만드는 것이 아닌가? 했는데,

데이터가 도메인 관련된 데이터라서, 이해하는데 시간이 오래 걸렸다.

• 실제 데이터를 보안상의 이유로 교체하다보니, 데이터 정제나 연관관계가 깨진 경우도 생긴것 같았다.
• 각 데이터간의 시간대가 다른 경우도 있었다.
• 실제 데이터이다 보니, 이론상으로는 있을 수 없는 데이터가 있는 경우도 있었다.
• 제일 힘들었던 것은, 도메인에 관련된 용어들이었다.
• ...

"부산항 물동량 데이터, 글로벌 경제/국내 경제를 추정할 수 있는 각종 경제지표를 활용하여 부산항 환적 물동량 예측"

에서, 물동량의 단위가 무게인가?컨테이너 단위인가?

정말 여러가지 많은 질문들이 있었다...

(다음번에 다시 대회 주제로 나올만한 것이기 때문에, 질문의 자세한 내용과 답변은 작성하지 않겠습니다)

그리고 많은 파일들로 나누어서 제공되었다. 파일별로 테이블 포맷도 달랐다.

어떤 데이터들이 있는지 쉽게 볼 수 있도록, 각 파일별 데이터 일부를 쉽게 볼 수 있는 페이지도 만들었다.

(데이터 양도 많았기 때문에, 파일을 전부 열 때의 대기시간도 줄일려고 했다)

이미지 뷰어

데이터를 분석해서, 인사이트를 얻어도 관련 외부 데이터 찾는 것도 힘들었다.

우리가 생각한 외부 데이터들이 실제로 없는 경우가 많았기 때문이다.

데이터 분석

또한, 논문, 다른 대회, 유사한 데이터 분석, 유튜브, 다큐, 신문 기사 등등 많은 것들을 찾아보면서 또 다른 인사이트는 없는지 찾아보기도 했다.

대회에서는 소통의 창구로 슬랙을 사용했는데, 정말 이렇게 여러가지를 찾아도 모르는 부분은 슬랙메시지로 질문했다.

발제사와의 대화(보안상 모자이크)

이때는, 검색해서 나오거나 너무 기초적인 것을 물어보지 않도록 한번 더 확인했다.

정말, 정말, 정말 어려운 주제이면서 어려운 데이터였기 때문에,

실제 해커톤에 가서, 알아낸 것들에 대해 멘토링 받고 더 진행해야겠다는 생각을 했다.

그래서 마지막엔 모델을 선정하고 일부 알아낸 정보들로 학습시켜보고 테스트해본 뒤에, 추가 데이터 설정이 쉽도록 코드를 정리했다.

여러 검토 결과, 아래의 3가지 기준으로 스토리를 끌어나가야 겠다고 생각했다.

• 통계적 분석(SARIMA, SRIAMX)
• 머신러닝(XGBoost)
• 딥러닝(LSTM)

여러가지 모델을 테스트 해봄

그 이유는 실제 데이터를 봐야 왜 기준으로 스토리를 이끌어나갔는지 알 수 있다...

(데이터 분석과 각각의 모델 선정의 결과들은 다음번 대회를 위해 생략하겠다.)

(데이터를 파생시키기도 하고, 그래프만 보고 기법적으로 개선해보는 방식도 적용해보기도 했다.)

대회 전까지 위 사항들을 판단하고 정리하기 위해 주말내내 공부하기도 하고, 평일엔 연차를 쓰고 공부하기도 했다.

평일 출근할 때는 빨리 퇴근하고, 스타벅스가서 밤늦게까지 회의도 많이 했다.

회의록

이렇게 열정적으로 해커톤을 진행했기 때문에, 대회에서 무엇을 해야할지 그림을 그려놓고 갈 수 있었다.

데이터 분석을 정~~말 많이하고 다양한 아이디어도 정말 많이 나왔지만,

이 주제가 정~말 어려웠다.

분석한 내용들을 전부 적고싶지만, 다음번에도 나올 수 있는 대회 주제이기 때문에 많은 것들을 생략했음을 참고해주세요.

티스토리 원문