helpot.kr helpot.kr

대회 소개

• Dialogue Summarization 경진대회는 주어진 데이터를 활용하여 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발하는 대회입니다. 그러나 하나의 대화에서도 관점, 주제별로 정리하면 수 많은 요약을 만들 수 있습니다. 대화를 하는 도중에 이를 요약하게 되면 대화에 집중할 수 없으며, 대화 이후에 기억에 의존해 요약하게 되면 오해나 누락이 추가되어 주관이 많이 개입되게 됩니다.
• 일상생활에서 대화는 항상 이루어지고 있습니다. 회의나 토의는 물론이고, 사소한 일상 대화 중에도 서로 다양한 주제와 입장들을 주고 받습니다. 나누는 대화를 녹음해두더라도 대화 전체를 항상 다시 들을 수는 없기 때문에 요약이 필요하고, 이를 위한 통화 비서와 같은 서비스들도 등장하고 있습니다.

Timeline

• 대회기간 : 2024.08.29.목 10:00 ~ 2024.09.10.화 19:00

Evaluation

• ROUGE는 텍스트 요약, 기계 번역과 같은 태스크를 평가하기 위해 사용되는 대표적인 metric입니다. 모델이 생성한 요약본 혹은 번역본을 사람이 만든 참조 요약본과 비교하여 점수를 계산합니다.
  • ROUGE-Recall: 참조 요약본을 구성하는 단어들 중 모델 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.
  • ROUGE-Precision: 모델 요약본을 구성하는 단어들 중 참조 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.
• ROUGE-N과 ROUGE-L은 비교하는 단어의 단위 개수를 어떻게 정할지에 따라 구분됩니다.
  • ROUGE-N은 unigram, bigram, trigram 등 문장 간 중복되는 n-gram을 비교하는 지표입니다.
    • ROUGE-1는 모델 요약본과 참조 요약본 간에 겹치는 unigram의 수를 비교합니다.
    • ROUGE-2는 모델 요약본과 참조 요약본 간에 겹치는 bigram의 수를 비교합니다.
  • ROUGE-L: LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정합니다. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교가 가능합니다.
  • ROUGE-F1은 ROUGE-Recall과 ROUGE-Precisioin의 조화 평균입니다.

개인 Branch

• https://github.com/UpstageAILab3/upstage-nlp-summarization-nlp2/tree/kimkihong

데이터 및 상세 내용

• 저작권 관련된 항목이 있어서, 몇 가지만 기입한다.
• 상단에 기입한 git 주소 접속하면, 상세 내용을 확인할 수 있다.

나는 내 학습목표를 달성하기 위해 무엇을 어떻게 했는가?

• EDA, 전처리, 모델링, keyBERT 키워드추출, 특별히 LLM 파인튜닝까지 모든 부분을 진행하였다.

마주한 한계는 무엇이며, 아쉬웠던 점은 무엇인가?

• LLM 파인튜닝 부분이 약간 아쉽다.
  우리 조 보다 점수가 조금 높아서 1등 했던 팀도, 구글 젬마 모델을 이용하였는데, 파인튜닝을 통해 성능을 올렸음을 공유 받았다.
  항상 그렇지만, 가장 마지막으로 시도했던 LLM 파인튜닝을 하루 이틀만 빨리 시도했어도, 점수를 많이 올릴 수 있었는데 아쉽다.
  1등 했던 조와의 차이점은 시간 분배이다. 해당 조는 시작할 때 부터, 각자가 해야할 파트를 정해서 그것만 진행했다고 한다.
• 대회 내용이 아쉽다.
  정말 한땀한땀 오타를 찾아내며, 전처리를 엄청나게 진행했지만, 점수가 향상되지 않았다.
  우리 조 뿐만 아니라, 다른 조도 마찬가지였고, 다른 기수도 동일한 이슈가 있었다고 한다.
  더불어, 대회 강사님도 동일한 피드백을 하셨다.

한계/교훈을 바탕으로 다음 경진대회에서 시도해보고 싶은 점은 무엇인가?

• 다음 달에 또 LLM 대회가 있으니, LLM 파인튜닝과 RAG 등 여러 부분에 대해 미리 학습하고 프로토타입을 구축하려 한다.

#패스트캠퍼스 #UpstageAILab #Upstage #부트캠프 #AI #데이터분석 #데이터사이언스 #인공지능개발자 #ML #머신러닝 #경진대회 등