인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기
-
[Upstage AI Lab 3기] 인공지능으로 풀려는 문제를 찾아내는 과정인 데이터 분석 EDA인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 5. 1. 23:42
약 1주일에 걸쳐서, 통계학과 EDA를 배웠다.내가 정의한 데이터 분석(EDA)은 "인공지능으로 풀려는 문제를 찾아내는 과정"이라고 정의하겠다. 데이터 분석 과정해결하려는 문제 찾기데이터 수집: 문제 관련 데이터를 어디서 어떻게 수집할 것인가? API, 크롤링 활용데이터 전처리: 수집한 데이터를 정제 작업이 필요하다.탐색적 데이터 분석: 데이터 상관 관계, 이상치, 결측치가설 수립: 귀납 추론, 대립 추론통계적 분석: 가설 검정, 상관 분석, 회귀 분석모델링 및 예측: 머신러닝 알고리즘 등을 활용하여 패턴 학습 및 예측시각화 및 결과 해석: 여러 데이터를 직관적으로 파악할 수 있도록 그래프화결과를 활용하여 실제 문제 해결 데이터 분석을 위해 가장 많이 사용되는 라이브러리numpypandas 분석한 데이터..
-
[Upstage AI Lab 3기] Data Scientist 마인드셋 특강인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 27. 01:58
현직자의 특강이 있었다.현직자의 의견 중, 요즘 트랜드 및 실제적인 관점에서 중요한 의견을 남겨 주셨는데, 아래와 같다.요즘 모든 인공지능 회사들이 진행하는 내용: SLM + RAG1위 PyTorch 기반의 허깅페이스2위 PyTorch 기반의 랭체인 SLM, RAGSLM(Small Language Model) 분야가 인기가 있다고 하신다.LLM 의 경우, 일반 회사에서 구축하기는 무리가 있고, 구축한다 하더라도 OpenAI나 구글과 같은 세계적인 기업을 이기기 어렵다. 따라서, 그 보다 소규모인 SLM 구축 부분이 실제적으로 인기가 있다고 하신다.RAG(Retrieval-Augmented Generation)은 최근 자연어 처리 분야에서 중요한 주제로 떠오르고 있는 기술이다.정보 검색(Informatio..
-
[Upstage AI Lab 3기] 데이터 분석의 근본 Statistics인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 26. 01:54
머신러닝 모델링을 위해 필요한 능력머신러닝을 몇 일 배우면서 확실하게 느껴지는 것은 아래와 같다.머신러닝을 직접 모델링하고, 상용 서비스를 제공하려면 아래와 같은 능력은 필수임을 깨닫는 중이다.아래 각 챕터 하나하나가 몇 년씩 공부해도 부족할 전문 영역이다.컴퓨터공학 전공 지식서버, 네트워크, DB 세팅 능력백엔드 프로그래밍프론트 프로그래밍데이터 크롤링통계학 전공 지식데이터 분석인공지능 전공 지식머신러닝 라이브러리 활용머신러닝 직접 모델링 통계학 전공 지식특별히, 이번에 배운 통계학 관련 전공 지식은 그 내용이 매우 방대하고, 수식과 그래프가 많다.전부 복습하고 블로그에도 상세히 남기려 한다.우선, 목차부터 정리해본다.Arithmetic mean 산술 평균Geometric mean 기하 평균Harmon..
-
[Upstage AI Lab 3기] 소스코드 형상관리 GIT인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 26. 00:25
어떤 도메인의 개발자라 하더라도, 소스코드 형상관리는 필수이다.형상관리의 독보적인 GIT은 모든 개발자가 배우고 사용해야 하는 필수 도구가 되었다.특별히 이번 수업 때, 내가 기억해야 할 부분은 git flow 이다. Flow 란?flow라는 것은 브랜칭 전략이면서, 배포 전략이기도 하다.개인 개발자가 아닌 팀이나 회사 입장에서는, 개발 단계, QA 단계, 배포 단계 등 실제 프로그램 출시 전에 여러 테스트 단계를 거쳐야 한다.그에 맞춰 소스코드도 관리되어야 하는데, 이를 개념화 한 것이 바로 flow이다. Github Flow VS GitLab Flow VS Git Flowgithub나 gitlab은 git에 속한 원격 저장소들이기 때문에 git flow가 기본이다.취업을 목표로 한다면, git..
-
[Upstage AI Lab 3기] 빠르게 인기가 많아지고 있는 FastAPI인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 10. 23:31
이번 파이썬 강의 때 FastAPI를 함께 학습하였다. fastapi가 출시하자마자 부터, 인기가 주춤하지도 않고, 계속 상승중이다. 나는 이전까지 flask를 주로 이용하였다. fastapi가 인기가 많아지는 것은 알았지만, 이 정도인지는 몰랐다. Github star 비교 직접 github에서 검색해봐도, fastapi 스타 수가 flask 보다 많다;; 출시된지 약 5년 정도인데도 불구하고, 엄청난 인기로 보인다. 왜 이렇게 인기가 많은걸까? 아래 따로 정리하였다. FastAPI의 장점 빠른 성능과 고성능 비동기 지원 FastAPI는 Starlette 프레임워크를 기반으로 하며, 이를 통해 비동기 요청 처리를 지원한다. 비동기 처리를 통해 높은 성능과 효율적인 자원 활용을 제공하며, 대규모 및 실시..
-
[Upstage AI Lab 3기] 구글 플레이스토어 댓글 리뷰 크롤링인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 10. 23:11
구글 플레이스토어 댓글 리뷰 크롤링을 진행에 주의점을 남긴다. 주의할 점1 특정 어플의 "리뷰 모두 보기"를 누르면, 위 사진과 같이 모달 창이 나타난다. 주의할 점은, 창이 보여지자마자 나타나는 댓글은 총 20개라는 사실이다. 원하는 만큼 댓글을 크롤링하기 위해서는 스크롤을 내려야 한다. 주의할 점2 결론부터 정리하면, 새롭게 나타난 모달 창 내부의 특정 요소를 클릭하는 코드를 실행한 이후, 스크롤 조작을 해야 한다. 본 모달 화면의 특징은 이러하다. 웹 사이트마다 다르지만, 이번 경우는 브라우저의 새로운 창으로 나타난 것이 아니기 때문에, 셀레니움의 창 포커스 변경하는 함수로도 창 변경이 이뤄지지 않는다. 이런 상태에서 스크롤 이동 코드를 실행해봤자, 뒤편의 메인 창 스크롤만 움직일 뿐이다. 본 모달..
-
[Upstage AI Lab 3기] 파이썬 기초 및 셀레니움 크롤링인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 4. 11:31
강사님 김인섭 강사님이었다. 파이썬 프로그래밍을 활용하여 다양한 사업으로 매출을 올리는 분이다. 젊어보이시는데 대단하다. 개발자로 회사 생활 및 창업하면서 필요한 노하우를 그대로 모두 공유해주셔서 감사하다. 기술만을 더욱 깊이 파거나 연구하는 개발자도 좋지만, 기술을 활용하여 매출을 발생하는 개발자가 나는 더 멋있어 보인다. 수업 방식 교안은 강사님이 미리 작성하신 노션 문서를 공유해 주셨다. 나의 노션 워크스페이스로 복사해서 수정, 추가가 가능하니 매우 좋다. 더불어, 기초 실습의 경우 구글 코랩을 활용하였다. 화상채팅 줌 화면으로 공유해 주셔서, 실습 화면을 함께 보면서 진행된다. 크롤링의 경우는 수강생들 각자의 컴퓨터에서 진행한다. 강사님께서는 vscode를 추천해 주셨고, 세팅이 원활하지 않는 수..
-
[Upstage AI Lab 3기] 패스트캠퍼스 부트캠프 OT!인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 3. 09:39
패스트캠퍼스 부트캠프 Upstage AI Lab 3기를 통해 인공지능 분야로 도전하는 과정을 정리한다. 부트캠프 도전 이유 만들고 싶은 인공지능 챗봇이 생겼다. 인공지능 분야를 독학하기 위해, 서점에서 책을 펼쳤다가 덮은 것이 한두번이 아니다. 어려워서 포기했다기 보다는, 쉽게 설명하는 내용을 찾지 못했었기 때문이다. 여러 분야를 독학해서 많은 서비스들을 내놓아봤지만, 인공지능 만큼은 혼자할 엄두를 내지 못했었다. 나도 말로만 듣던 부트캠프를 수강해 본다. 부트캠프 선정되기 위해 치뤘던 테스트들과 면접들을 통해 이미 긴장이 고조되었다. 한번 진행해보자. 패스트캠퍼스 선택 이유 인공지능 탑티어인 업스테이지사와 연계해서 강의가 진행된다. 현업분들의 노하우를 들을 수 있을 듯 하다. (실제 과정 기간 중, 절..