인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기
-
[Upstage AI Lab 3기] 머신러닝 학습 내용인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 6. 2. 23:02
선행 학습머신러닝을 배우기 위해서는, 최소한 아래 내용이 학습되어 있어야 한다.파이썬데이터 분석고등수학 학습 키워드정말 많은 이론을 배우고, 실습을 진행하였다.세부 이론별로만 단일 학습을 진행하였고, 아직은 전반적으로 여러 기법을 서로 어떻게 조합하여 머신러닝 분석을 진행할지 전체적인 그림이 속시원히 그려지지 않는다.다음 단계인 프로젝트를 진행해봐야, 전반적으로 머신러닝 진행과정을 스스로 습득할 듯 하다.우선은, 배운 내용들을 계층 구조로 정리해 보았다. supervised learning_regression--- Lasso(L1) --- Ridge(L2) --- ElasticNet --- model evaluation_MSE --- model evaluation_RMSE --- model evaluat..
-
[Upstage AI Lab 3기] 코딩 테스트 준비인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 5. 20. 20:03
IT 분야에서 개발이 필요한 직군의 많은 경우, 코딩 테스트가 필요하다. 학습이 필요한 내용자료구조List, queue, stack, dictionary(hashtable), graph, heapq(우선순위큐), tree알고리즘완전탐색(+백트래킹), 재귀, 반복문, DFS, BFS, Dijkstra, 정렬, 위상정렬, two pointer, DP 외부 라이브러리 사용하는 것 관련(ex itertools)파이썬에서는 각종 자료구조와 알고리즘을 제공하는 itertools와 같은 외부 라이브러리가 있다. 이런 라이브러리 사용을 코딩 테스트 때 허용하는 회사도 있고, 그렇지 않은 회사도 있기 때문에,라이브러리 없이도 문제를 풀 수 있도록 준비해야 한다. 예제. twosum 코드 구현 (반복문)https://le..
-
[Upstage AI Lab 3기] 인공지능으로 풀려는 문제를 찾아내는 과정인 데이터 분석 EDA인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 5. 1. 23:42
약 1주일에 걸쳐서, 통계학과 EDA를 배웠다.내가 정의한 데이터 분석(EDA)은 "인공지능으로 풀려는 문제를 찾아내는 과정"이라고 정의하겠다. 데이터 분석 과정해결하려는 문제 찾기데이터 수집: 문제 관련 데이터를 어디서 어떻게 수집할 것인가? API, 크롤링 활용데이터 전처리: 수집한 데이터를 정제 작업이 필요하다.탐색적 데이터 분석: 데이터 상관 관계, 이상치, 결측치가설 수립: 귀납 추론, 대립 추론통계적 분석: 가설 검정, 상관 분석, 회귀 분석모델링 및 예측: 머신러닝 알고리즘 등을 활용하여 패턴 학습 및 예측시각화 및 결과 해석: 여러 데이터를 직관적으로 파악할 수 있도록 그래프화결과를 활용하여 실제 문제 해결 데이터 분석을 위해 가장 많이 사용되는 라이브러리numpypandas 분석한 데이터..
-
[Upstage AI Lab 3기] Data Scientist 마인드셋 특강인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 27. 01:58
현직자의 특강이 있었다.현직자의 의견 중, 요즘 트랜드 및 실제적인 관점에서 중요한 의견을 남겨 주셨는데, 아래와 같다.요즘 모든 인공지능 회사들이 진행하는 내용: SLM + RAG1위 PyTorch 기반의 허깅페이스2위 PyTorch 기반의 랭체인 SLM, RAGSLM(Small Language Model) 분야가 인기가 있다고 하신다.LLM 의 경우, 일반 회사에서 구축하기는 무리가 있고, 구축한다 하더라도 OpenAI나 구글과 같은 세계적인 기업을 이기기 어렵다. 따라서, 그 보다 소규모인 SLM 구축 부분이 실제적으로 인기가 있다고 하신다.RAG(Retrieval-Augmented Generation)은 최근 자연어 처리 분야에서 중요한 주제로 떠오르고 있는 기술이다.정보 검색(Informatio..
-
[Upstage AI Lab 3기] 데이터 분석의 근본 Statistics인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 26. 01:54
머신러닝 모델링을 위해 필요한 능력머신러닝을 몇 일 배우면서 확실하게 느껴지는 것은 아래와 같다.머신러닝을 직접 모델링하고, 상용 서비스를 제공하려면 아래와 같은 능력은 필수임을 깨닫는 중이다.아래 각 챕터 하나하나가 몇 년씩 공부해도 부족할 전문 영역이다.컴퓨터공학 전공 지식서버, 네트워크, DB 세팅 능력백엔드 프로그래밍프론트 프로그래밍데이터 크롤링통계학 전공 지식데이터 분석인공지능 전공 지식머신러닝 라이브러리 활용머신러닝 직접 모델링 통계학 전공 지식특별히, 이번에 배운 통계학 관련 전공 지식은 그 내용이 매우 방대하고, 수식과 그래프가 많다.전부 복습하고 블로그에도 상세히 남기려 한다.우선, 목차부터 정리해본다.Arithmetic mean 산술 평균Geometric mean 기하 평균Harmon..
-
[Upstage AI Lab 3기] 소스코드 형상관리 GIT인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 26. 00:25
어떤 도메인의 개발자라 하더라도, 소스코드 형상관리는 필수이다.형상관리의 독보적인 GIT은 모든 개발자가 배우고 사용해야 하는 필수 도구가 되었다.특별히 이번 수업 때, 내가 기억해야 할 부분은 git flow 이다. Flow 란?flow라는 것은 브랜칭 전략이면서, 배포 전략이기도 하다.개인 개발자가 아닌 팀이나 회사 입장에서는, 개발 단계, QA 단계, 배포 단계 등 실제 프로그램 출시 전에 여러 테스트 단계를 거쳐야 한다.그에 맞춰 소스코드도 관리되어야 하는데, 이를 개념화 한 것이 바로 flow이다. Github Flow VS GitLab Flow VS Git Flowgithub나 gitlab은 git에 속한 원격 저장소들이기 때문에 git flow가 기본이다.취업을 목표로 한다면, git..
-
[Upstage AI Lab 3기] 빠르게 인기가 많아지고 있는 FastAPI인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 10. 23:31
이번 파이썬 강의 때 FastAPI를 함께 학습하였다. fastapi가 출시하자마자 부터, 인기가 주춤하지도 않고, 계속 상승중이다. 나는 이전까지 flask를 주로 이용하였다. fastapi가 인기가 많아지는 것은 알았지만, 이 정도인지는 몰랐다. Github star 비교 직접 github에서 검색해봐도, fastapi 스타 수가 flask 보다 많다;; 출시된지 약 5년 정도인데도 불구하고, 엄청난 인기로 보인다. 왜 이렇게 인기가 많은걸까? 아래 따로 정리하였다. FastAPI의 장점 빠른 성능과 고성능 비동기 지원 FastAPI는 Starlette 프레임워크를 기반으로 하며, 이를 통해 비동기 요청 처리를 지원한다. 비동기 처리를 통해 높은 성능과 효율적인 자원 활용을 제공하며, 대규모 및 실시..
-
[Upstage AI Lab 3기] 구글 플레이스토어 댓글 리뷰 크롤링인공지능 AI/패스트캠퍼스 부트캠프 Upstage AI Lab 3기 2024. 4. 10. 23:11
구글 플레이스토어 댓글 리뷰 크롤링을 진행에 주의점을 남긴다. 주의할 점1 특정 어플의 "리뷰 모두 보기"를 누르면, 위 사진과 같이 모달 창이 나타난다. 주의할 점은, 창이 보여지자마자 나타나는 댓글은 총 20개라는 사실이다. 원하는 만큼 댓글을 크롤링하기 위해서는 스크롤을 내려야 한다. 주의할 점2 결론부터 정리하면, 새롭게 나타난 모달 창 내부의 특정 요소를 클릭하는 코드를 실행한 이후, 스크롤 조작을 해야 한다. 본 모달 화면의 특징은 이러하다. 웹 사이트마다 다르지만, 이번 경우는 브라우저의 새로운 창으로 나타난 것이 아니기 때문에, 셀레니움의 창 포커스 변경하는 함수로도 창 변경이 이뤄지지 않는다. 이런 상태에서 스크롤 이동 코드를 실행해봤자, 뒤편의 메인 창 스크롤만 움직일 뿐이다. 본 모달..