KEEP GOING

문제 상황: ERR_NGROK_8012from pyngrok import ngrokngrok.set_auth_token("나의 토큰 정보")!nohup streamlit run 'main.py' --server.port 5011 &ngrok_tunnel = ngrok.connect(addr='5011', proto='http', bind_tls=True)ngrok 도구를 통해 streamlit 서버를 외부로 포워딩하는 과정에서 ERR_NGROK_8012 에러가 발생했습니다.ngrok 터널 url에 접속하면 아래와 같은 페이지가 나타납니다.    문제 해결: ngrok Agent 재시작  https://dashboard.ngrok.com/tunnels/agents ngrok - Online in One L..

LCEL(LangChain Expression Language)LCEL을 사용하여 langchain의 다양한 구성 요소를 단일 체인으로 결합할 수 있다. LCEL 기본 형태: prompt+model+output parser  CommaSeparatedListOutputParser 사용 리스트 형태로 결과를 받기 위해 사용 # promptTemplate + OutParserfrom langchain_core.output_parsers import CommaSeparatedListOutputParserfrom langchain_core.prompts import PromptTemplatefrom langchain_openai import ChatOpenAI# 콤마로 구분된 리스트 출력 파서 초기화output..

LangChain에서는 허깅페이스 허브에 배포되어 있는 사전 학습 모델을 활용하여 LLM 체인을 구성할 수 있음. HuggingFace Hub이란?120k 이상의 모델, 20k의 데이터셋, 50k의 데모 앱(Spaces)를 포함하는 플랫폼오픈소스로 공개적으로 이용 가능 라이브러리 설치 !pip install langchain!pip install huggingface_hub transformers datasets 허깅페이스 토큰 발급허깅페이스 회원가입 후 토큰 발급 https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collabora..

LangChain이란?LLM 기반의 애플리케이션을 구축하기 위한 오픈소스 프레임워크LangChain을 활용할 경우 재훈련이나 fine tuning 없이 분야별 LLM 애플리케이션을 개발할 수 있음 LangChain 활용 사례검색, 프롬프트, 임베딩, 유사도 검색, 랭킹 환경 세팅라이브러리 설치 및 환경변수 설정LANGCHAIN_API_KEY 입력 > API Keys > Create API Key 생성 후 복사 https://smith.langchain.com/o/4700d6ec-c086-52ed-b6d2-266b15769dc4/settings LangSmith smith.langchain.com # OpenAI 활용을 위한 langchain 라이브러리 설치 !pip install -q langchain ..

OpenAIOpenAI API란?개발자들이 자신의 애플리케이션, 서비스 등에 인공지능 기술을 쉽게 적용할 수 있도록 설계된 인터페이스OpenAI에서 개발한 기계학습 모델들을 이용할 수 있음 ex. DALLE(이미지 생성), CLIP(이미지/텍스트 이해), GPT 등 OpenAI API 사용법 OpenAI API를 사용하기 위해서는  API 키 신청해야 함 사용량에 따라 비용 청구됨  OpenAI API로 호출 가능한 모델 list 확인 가능 https://platform.openai.com/docs/models  ngrok ngrok - 외부에서 로컬서버에 접속할 수 있도록 하는 터널링 프로그램 https://dashboard.ngrok.com/get-started/your-authtoken ngrok ..

목차 2.1.1 당뇨병 데이터셋 미리보기 EDA(Exploratory Data Analysis) 1주차에서는 전처리 없이 데이터셋을 모델에 입력값으로 넣어 그대로 결과를 예측했었다. EDA를 통해 데이터들의 특징을 알아보고 feature를 어떻게 전처리해줘야 할지 선택해보자. import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline # 구버전 주피터노트북에서 그래프 표시를 위함 df = pd.read_csv("data/diabetes.csv") df.shape df.head() df.info() head()를 통해 컬럼에 담긴 값들을 확인할 수 있다. 그리고 in..

1.1.1 사이킷런 소개 사이킷런은 python에서 제공하는 대표적인 머신러닝 라이브러리이다. 사이킷런은 머신러닝 기법인 classification, regression, clustering 등을 제공하는데 이 기법들은 머신러닝 아래에서 하위 범주들로 나뉜다. classification과 regression은 머신러닝 중 지도학습(supervised learning)에 속한다. 지도학습은 모델이 정답(=label)이 있는 데이터를 학습하여 데이터와 정답간의 관계를 파악하는 방법을 말한다. 그리고 비지도 학습(unsupervised learning)은 정답이 없는 데이터를 모델이 학습하는 방법을 의미한다. 대표적으로 clustering, dimensionality reduction같은 기법이 비지도학습에 ..

목차 개요 딥러닝에서 최적화(optimization)란 손실함수(loss function)를 최소화(minimize)하는 파라미터를 찾아가는 과정입니다. 파라미터를 최적화하기 위해서는 데이터를 분할하여 여러 번의 훈련 과정을 거칩니다. 이때 구분이 필요한 개념이 배치(batch size)와 에폭(epoch) 그리고 반복(iteration)입니다. 배치 사이즈(batch size) 한 번의 배치마다 주는 데이터 샘플의 크기 배치(=미니 배치라고도 불림)는 전체 데이터셋을 일정 크기로 분할한 작은 데이터 셋을 의미합니다. 이때 배치 사이즈는 이러한 작은 데이터 셋(=배치)의 크기를 뜻합니다. 예를 들어 500개의 데이터셋이 있을 때, 5번에 걸쳐 학습한다면 배치는 5개이고 배치 사이즈는 100이 됩니다. 그..