목록 전체 글 (304)
KEEP GOING
[LLM] ERR_NGROK_8012 streamlit 서버 포워딩 에러 해결
문제 상황: ERR_NGROK_8012from pyngrok import ngrokngrok.set_auth_token("나의 토큰 정보")!nohup streamlit run 'main.py' --server.port 5011 &ngrok_tunnel = ngrok.connect(addr='5011', proto='http', bind_tls=True)ngrok 도구를 통해 streamlit 서버를 외부로 포워딩하는 과정에서 ERR_NGROK_8012 에러가 발생했습니다.ngrok 터널 url에 접속하면 아래와 같은 페이지가 나타납니다. 문제 해결: ngrok Agent 재시작 https://dashboard.ngrok.com/tunnels/agents ngrok - Online in One L..
[LLM] langchain을 활용한 챗봇 구현 (3): ChatPromptTemplate, prompt, model, output parser
LCEL(LangChain Expression Language)LCEL을 사용하여 langchain의 다양한 구성 요소를 단일 체인으로 결합할 수 있다. LCEL 기본 형태: prompt+model+output parser CommaSeparatedListOutputParser 사용 리스트 형태로 결과를 받기 위해 사용 # promptTemplate + OutParserfrom langchain_core.output_parsers import CommaSeparatedListOutputParserfrom langchain_core.prompts import PromptTemplatefrom langchain_openai import ChatOpenAI# 콤마로 구분된 리스트 출력 파서 초기화output..
[LLM] langchain을 활용한 챗봇 구현 (2): HuggingFace, HuggingFace Token
LangChain에서는 허깅페이스 허브에 배포되어 있는 사전 학습 모델을 활용하여 LLM 체인을 구성할 수 있음. HuggingFace Hub이란?120k 이상의 모델, 20k의 데이터셋, 50k의 데모 앱(Spaces)를 포함하는 플랫폼오픈소스로 공개적으로 이용 가능 라이브러리 설치 !pip install langchain!pip install huggingface_hub transformers datasets 허깅페이스 토큰 발급허깅페이스 회원가입 후 토큰 발급 https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collabora..
[LLM] langchain을 활용한 챗봇 구현 (1): langsmith, ChatOpenAI, LLMChain, PromptTemplate
LangChain이란?LLM 기반의 애플리케이션을 구축하기 위한 오픈소스 프레임워크LangChain을 활용할 경우 재훈련이나 fine tuning 없이 분야별 LLM 애플리케이션을 개발할 수 있음 LangChain 활용 사례검색, 프롬프트, 임베딩, 유사도 검색, 랭킹 환경 세팅라이브러리 설치 및 환경변수 설정LANGCHAIN_API_KEY 입력 > API Keys > Create API Key 생성 후 복사 https://smith.langchain.com/o/4700d6ec-c086-52ed-b6d2-266b15769dc4/settings LangSmith smith.langchain.com # OpenAI 활용을 위한 langchain 라이브러리 설치 !pip install -q langchain ..
[LLM] langchain을 활용한 챗봇 구현하기 관련 사이트 모음
OpenAIOpenAI API란?개발자들이 자신의 애플리케이션, 서비스 등에 인공지능 기술을 쉽게 적용할 수 있도록 설계된 인터페이스OpenAI에서 개발한 기계학습 모델들을 이용할 수 있음 ex. DALLE(이미지 생성), CLIP(이미지/텍스트 이해), GPT 등 OpenAI API 사용법 OpenAI API를 사용하기 위해서는 API 키 신청해야 함 사용량에 따라 비용 청구됨 OpenAI API로 호출 가능한 모델 list 확인 가능 https://platform.openai.com/docs/models ngrok ngrok - 외부에서 로컬서버에 접속할 수 있도록 하는 터널링 프로그램 https://dashboard.ngrok.com/get-started/your-authtoken ngrok ..
[adsp] 주성분분석(PCA. Principal Component Analysis)
1. 주성분분석(PCA. Principal Component Analysis) 여러 독립변수들을 주성분이라는 서로 상관성이 낮은 변수들의 선형결합으로 만들어 변수들을 요약, 축소하는 기법이다. - 공분산행렬이나 상관계수행렬을 통해 모든 변수들을 잘 설명해주는 주성분을 찾는다. - 독립변수들과 주성분과의 거리를 나타내는 정보손실량을 최소화하고 분산을 최대화한다. - 제1주성분이 전체 변동을 최대로 설명할 수 있어야 하고 제2주성분은 제1주성분과 상관성이 낮아 제1주성분이 설명하지 못하는 나머지 변동을 가장 잘 설명할 수 있어야 한다. * 공분산행렬과 상관계수행렬의 차이 공분산행렬 상관계수행렬 변수의 측정단위를 그대로 반영한다. 변수의 측정단위를 표준화한다. 특징 변수들의 측정단위에 민감하다. 사용 사례 모..
[adsp] 시계열 모형(AR, MA, ARMA, ARIMA) 정리
목차 1. 시계열 데이터 시계열 데이터란 시간의 흐름에 따라 관측된 데이터이다. 시계열 분석을 통해 미래 값을 예측하고 어떤 경향이나 주기, 계절성 등을 파악할 수 있다. 시계열 데이터는 두 가지로 나뉘는데 1) 비정상 시계열 시계열 분석으로 핸들링하기 어려운 자료로 대부분의 시계열 자료가 비정상 시계열이다. 2) 정상 시계열 비정상 시계열을 변환하여 만든 핸들링 하기 쉬운 시계열 자료를 말한다. 정상 시계열이 되기 위해서는 정상성이라는 조건을 따라야 한다. 2. 정상성(Stationary) 시계열 데이터는 정상성이라는 3가지 성질을 만족해야 한다. 1) 시간에 관계없이 평균이 일정하다. 2) 시간에 관계없이 분산이 일정하다. 3) 공분산은 시간에 의존하지 않고 오직 시차에만 의존한다. 세 가지 중 하나..
[adsp] 회귀 분석 정리(가정, 종류, 검정, 변수선택법 그리고 고려사항들)
목차 1. 회귀분석 하나 또는 여러 개의 독립변수(x)가 종속변수(y)에 미치는 영향을 추정하는 통계 기법이다. 2. 회귀분석 종류 1) 단순선형회귀 2) 다중선형회귀 3) 로지스틱회귀 4) 다항회귀 5) 비선형회귀 2. 회귀분석의 가정 1) 회귀분석의 가정 - 선형성: 선형회귀분석에서 독립변수와 종속변수는 선형관계여야 한다. (예외적으로 다항회귀/비선형회귀는 선형성을 갖지 않아도 된다.) 산점도를 통해 변수 간의 선형관계를 파악할 수 있다. 만약 독립변수와 종속변수 간에 선형관계가 아니라면 로그 변환을 통해 직선을 만들거나 비선형회귀분석을 하면 된다. - 비상관성 다중선형회귀일 경우, 독립변수들 간에 상관관계가 없어야 한다. 즉, 다중공선성 문제를 해결해야 한다. 그리고 잔차들끼리 상관관계가 없어야 한..
