목록 인공지능/nlp (7)
KEEP GOING
[LLM] ERR_NGROK_8012 streamlit 서버 포워딩 에러 해결
문제 상황: ERR_NGROK_8012from pyngrok import ngrokngrok.set_auth_token("나의 토큰 정보")!nohup streamlit run 'main.py' --server.port 5011 &ngrok_tunnel = ngrok.connect(addr='5011', proto='http', bind_tls=True)ngrok 도구를 통해 streamlit 서버를 외부로 포워딩하는 과정에서 ERR_NGROK_8012 에러가 발생했습니다.ngrok 터널 url에 접속하면 아래와 같은 페이지가 나타납니다. 문제 해결: ngrok Agent 재시작 https://dashboard.ngrok.com/tunnels/agents ngrok - Online in One L..
[LLM] langchain을 활용한 챗봇 구현 (3): ChatPromptTemplate, prompt, model, output parser
LCEL(LangChain Expression Language)LCEL을 사용하여 langchain의 다양한 구성 요소를 단일 체인으로 결합할 수 있다. LCEL 기본 형태: prompt+model+output parser CommaSeparatedListOutputParser 사용 리스트 형태로 결과를 받기 위해 사용 # promptTemplate + OutParserfrom langchain_core.output_parsers import CommaSeparatedListOutputParserfrom langchain_core.prompts import PromptTemplatefrom langchain_openai import ChatOpenAI# 콤마로 구분된 리스트 출력 파서 초기화output..
[LLM] langchain을 활용한 챗봇 구현 (2): HuggingFace, HuggingFace Token
LangChain에서는 허깅페이스 허브에 배포되어 있는 사전 학습 모델을 활용하여 LLM 체인을 구성할 수 있음. HuggingFace Hub이란?120k 이상의 모델, 20k의 데이터셋, 50k의 데모 앱(Spaces)를 포함하는 플랫폼오픈소스로 공개적으로 이용 가능 라이브러리 설치 !pip install langchain!pip install huggingface_hub transformers datasets 허깅페이스 토큰 발급허깅페이스 회원가입 후 토큰 발급 https://huggingface.co/ Hugging Face – The AI community building the future.The Home of Machine Learning Create, discover and collabora..
[LLM] langchain을 활용한 챗봇 구현 (1): langsmith, ChatOpenAI, LLMChain, PromptTemplate
LangChain이란?LLM 기반의 애플리케이션을 구축하기 위한 오픈소스 프레임워크LangChain을 활용할 경우 재훈련이나 fine tuning 없이 분야별 LLM 애플리케이션을 개발할 수 있음 LangChain 활용 사례검색, 프롬프트, 임베딩, 유사도 검색, 랭킹 환경 세팅라이브러리 설치 및 환경변수 설정LANGCHAIN_API_KEY 입력 > API Keys > Create API Key 생성 후 복사 https://smith.langchain.com/o/4700d6ec-c086-52ed-b6d2-266b15769dc4/settings LangSmith smith.langchain.com # OpenAI 활용을 위한 langchain 라이브러리 설치 !pip install -q langchain ..
[LLM] langchain을 활용한 챗봇 구현하기 관련 사이트 모음
OpenAIOpenAI API란?개발자들이 자신의 애플리케이션, 서비스 등에 인공지능 기술을 쉽게 적용할 수 있도록 설계된 인터페이스OpenAI에서 개발한 기계학습 모델들을 이용할 수 있음 ex. DALLE(이미지 생성), CLIP(이미지/텍스트 이해), GPT 등 OpenAI API 사용법 OpenAI API를 사용하기 위해서는 API 키 신청해야 함 사용량에 따라 비용 청구됨 OpenAI API로 호출 가능한 모델 list 확인 가능 https://platform.openai.com/docs/models ngrok ngrok - 외부에서 로컬서버에 접속할 수 있도록 하는 터널링 프로그램 https://dashboard.ngrok.com/get-started/your-authtoken ngrok ..
kss(한국어 문장 분리기)에서 konlpy.tag.Mecab 사용 시 ValueError: not enough values to unpack(expected 2, got 1) 에러 해결
목차 kss(korean sentence spliter)는 대표적인 한국어 문장분리기 도구입니다. kss.split_sentences의 간단한 사용법과 파라미터를 정리하고 split_sentences 사용 시 발생하는 ValueError: not enough values to unpack(expected 2, got 1) 해결 방법을 소개하겠습니다. kss의 split_sentences 사용 예제 from kss import split_sentences s = split_sentences('여름에 먹는 수박과 화채는 참 맛이 좋다. 선풍기 앞에서 먹어야 제 맛이지') print(s) kss의 split_senteces()를 사용하면 이렇게 한국어 문장을 잘 분리해주는데요. 동작과 동시에 내부적으로 mec..
[nlp] 자연어처리 기초 용어 모음집(token, pos tagging, stopword, corpus, stemming, ...)
목차 0. nlp(자연어처리) 인간의 언어를 컴퓨터가 이해할 수 있도록 처리하는 기술 1. nltk 토크나이징, 어간 추출, 품사 태깅 등 자연어 처리에 사용하는 파이썬 모듈 import nltk print(dir(nltk.corpus)) # 말뭉치 목록 확인 2. 말뭉치(corpus) 자연어처리를 위한 목적으로 정리해놓은 문서 집합 import nltk nltk.download('movie_reviews') # 말뭉치 중 'movie_reviews' 다운로드 from nltk.corpus import movie_reviews nltk.corpus 패키지는 다양한 연구용 말뭉치를 제공합니다. 말뭉치 자료를 사용하려면 nltk.download 명령으로 다운받으면 됩니다. 3. 토크나이징(tokenizing..
