[졸업프로젝트] 대학교 챗봇AI 만들기(1)

지난글에서 소개했듯이 <출처>  https://seokii.tistory.com/147

대학교 AI 질의응답 챗봇 만들기 - 1. 사용 데이터 & 텍스트 전처리기

 

위 블로그를 배경지식 없이 일단 들이박아 보기로했다.

1-1

첫 시작으로 블로그에 나와있는 영화 데이터 리뷰.txt파일과 AI Hub에서 일반상식, 용도별, 주제별 데이터셋(json)파일을 다운로드 받았다.

json파일은 Javascript 객체 문법으로 구조화된 데이터를 표현하기 위한 문자 기반의 표준 포맷입니다. 웹 어플리케이션에서 데이터를 전송할 때 일반적으로 사용한다.

다음 챕터로 데이터셋(.json)을 pandas를 사용해 데이터프레임으로 정리하고 csv파일로 변환하는 작업을 진행해야 한다.

하지만 열심히 구글링을 해본결과 방법을 찾을수 없었고 블로그 Github에 나와있는 파일을 다운로드받아 셋팅을진행했다.

 

* Pandas는 파이썬 데이터 분석 라이브러리 중 하나로, 데이터 조작, 정제, 분석, 시각화 등을 위한 다양한 기능을 제공합니다.*

 

1-2 텍스트 전처리

다음으로는 텍스트 전처리를 해줘야한다고 블로그에 나와있다. 텍스트 전처리란 챗봇 사용자에게 문장을 입력 받고 챗봇 엔진을 통해 답변을 출력해 전달하기 위해서는 입력 받은 문장과 구성하고 있는 문장들에 대한 텍스트 전처리 과정이 필요하다고 한다. +밑에 코드를 실행해보기 위해서 일단 Visual Studio Code를 통해 진행하기로 했다.

 

1-3 Visual Studio Code 가상환경 세팅

먼저 프로젝트를 진행 할 폴더를 생성하고 VSCode로 열어줍니다. 그 후에 터미널 -> 새로운 터미널을 입력합니다.

(터미널 셀 선택 창이 나오면 윈도우 기본 터미널을 선택한다.) 후에 가상환경을 구성하기 위해 다음과 같은 명령어를 입력합니다. 

python -m venv venv(폴더이름)

명령어를 입력하고 잠시 기다리면 새로운 폴더와 파일들이 자동으로 생성된 것을 확인할 수 있습니다.

다음으로 Ctrl+Shift+P를 누르면 상단에 창이 하나 뜨는데 거기에 Python을 입력하여 Python Select Interpreter를 선택한다. 마지막으로 화면 하단에 보면

과같이 venv로 가상환경이 설정이 완료된 것을 확인할 수 있습니다.