※무단 사용 및 펌을 절대 금지합니다 이 페이지에서만 봐주세요.※ 하나 하나 손으로 기입한 것이어서 잘못된 내용이나 오타가 있을 수 있습니다 댓글로 제보해주세요 분야 용어 용어 풀이 텍스트 전처리 토큰화 Tokenization 언어를 한 단위의 의미를 가지는 문자열로 쪼개는 과정이다. 토큰화에는 문장 토큰화, 단어 토큰화 등이 있다. 영어는 nltk, 한국어는 konlpy를 많이 쓰며, bert의 영향으로 BPE 방식의 SentencePiece 토크나이저도 많이 사용된다. 어간 추출 Stemming 어간(stem)을 추출하는 작업으로, 룰 기반으로 작동하는 경우가 많다. 어미나 조사를 제거하여 준다. 표제어 추출 Lemmatization 표제어를 추출하는 작업으로, 사전에 실리는 대표어로 대체해주는 작업..

※무단 사용 및 펌을 절대 금지합니다 이 페이지에서만 봐주세요※ 하나 하나 손으로 기입한 것이어서 잘못된 내용이나 오타가 있을 수 있습니다 댓글로 제보해주세요 분야 용어 용어 풀이 머신러닝 일반 머신러닝 Machine learning (기계학습) (톰 미첼의 정의에 따르면) 컴퓨터가 어떤 작업(Task, T)을 하는 데 있어 경험(Experience, E)으로부터 학습하여 성능(Perfomance measure, P)을 향상시키는 것이다. 딥러닝 Deep learning 머신러닝의 한 분야로, 심층 신경망을 이용하여 댜량의 데이터에서 표현되는 핵심을 찾아내어 일반화하고, 이것을 새로운 데이터에 대해 예측하는 데 사용하는 기술이다. 머신러닝의 종류 지도학습(supervised learning) : 데이터에..

※무단 사용 및 펌을 절대 금지합니다 이 페이지에서만 봐주세요※ 사용되는 곳 명령어 정의 사용 예시 관련 명령어 및 참고 사항 테이블에서 데이터 검색 SELECT 질의, 쿼리 SELECT 열명 FROM 테이블명 '*' : 열명에 기입 시 모든 열 반환 WHERE 조건에 만족하는 행만 반환 SELECT col1, col2 FROM 테이블명 WHERE 조건식 비교연산자('=', '', '' ...) IS NULL / IS NOT NULL AND / OR / NOT IN LIKE 특정 패턴과 일치하는 문자열 찾기 SELECT 열명 FROM sampletable WHERE text LIKE '%SQL%' '%' : 임의의 문자열, 빈 문자열에도 매치 '_' : 임의의 문자 하나!만 의미 정렬 ORDER BY 결..