AI를 이용한 정적 분석만으로 악성코드의 특징들을 찾아내어 동적 분석 없이 높은 탐지율로 악성코드를 추출해냈다. 학습에 사용한 데이터는 peframe으로 파일들의 특성을 추출하였으며, 데이터 전처리와 분석은 word2vec 모델을 사용하였다. 학습 모델은 LGBM 을 사용하였으며, 입력 벡터는 word2vec 모델을 사용하여 학습을 진행했다. 악성코드 탐지 및 특성 추출 방법 PEFrame을 통해 파일에 대한 데이터를 정적 분석하여 해당 파일의 특성들을 전부 추출하여 사용하였다 파일 하나당 한 개의 텍스트 파일에 정적 분석 데이터를 담았으며, 총 1만개의 텍스트 파일이 존재한다. PeFrame 분석 결과를 모델에 돌리기 위해서 단어 임베딩 방법론 중 하나인 Word2Vec을 활용하였다. 사용목적 1. 추..
최종적인 문서 및 파일 자동 분류 프로그램이 완성되었습니다. AI를 이용했다기 보단 필터링에 더 집중이 많이되었습니다 한국에서는 위와 같은 자동 분류 프로그램이 많이 없는걸로 알고 있는데 의미있게 코드들을 수정해주시면 감사하겠습니다. # 제목 기반 자동 분류 def title_classification(directory_list, file_list): result_dict = {} index_dict = {} origin_directory_list = directory_list.copy() origin_file_list = file_list.copy() # 첫번째 단계 : 데이터 전처리 (data preprocess) tmp_dir_list = data_preprocess(directory_list) t..
지난 시간에 파파고 API를 사용하여 번역을 하였는데 일부 고유명사의 경우 한글로 번역이 안되는 결과를 볼 수 있었다. trans = get_translate("Skt") trans 이러한 경우에만 영어 발음 그대로 자모단위 필터링을 해주려고 한다. (예시- 에스케이티) import re def simple_filter(input_text): ENGS = ['a', 'A', 'b', 'B', 'c', 'C', 'd', 'D', 'e', 'E', 'f', 'F', 'g', 'G', 'h', 'H', 'i', 'I', 'j', 'J', 'k', 'K', 'l', 'L', 'm', 'M', 'n', 'N', 'o', 'O', 'p', 'P', 'q', 'Q', 'r', 'R', 's', 'S', 't', 'T..
파파고 API를 사용하는 것은 어렵지 않다. 네이버측에서 API 사용을 굉장히 쉽게 적용해 놓았다. 무료 버전을 설명하겠다. 무료 버전은 일일 단위 10000(만)글자 무료 지원 유료 버전은 월 단위 1000000(백만)글자당 20,000원이 부과된다. -파파고 API 무료 버전 사용할 애플리케이션 이름을 지정한후 Papago 번역 API 클릭 Papago 번역을 클릭하면 아래와 같이 사용할 환경이 나오는데 테스트용으로 만들거기 때문에 그냥 http://localhost를 입력하고 등록해준다. 우리가 사용할 것은 Client ID와 Cient Secret이다 Client Secret 부분은 보기를 클릭해 내용을 확인 할 수 있다. Client ID와 Cient Secret를 기억해놓는다. 실습은 구글 C..
회사에선 1000개의 문서 10000개의 문서나 파일들이 정리가 안되는 경우가 있다. 개인도 마찬가지이다. 개인이 가지고 있는 파일이나 문서들이 정리가 안되는 모습을 볼 수 있다. 이러한 일들을 AI가 해주면 얼마나 편하고 빠르게 이루어질까의 의문에서 이 프로젝트가 시작되었다. AI를 이용하여 파일 및 문서들을 분류하는 알고리즘을 간력하게 만들 것이다. 문서를 분류하는데 보통 문서의 제목으로 분류를 하거나 문서의 내용으로 분류를 한다. 앞으로 진행할 내용은 제목 기반으로 문서를 분류할 알고리즘을 만들 것이다. 제목 기반 분류 알고리즘은 파일과 문서등 어느 확장자에 상관없이 분류를 할 수 있다 내용 기반 분류 알고리즘 같은 경우에는 한글이나 워드, PDF, 엑셀 등 문서의 내용을 확인해야 하기에 일부 제약..
