대학원생의 IT 기록

인공지능/논문 리뷰

논문명: Neural Network Libraries: A Deep Learning Framework Designed from Engineers’Perspectives 학회: (arXiv) 연도: 2021 Summary: GUI기반 딥러닝 생성 프레임워크 툴 구현

2022. 8. 2.

인공지능/논문 리뷰

논문명: Net2Vis – A Visual Grammar for Automatically Generating Publication-Tailored CNN Architecture Visualizations 학회: IEEE Transactions on Visualization and Computer Graphics 연도: 2021 Summary: Publication용 CNN 자동 시각화 툴 구현 학부 연구생 시절 처음으로 읽었던 해외 논문이다. 영어 논문을 읽는 것이 서툴러서 짧은 논문임에도 굉장히 오랫동안 읽었던 기억이 있다..ㅎㅎ 이때의 노력이 있기에 지금의 내가 있는것!

2022. 8. 2.

인공지능/케라스 창시자에게 배우는 딥러닝

텍스트 데이터 다루기 배경 지식 1. 텍스트 벡터화의 방식 - 텍스트를 단어로 나누고 각 단어를 하나의 벡터로 변환 - 텍스트를 문자로 나누고 각 문자를 하나의 벡터로 변환 - 텍스트에서 단어나 문자의 n-그램을 추출하여 각 n-그램을 하나의 벡터로 변환 * 텍스트 벡터화란? 텍스트를 수치형 텐서로 변환하는 과정, 딥러닝 모델은 수치형 텐서만 다룰 수 있기때문에 반드시 이 과정이 필요함 모든 텍스트 벡터화 과정은 토큰화 적용 후 생성된 토큰에 수치형 벡터를 연결하는것으로 이루어짐 * n-그램이란? 문장에서 추출한 N개의 연속된 단어 그룹 n=2라면, "The cat"은 {"The", "cat", "The cat"} 으로 분해됨 2. 토큰과 벡터를 연결하는 방법 - 원-핫 인코딩 - 단어 임베딩 ( = 토..

2021. 1. 26.

인공지능/케라스 창시자에게 배우는 딥러닝

사전훈련된 컨브넷을 사용하는 이유 데이터셋이 작을 때 효과적으로 딥러닝을 적용하기 위해서 대량의 데이터셋에서 미리 훈련되어 저장된 네트워크를 사용함 풀고자하는 문제와 원래의 문제가 완전히 달라도 사전 훈련된 네트워크를 사용하는 것은 유용함 사전훈련된 컨브넷 사용하기 - VGG16 모델로 강아지, 고양이 분류하기 모델을 재사용하는 방법에는 2가지가 있다. 특성 추출과 미세 조정이 이에 해당한다. 이번 포스팅에서는 이 2가지의 방법을 모두 다뤄보자!! 특성 추출을 통해 사전훈련된 네트워크 사용하기 1. 특성 추출이란? 특성 추출이란, 사전에 학습된 네트워크의 표현을 사용하여 새로운 샘플에서 흥미로운 특성을 추출하는 것 사전훈련된 네트워크의 합성곱 기반 층을 선택하여 새로운 데이터 통과 후 그 출력으로 새로운..

2021. 1. 24.

인공지능/케라스 창시자에게 배우는 딥러닝

소규모 데이터셋에서 밑바닥부터 컨브넷 훈련하기 ( 실습 ) CNN으로 강아지와 고양이 분류하기 풀고자 하는 문제 - 문제 : 강아지와 고양이 분류 - 데이터셋 : https://www.kaggle.com/c/dogs-vs-cats/data 의 train.zip 훈련, 검증, 테스트 세트 나누기 1. 나눈 방법 클래스마다 1000개의 훈련세트, 500개의 검증세트, 500개의 테스트 세트 만듦 2. 새로 알게 된 or 사용된 코드 - os.path.join 경로를 병합해서 새로운 경로를 생성해줌 ex) os.path.join("C:\min", "image", "dog") -> "C:\min\image\dog" 따라서, train_dir 아래에 cats 디렉토리를 만든다면 train_cats_dir = os..

2021. 1. 20.

인공지능/케라스 창시자에게 배우는 딥러닝

합성곱 신경망 (CNN) 특징 1. Dense 층과 합성곱 층 - Dense 층 : 입력 특성 공간에 있는 전역 패턴을 학습 - 합성곱 층 : 지역 패턴 학습 2. 평행이동불변성 어떤곳에서 학습했던지간에 이미 패턴을 학습했다면 어느 위치에 있어도 이 패턴을 인식할 수 O 3. 공간적 계층 구조 학습 첫번째 층은 작은 지역 패턴 학습 ex) 에지 두번째 층은 더 큰 패턴 학습 ex) 고양이의 귀 4. 특성맵 (height, width, channels) 3D 텐서 height와 width는 네트워크가 깊어질수록 작아지고, channels는 RGB면 3, 흑백이면 1 합성곱 연산은 입력특성맵에서 작은 패치들을 추출 -> 모든 패치에 같은 변환을 적용하여 출력 특성맵을 만듦 5. 출력특성맵 (height, w..

2021. 1. 20.

인공지능/케라스 창시자에게 배우는 딥러닝

머신 러닝 작업 흐름 문제 정의 → 데이터셋 수집 → 성공지표 선택 → 평가방법선택 → 데이터준비 → 모델 훈련 → 과대적합 모델 구축 → 모델규제와 하이퍼파라미터튜닝 1. 문제 정의와 데이터셋 수집 - 입력데이터가 무엇이고 출력데이터는 무엇인가? - 어떤것을 예측하려 하는가? - 사용 가능한 훈련 데이터가 있는가? - 문제의 유형은 무엇인가? ex) 이진분류, 다중분류, 회귀 * 가설 주어진 입력으로 출력을 예측할 수 있으며, 입력과 출력사이의 관계를 학습하는데에 충분한 정보가 O 2. 성공 지표 선택 - 클래스 분포가 균일한 분류 문제 : 정확도, ROC AUC - 클래스 분포가 균일하지 않은 문제 : 정밀도, 재현율 - 랭킹문제나 다중 레이블 문제 : 평균 정밀도 * "클래스 분포가 균일하지않다" ..

2021. 1. 13.

인공지능/케라스 창시자에게 배우는 딥러닝

데이터 전처리, 특성공학, 특성학습 데이터 전처리 1. 벡터화 - 처리해야 할 데이터를 텐서로 변환하는 것 - 신경망에서의 입력과 타깃은 부동 소수 데이터 or 정수로 이루어진 텐서여야 함 - ex) 앞의 실습에서 텍스트를 정수 리스트로 변환 한 후, one-hot-encoding 을 사용해 float32 타입의 데이터로 변환한것 2. 정규화 - 데이터가 비교적 큰 값이거나 균일하지 않을 때 사용하는 방법 ex) 한 특성의 범위와 다른 특성의 범위가 다른 경우 - 목표 대부분 값이 0~1 이도록 작게 만들기, 모든 특성이 비슷한 범위를 갖도록 균일하게 하기 - 정규화 방법 : 각 특성별로 평균이 0, 표준편차가 1이 되도록 하기 x -= x.mean(axis=0) x /= x.std(axis=0) 3. ..

2021. 1. 12.

인공지능/케라스 창시자에게 배우는 딥러닝

머신러닝의 분류 및 모델 평가 방법 머신러닝의 네 가지 분류 1. 지도 학습 - 샘플 데이터가 주어지면 타깃(정답값)에 입력 데이터를 매핑하는 방법을 학습함 - 대부분 분류와 회귀로 구성됨 ex) 이진분류, 다중분류, 스칼라회귀, 음성인식, 이미지 분류, 언어 번역, ... - 특이한 변종도 있음 ex) 시퀀스 생성, 구문 트리 예측, 물체 감지, 이미지 분할 * 시퀀스 생성 : 주어진 사진을 설명하는 캡션 생성 * 구문 트리 예측 : 문장이 주어지면 분해된 구문 트리 예측 * 물체 감지 : 주어진 사진속의 특정 물체 주위에 경계상자 그리기, 분류문제 or 회귀와 분류가 결합된 문제 * 이미지 분할 : 주어진 사진속 특정 물체에 마스킹 2. 비지도 학습 - 어떠한 타깃도 사용하지 않는 방법 - 목적 : ..

2021. 1. 11.

인공지능/케라스 창시자에게 배우는 딥러닝

이진분류, 다중분류, 회귀 정리 모델 구성 방법 비교 1. 이진분류 - 활성화 함수 : relu - 마지막 층의 활성화 함수 : sigmoid - 손실 함수 : binary_crossentropy - 옵티마이저 : rmsprop - metrics : accuracy 2. 다중분류 - 활성화 함수 : relu - 마지막 층의 활성화 함수 : softmax - 마지막 층의 크기 : 출력 클래스의 개수 - 중간층의 크기 : 마지막 층의 크기보다 커야 함 (for 정보의 병목 방지) - 손실 함수 : categorical_crossentropy (레이블을 정수로 인코딩하는 경우에는 sparse_categorical_crossentropy 사용) - 옵티마이저 : rmsprop - metrics : accurac..

2021. 1. 10.