Feature Encoding
데이터 인코딩Scikit-learn 알고리즘은 수치형 변수만 입력값으로 허용하기 때문에,머신러닝을 위해서는 모든 문자열 데이터를 인코딩하여 수치형으로 변환해야 한다. 일반적으로 문자열 데이터는 범주형 데이터와 텍스트 데이터를 의미하는데,범주형 데이터는 각 범주에 대응하는 수치형 변수로 변환하는 것이 효과적이지만텍스트 데이터는 구분자 역할이거나 추가적인 정보
Tag: machine learning
Feature Scaling
정규화 vs 표준화정규화 : 데이터의 범위의 차이를 왜곡하지 않고 공통 척도로 변경하는 것표준화 : 데이터가 표준정규분포의 속성을 갖도록 재조정되는 것 정규화(Normalization) 표준화(Standardization) Scaling에 최대/최소값 사용 Scaling에 평균 및 표준편차 사용 [0,1] 또는 [-1,1] 사이의 값
ML Practice 9_3
LSTM(Long Short-Term Memory) When the sentence is long, the learning ability of RNN is poor. LSTM is designed to keep short-term memory long. 1234567891011from tensorflow.keras.datasets import imdbfr
ML Practice 9_2
Text Normalization: Pre-processing text for use as input data Cleansing 텍스트 분석에 방해되는 불필요한 문자 및 기호를 사전에 제거 ex) HTML, XML 태그 제거 Tokenization Sentence Tokenization- 문장, 마침표, 개행문자 등 문장 마지막을 뜻하는 기호를 따라
ML Practice 9_1
Sequential data meaningful in order such as text data, time series data Requires the function to remember previously entered data Text data text mining (representatively, sentimental analysis) natura
ML Practice 8_2
Prepare Fashion Mnist Data12345678from tensorflow import kerasfrom sklearn.model_selection import train_test_split(train_input, train_target), (test_input, test_target) =\ keras.datasets.fashion_mnis
ML Practice 8_1
CNN(Convolution Neural Network) Neural network operations can also be applied to two-dimensional arrays by CNN. Neuron in CNN is called filter or kernel. 12from tensorflow import keraskeras.layers.Co
Pipeline Tutorial
Pipeline : 데이터 누수(Data Leakge) 방지를 위한 모델링 기법 Pycaret, MLOps (Pipeline 형태로 구축) 머신러닝 코드의 자동화 및 운영 가능 기존 방식 데이터 불러오기 -> 데이터 전처리 -> 특성 공학 -> 데이터셋 분리 -> 모델링 -> 평가 파이프라인 방식 데이터 불러오기 ->
ML Practice 7_3
Create DNN Model12345678910from tensorflow import kerasfrom sklearn.model_selection import train_test_split(train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.lo
ML Practice 7_2
Prepare Dataset123from tensorflow import keras(train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() 1234567from sklearn.model_selection import train_test_