MINI's STAT.ION

개인회고 방식을 바꿔볼까한다. 기존에는 '과제제출'용도로 공부99% 생각1% 느낌으로 썼는데, 이렇게 5개월간 쓰다가는 마음에 남는게 없다는 생각이 들어서 공부 1% 생각99% 비율로 밀고가보려한다. (물론 공부한 내용은 개별 포스팅으로 정리하고 있음) 머릿속으로 계속 맴도는 잡생각, 고민, 방황들이 .. 훗날의 멋.찐. 나를 완성시켜줄 자산이 되어있길 .. 바라묜쏘 .. 👥멘토링 세션 트랜스포머 모델을 공부할 때, 질문리스트로는 - 어텐션 매커니즘이 어떤식으로 계산되는지? - 인풋과 계산과정, 아웃풋이 어떻게 되는지 ? -기본적인 개념 : weight update, backward, activation funtion의 역할, 을 물어볼 것 같다고 하심. + 대학원 컨택을 하려면 6-7개월, 또는 1년 ..

📚Learned (배운 것) Multi-Layer Perceptron 신경망의 기본 형태로, 여러 개의 층과 노드로 구성되어 복잡한 패턴을 학습 01. 퍼셉트론 인공신경망에 대해서 간단히 개념을 짚어볼까한다. 우선 퍼셉트론부터 !! 퍼셉트론 신경망의 기본 단위는 뉴런이다. 이 하나의 뉴런에서 다수의 신호를 입력 받아 하나의 신호를 출력하는 알고 uumini.tistory.com Optimization Algorithms 딥러닝 모델의 성능을 향상시키기 위해 손실 함수를 최소화하는 방법을 찾는 알고리즘 06. 옵티마이저 (optimizer) 옵티마이저 (optimizer) 경사하강법 알고리즘에 변화를 살짝 추가해줄 수 있는 요소로 optimizer가 등장을 합니다. 1. 모멘텀 먼저 모멘텀은 경사 하강법에..

📚Learned (배운 것) 1️⃣ Tensor 기본 연산 2023.11.17 - [데이터 스터디/DL] - [Pytorch] 파이토치 텐서(tensor) 기초함수, 연산 [Pytorch] 파이토치 텐서(tensor) 기초함수, 연산 Tensor PyTorch 딥러닝 프레임워크는 현재 활발히 사용되는 프레임워크 중 하나입니다. PyTorch 의 tensor는 numpy의 ndarry와 비슷한 구조를 가지고 실제로 numpy와 tensor간의 변환이 가능하다. Tensor 생성 1차 uumini.tistory.com 2️⃣ 2D gather 2차원 텐서에서 대각선 요소만 가져오기. step1) 원하는 output shape으로 index shape을 맞춰준다. step2) 인풋데이터의 차원에 따라 inde..

📚Learned (배운 것) 1️⃣ Numpy ndarray ndarray객체 : np.array([1,4,5,6]← 시퀀스형 자료형, float ← dtype지정) 하나의 데이터 type만 배열에 놓을 수 있음 shape : dimensin구성을 반환 위의 경우에는 (4,) dtype : float64, int32 등 reshape element의 개수는 같게, 허나 shape의 크기는 변경 test_matrix = [[1,2,3,4], [1,2,5,8]] np.array(test_matrix).shape #(2,4) np.array(test_matrix).reshape(8,) #array([1,2,3,4,1,2,5,8]) np.array(test_matrix).reshape(-1,2).shape #(..