(수정완료) VScode_Remote : SSH + keygen 등록 [내부링크]

2022.04.19 수정 *** 연구실(사무실)에서 연구실(사무실) 서버 내부에서 작업을 해야하는 경우 딱딱한 shel...

Sung Kim - Deep learning lacture(3) [내부링크]

Lec 11 ConvNet 역시나 CNN은 cs231n 강의를 참고했다고 합니다. 이런식으로 필터가 input을 훑어서 하나의 number(w)를 만듬 Output size 공식이 있는데, padding을 추가하면, (input - filter + 2*padding) / stride + 1 이다. 보면 output이 점점 작아지는데 activation map이 계속 작아지면 layer를 깊게 쌓을수가 없다. 따라서 zero-padding방법-(이미지 주변에 0으로 둘러준다)으로 output 크기를 유지를 한다. 추가로 edge 인식에 강하다. 필터를 여러개 사용이 가능한데(각각의 weight가 다른) 필터의 개수가 깊이다.? ·Pooling Maxpooling을 통상 많이 사용하는데 filter가 input을 지나가면서 제일 큰 값을 추출하는것이다. (average p.......

Sung Kim - Deep learning lacture(4) [내부링크]

Lec 12 RNN Sequence data 형식 : 자연어, 음성, 시계열 등... 여기서 fw는 모든 RNN 셀에 같은 함수가 적용이 된다. 근데 우리가 좋아하는 모습은 아니다. Wx 이런 형식을 좋아하는데, 각각의 weight를 만들어줍니다. 그리고 activation function인 tanh를 사용한다. y에도 계산된 ht에다가 weight를 곱하여 출력한다. Whh, Wxh, Why는 모든 RNN에 동일하게 적용이 된다.? 예시로는 Character-level language model이 나온다. softmax 형식으로 출력이 되는데, 1. input h로 output e가 출력이 되고, 2. 출력된 e가 다음 input으로 사용되고 l 이 출력이 되고, 3. 출력된 l 이 다음 input으로 사용된다. 4. 반복... 이러한 방식으로 RNN이 작동.......

Tensorflow2 Succeefully 메세지 제거 [내부링크]

tensorflow version 2.4.1을 사용하고 있으며, python version 3.8.11을 사용하고 있습니다. tensorflow-gpu를 사용하는데, 보기 귀찮게 저렇게 항상 뜬다. 보통 해결책으로(구글신님) 갖가지 라이브러리를 import 해주고 gpu설정에서 저런 옵션을 입력해주면 되는데 난 희한하게 구글링을 한대로 해도 계속 저런 메세지가 나온다. 알고보니, import tensorflow as tf 선언보다 앞에 적어야 메세지가 안나온다고 합니다. 위의 코드처럼 tensorflow import 뒤에 해주면 백날 설정해봐야 메세지 나오고 이렇게 tensorflow import 보다 먼저 선언해주면 메세지 문이 안나온다. 이거 해결하려고 20분 이상 쓴 나 자신을 문책합니다..... 저 같이 바보.......

VScode SSH - X11 Forwording [내부링크]

VS Code SSH remote -x11 forwording 문제 vscode로 ssh 원격 접속하여 x11(x window system) 을 사용해야 하는 경우, x11 display 접근이 안되는 경우가 있다. 해결 방법은 간단함 # 윈도우 기준입니다. 하지만 맥에서도 됩니다. 맥에서는 XQuartz 필요함 1. F1 누르고 Remote - SSH: Connect to Host.. 클릭 2. Configure SSH Hosts.. 클릭 3. Config(개인마다 조금씩 다를수 있음) 여기서 보통 Host, HostName, User 3가지만 있는 경우가 많은데 ForwardAgent, ForwardX11, ForwardX11Trusted 3가지를 추가로 yes 설정 3가지만 추가하면 됨. 맥에서는 XQuartz가 있어서 저렇게만 하면 되는데 나는 Grads를 사용을 해서 서버에서 한번 Grads를.......

FTP Login incorrect error(Copernicus Marine Service) [내부링크]

Copernicus Marine Service에서 자료를 받는 도중 (다른 ftp도 비슷한 에러가 뜨는 경우가 있음..) 평화롭게 wget으로 ftp 다운받으려했는데... 이런 에러가 뜸. 이런 경우 보통 구글에 ftp login incorrect 이렇게 검색하면 대부분 530 login error가 뜨는데 이 경우 권한 설정으로 해결이 되지만 530 에러가 아닌 경우, filezila 나 xftp를 사용하지 않아서 그냥 리눅스 내에서 받아야 하는 경우, (그냥 마음 편히 filezila, xtfp 쓰도록하자..ㅜ) 이럴 때는 데이터 제공 사이트의 id 와 pwd가 필요함 예를 들어서 id 가 test01, pwd가 1234 라고 하면 이런식으로 user와 password를 입력해주고 하면 됨 그러면 Logged in! 하며 기쁜 마음으로.......

failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected [내부링크]

E tensorflow/stream_executor/cuda/cuda_driver.cc:328] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected tf.config.experimental.set_memory_growth(gpus[0], True) IndexError: list index out of range 앞서 이 글은 도움이 안될겁니다. 그냥 이런 에러가 있었다는 정도의 기록용.... 미친 에러 코드 보니 1월에 뜬걸 이제야 적네 다음에 써야지 하면 기본 3달이상인듯 보통 찾아보면 CUDA 환경문제가 거론되고, 버전 충돌 문제? 같기도 하고... Deivce를 바꿔서 시도해봐라 또는 다른 tensorflow 버전으로 해봐라 등등... 많은 solution들이 있긴함 무슨 문제인지는 모르지만 저 때 시각을 보면 밤인데.........

Floating point exception (core dumped) [내부링크]

간혹 데이터 전처리 하다가(numpy array하다가 뜸 난..) Floating point exception (core dumped) 짧고 킹받는 메세지가 뜨는데 겁나 단순하다 python에서 데이터 처리하다가 나누기 할 때 예를들어 x = 10, y = 0 x / y 를 했을 때 변수를 0으로 나누어 주면 뜬다. 0으로 나누는 것은 수학적으로 성립이 되지 않으므로.. 실제로 컴퓨터로 계산하면 못하겠다고 버팀(존버) 수학적으로도 안되니깐 코드상에서도 당연히 안됨 보통 C, C++ 에서 많이 에러 메세지를 본다는데 왜 난..python인데... 이것도 1월에 뜬 에러 메세지같은데 아마 확인하니 데이터 전처리를 잘못해서 딥러닝 코드가 안돌았던 기억임 이 때 확인했는데 나누기 부분.......

Emergent Constraints on Climate-Carbon Cycle Feedbacks_Peter M. Cox [내부링크]

Peter M. Cox의 Emergent Constraints on Climate-Carbon Cycle Feedbacks 논문을 읽고 리뷰합니다. https://doi.org/10.1007/s40641-019-00141-y 리뷰 한 내용은 틀린 내용이 있기 때문에 언제든지 수정 될 수 있습니다. *참고 혹시라도 이것도 논문 리뷰라고 욕이 나오는 기분은기분탓 첫 논문 리뷰 글이니 개판이여도 이해바람. ·Abstract 이 리뷰(애초에 리뷰논문임)는 기후-탄소 순환과 관련된 불확실성을 줄이기 위한 새로운 Emergent constraint의 잠재력을 평가?한다. Emergent constraint는 ESMs(Earth System Models) 장기 예측에 대한 불확실성(오차)을 줄이기 위해 사용하지만 반면에 무분별한 데이터 마이닝과 systemic model의 오.......

딥러닝 2단계: 심층 신경망 성능 향상 시키기(1) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 2단계에서는 데이터를 설정하기 위한 하이퍼파라미터 튜닝부터 알고리즘을 최적화 하여 속도를 높히기 등 여러가지를 배운다. 1.머신러닝 어플리케이션 설정하기 Train/Dev/Test 모델을 만들 때 layer의 개수, 각각의 층이 몇개의 hidden units을 가지게 할지, learning rate, activation function, 등...을 결정하여 신경망을 훈련한다. 특히 좋은 결과를 얻기 위해 좋은 하이퍼 파라미터를 찾기 위해서는 반복 작업을 통해 최적의 값을 설정한다. 이 때 데이터 셋을 잘 설정해 줘야 하는데 보통 train set/val set/test set/ 이렇게 나눈다. 말 그대로 훈련시키는 데이터, 검증하는 데이터, 모델이 얼.......

딥러닝 2단계: 심층 신경망 성능 향상 시키기(2) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 이번 강의는 신경망을 더 빠르게 학습하도록 최적화 알고리즘에 배울 예정 4. 최적화 알고리즘 Mini Batch Vectorization allows you to efficiently compute on m examples.remind.. 큰 데이터 세트를 훈련하는데 시간이 오래걸리기에 전체 세트를 어느 정도 나눈다. Example) total data set : 5,000,000 size = 1,000 mini batch = 5,000 이런식으로 나누어서 훈련을 진행하면 더 빠르다. tip-배치 사이즈가 작을수록 가중치 갱신이 자주 일어난다. 너무 커도 안좋고 너무 작아도 안좋다. 적당한 batch size를 찾아야한다. 이에 따른 가이드 라인이 있다고 한다. ·train set < 2000EA .......

딥러닝 3단계 : 머신러닝 프로젝트 구조화하기 [내부링크]

1.머신러닝 소개-목표 설정 ·직교화 원하는 효과를 위해 변수를 조정하는 과정을 뜻한다. 머신러닝에서 직교화 과정은 4가지 과정이 있다. 1. train set에서 좋은 성능이 나와야 한다. = 네트워크, 알고리즘 조정 2. val set에서 좋은 성능이 나와야 한다. = 정규화, 더 큰 train set 사용 3. test set에서 좋은 성능이 나와야 한다. = 더 큰 val set 사용 4. real world 에서도 좋은 성능이 나와야 한다. = val set, 비용함수 조정 ·정밀도와 재현율의 조화 정밀도는 모델이 분류한 정답 중 정답이 얼만큼 있는지 측정한다. 재현율은 실제 정답 중 모델이 정답을 얼만큼 분류했는지 측정한다. 2가지를 동시에 사용하면 어느.......

Sung Kim - Deep learning lacture(1) [내부링크]

모두를 위한 딥러닝 강좌 시즌 1 - YouTube 를 듣고 개인적으로 정리합니다. Lec 00 수학과 컴퓨터 배경지식이 없어도 야 너두 할 수 있어 이해가 가능하다고 한다. Lec 01 Supervised learning : labeled data Unsupervied learning : un-labeled data Tensorflow Lec 02 Liner Regression & Hypothesis & Cost Which hypothesis is better? 어떤 선(모델)과 점들과의 거리가 가까울수록 좋다. 이 거리(차이)를 측정하는것을 Cost(Loss) function 이라고 한다. H(x) - y 는 음수값이 나올 수 있기 때문에 제곱을 하여 음수 문제를 해결하고, 제곱으로 인하여 모델과 점의 차이가 클 때 페널티를 더 크게 주는 장점이 있습니다. m : 데이.......

Tensorboard : module 'importlib_metadata' has no attribute 'entry_points' [내부링크]

자 우선 Tensorboard를 사용하려면 설치를 해줘야 합니다. Tensorflow를 설치할 때 같이 다운이 되는줄 알았는데 아닌가 봅니다. pip 를 사용하시는 경우 anaconda를 사용하시면 하시면 오류 없이 쓰-윽 설치가 됩니다. 그런데 막상 tensorboard를 터미널에 입력하여 실행을 하면 이런 킹받는 에러 문구가 뜨는데, 원인은 importlib_metadata가 없는 이유라고 함. 이것도 그냥 conda insatll importlib_metadata 하면 해결이 됩니다. 그래서 저게 뭔데 설치가 안되면 안되나 해서 찾아봤습니다? Welcome to importlib_metadata documentation! — importlib_metadata 0.0.0 documentation (importlib-metadata.readthedocs.io) 해석은 개인의 능.......

NotImplementedError: MaskedArray.tofile() not implemented yet. [내부링크]

MaskedArray를 사용하다가 이런 오류가 뜨면 한번 쯤 확인 해볼만함. NotImplementedError: MaskedArray.tofile() not implemented yet. 구글신의 도움을 구하고자 검색을 했지만 나와는 다른 코드 다른 문제임. 그냥 딱 봐도 Masked 문제인거 같다. 내 코드에는 이런 masked처리하는 코드문이 있는데, 이게 어떤 이유인지 모르지만 추가 계산과정을 거치면 ma 모듈이 풀려버린다.(둘다 풀림) 나 같은 경우는 loop문에서 계산과정을 거치면 masked가 풀려지는지 데이터가 저장이 안된다. 나 같은 경우는 ctl, gdat 저장과정에서 저런다. masked 방법을 다르게 해야하는데(ma를 안쓰는 방향으로) ma 모듈을 안쓰고 np.where()를 사용하면 mask가 풀.......

Sung Kim - Deep learning lacture(2) [내부링크]

모두를 위한 딥러닝 강좌 시즌 1 - YouTube 를 듣고 개인적으로 정리합니다. Lec 08 Deep Neural Network 단순하게 표현하면 이런식으로 표현이 가능하다. 전에 XOR이라는 문제가 있었는데 수학적으로 불가능을 입증했다고 하고.. 대신 Multi Layer Perceptron(MLP)로는 해결이 가능하다! 하지만 그 때 당시 해결 할 컴퓨팅 능력이 없었다고 한다. 그러다가 74,82년에 Backpropagation 알고리즘을 개발하여 문제를 해결했다. 그러다가 LeCun교수님의 CNN이 개발되었고 큰 발전을 이루었다고 한다. 여기에도 문제가 있었는데 layer가 많을수록(깊을수록?) 결과가 무조건 좋은것이 아니였다. 오히려 단순한 모델이 결과가 좋은 경우가 있었다. 06,0.......

VS-Code : Extension host terminated unexpectedly [내부링크]

우선 저는 WSL 2 를 사용 중 입니다. 최근에 vscode extension에서 신기한 마음에 포트란도 다운 받고 C 도 받고 이것저것 언어를 마음껏 install 한 후 정상적으로 잘 돌아갔는데 말이죠? 스터디로 시각화를 공부 중인데 python 시각화 패키지 중 matplotlib이 작동이 안되서 터미널에서 직접 설치를 했습니다. (python -m pip install matplotlib) 이거였던 것 같습니다? 그 후 어떤 이유 인지 구글링을 함 1). vscode extension 중 live server 와의 충돌이 원인이라는 이유가 많습니다. -방법은 해당 extension을 uninstall? 하면된다고 해서 직접 해봄. 하... 일단 쥬피터는 안되네요. python 을 먼저 uninstall 해보기로 함 되네요 이건 py.......

Linux [내부링크]

대학원 인턴 첫주가 지났다. 일주일 동안 많은 것은 아니지만 일단 배워본것을 적어본다. 일단 자대에서 다니던 학교에서도 서버를 접속하여 포트란 수업을 들었지만 솔직히 서버에 접속한줄도 모르고 수업을 들었던 것 같다. Xmanager Enterprise 5 를 사용하여 학과 내 연구실 서버에 접속한다. xshell 또는 xstart 로 접속을 한다. dl = deep learning 서버이다. 학교에서 그래도 한번 써봤다고 어색하지는 않았다. 접속을 하기 전에 다른 선배님들이 서버에 내 계정을 만들어주셨다. 서버에 계정을 만드는 법 1. 루트 계정으로 접속한다. 2. useradd (name) 입력 3. 패스워드 및 기타 정보 입력 후 엔터 쭉쭉 4. /home 디렉토리에서 만.......

딥러닝 1단계: 신경망과 딥러닝(1) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 영어 강의라서 내 마음대로 듣고 해석 할 생각에 설렌다... 1. 딥러닝 소개 Nerual Network 란? 딥러닝에서 기본 층을 겹겹이 쌓아 구성한 신경망 모델을 사용한다. 그냥 모양이 하나의 뉴럴과 비슷하여 뉴럴이라고 부르고 실제 뇌를 모델링 한것은 아니라고 한다. 그냥 수학 모델이다 라고 이해하고 넘어가자. input X 로 output Y 를 예측한다. 그 사이 원들은 신경망에서 hidden layer라고 불린다. 이러한 층들을 Nerual Network 라고 한다? 데이터에 따라 다양한 네트워크들이 있다. 이미지 데이터에서는 보통 CNN 음성, 자연어 처리, 1차원 시퀀스 데이터는 보통 RNN 머신러닝분야에는 데이터의 종.......

딥러닝 1단계: 신경망과 딥러닝(2) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 2. 신경망과 로지스틱회귀 Binary classification 로지스틱 회귀는 이진분류를 위한 알고리즘이라고 한다. cs231n에서 한번 배운 내용이니 그림으로 대체한다. 이진분류의 목표는 input vector X 를 가지고 label Y 가 1 or 0 인지 판별한다. 공부하면서 많이 봤다. 데이터의 벡터와 표기법 정리?이다. 그림을 보고 이런게 있었다 정도로 알고가자 하지만 기초 중 기초이니 잊지말자. Logistic Regression 답이 0 또는 1로 정해져있는 이진 분류 문제에 사용되는 알고리즘이다. X : input, Y : output, Y^ : y의 예측값 더 자세히 이진 분류를 위한 y^ 값은 y가 1일 확률을 의미하며 0 ≤ y^ ≤ 1 임. .......

Convert gdat to nc file [내부링크]

과제로 Grads gdat 파일로 그림을 그려야 한다. 코드 예시에서는 Basemap tool kit을 사용한다. 근데 문제가 있는데 Basemap은 python 3.6.x matplotlib 3.1.4 이하 버전까지만 지원한다. 이 뜻은 더 이상 개발, 지원을 안 한다는 뜻이다. 그냥 Basemap을 사용해서 그림을 그려도 되고 또한 구글에 한글로 친절히 설명된 자료도 많다(예시 코드 포함). 하지만 나중에는 Cartopy로 그림을 그린다고 하니 한번 도전해본다. 나는 그래서 Cartopy로 그려볼 것이다.개고생하겠다는 뜻 Introduction — cartopy 0.19.0rc2.dev8+gd251b2f documentation (scitools.org.uk) Convert file 일단 나의 짧은 지식과 정보로는 Cartopy에서 ctl 파일은 지원을 안.......

딥러닝 1단계: 신경망과 딥러닝(3) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 3.파이썬과 벡터화 Vectorization 벡터화는 간단히 말하면 코드 내 for문을 없애는 과정이다. 코드 예시로 얼마나 속도면에서 차이가 있는지 확인해보자 코드를 실행하고 결과를 보면 벡터화는 약 1ms 걸리지만 for문은 약 300ms 이다. for문이 약 300배 느리다는 것을 알 수 있다. 이런 이유로 벡터화를 해야 좋다. 지금은 단위가 밀리초 단위라 못느끼지만 단위가 분, 시간이라면 300분, 300시간이다. SIMD(Single Instruction Multiple Data) 알쓸신잡... 혹시나 코드를 짤 때 Matrix(행렬)에서 axis=0 은 세로로 더함, axis=1 은 가로로 더함. 3장에서는 벡터화의 이유를 전반적으로 알.......

딥러닝 1단계: 신경망과 딥러닝(4) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 4. 얕은 신경망 네트워크 input / hidden / output layer for문을 사용하면 비효율적이므로 벡터화를 진행해야한다. Activation functions 활성화 함수에는 아시다시피 많은 종류가 있다. 보통 딥러닝에서는 ReLu 또는 Leaky ReLu 를 많이 사용한다. 대기, 기상분야에서는 tanh도 많이 사용하는 것으로 알고 있다. 데이터에 맞게, 출력값에 맞게 적절하게 상황에 맞게 사용하면 좋다. 이진분류의 출력층에서는 Sigmoid를 사용한다. 혹시 은닉층에서 뭘 써야될지 고민이라면 ReLu를 사용한느 것이 좋습니다. 우선 ReLu는 Sigmoid나 tanh보다 빠르게 학습이 가능하다. 물론 케바케 학습을 느리게 하는 원.......

딥러닝 1단계: 신경망과 딥러닝(5) [내부링크]

Andrew NG 딥러닝 강의를 듣고 정리합니다. 5. 심층 신경망 네트워크 5장에서는 심층 신경망에서 다룰 예정이다.(Deep Neural Network) 5 - 1, 2, 3, 4 장에서는 4장에서 배운 내용을 다시 복습하기도 하고 deep network에서 forward/back propagation 과 레이어에 대한 설명 (물론 4장 얕은 신경망 네트워크에서 배운내용이다) input, weight, bias 등 벡터의 차원을 가지는 방법을 확인하였다. 행렬곱을 생각하면 매우 쉽게 이해하고 넘어 갈 수 있다. 중요한 점은 역전파에서 구현하는 경우에도 차원이 같은지 doublecheck 이라고 언급 할 정도로 확인이 필요한 부분이다. Why Deep Representations? [1] : 네트워크가 더 깊어 질 수록 더 많.......

[CS231N] Lecture6 : Training Neural Networks I [내부링크]

https://www.youtube.com/watch?v=wEoyxE0GP2M&feature=youtu.be&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&t=3093 해당 강의를 듣고 개인적으로 정리하는 글입니다. 이번 시간에는 무엇을 배우느냐 이런 다양한 신경망 관련된 다양한 설정과 학습에 관련되어서 강의를 한다고 한다. 강의 시간이 1:20분인 이유가 있었어....ㅜㅜ ·Activation Functions 이 그림 많이 보셨을겁니다. 저기 그림에 f 가 activation fucntion 입니다. activation function에는 여러가지가 있습니다. Sigmoid 옛날에 많이 쓰였지만 요즘은 잘 안쓰는 함수다. 흔히 말하는 이진분류에서 아직 많이 사용한다. 중간층(hidden layer)에서.......

[CS231N] Lecture7 : Training Neural Networks II [내부링크]

https://www.youtube.com/watch?v=_JB0AO7QxSA&list=PLzUTmXVwsnXod6WNdg57Yc3zFx_f-RYsq&index=7 Optimization SGD의 문제점을 한번 언급해야 모멘텀을 이용해 해결하는 과정이므로 SGD 벡터의 이동 문제로 지그재그로 움직여 오래걸리기도하고 local minima or saddle point 문제 한번 설명하자 그림과 설명 추가 예정 ·Parameter update ·Momentum update 그래디언트디센트에서는x자체를 업데이트했지만 모멘텀에서는 v를 추가하여(속도 velcoity) 업데이트 하고 x의 위치를 속도에 따라서 업데이트 한다. (언덕에서 공을 굴리는 식으로?) ·NEsterov Momentum update(Nesterov Accelerated Gradient) 모멘텀보다 항상.......

CS231n Lecture 9 | CNN Architectures [내부링크]

https://www.youtube.com/watch?v=DAOcjicFr1Y&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=9 해당 강의를 듣고 작성합니다. Lecture 8강은 cpu와 gpu의 차이와 tensorflow 와 pytorch 2개의 대표적인 라이브러리에 대한 설명과 차이점을 설명하여 각각의 장단점을 설명하였습니다. 정리하면 GPU는 어쩔수 없이 사용해야하고? 이 분야에서는 NVIDIA가 최고이고 큰 모델과 gradient를 쉽게 만들수 있다! 그리고 아직 Tensorflow 와 Pytorch 2개의 라이브러리에 대해서는 누가 더 좋냐가 아직 말이 많은데 글을 작성하는 기준 (12.06.2020) 논문 및 연구에서 많이 사용되는것은 Pytorch라고 한다. 난 Tensorflow만 써봤.......

CS231n Lecture 10 | [내부링크]

하 언제 정리하지 정말 귀찮다 나중에 올릴게요 꼭...

CS231n Lecture 11 | Detection and Segmentation [내부링크]

https://youtu.be/nDPWywWRIRo cs231n 11강 강의를 듣고 정리합니다. 개인적으로 정리하고 제멋대로 정리하기 때문에 (제가 이해하는대로) 참고하시길! 11강에서 다룰 내용들이다. 이름 철자만 봐도 뭔가 어려워 보인다.젠장 요즘 핫한 분야라고한다? 이미지 내부의 공간 픽셀에 대해~ segmentation의 종류이다. 뒤에서 자세한걸 다룰테니 이 정도만 알고 가자. 1.Semantic Segmentation ·Label each pixel in the image with a category label ·Don't differentiate instances, only care about pixels 정리하면 사례?를 구분하지 않고 각 이미지 픽셀에 라벨을 한다? 라고 해석했고 개인적으로 이해한것은 픽셀에 대한 분류, input image의.......

Pycharm Cartopy import error [내부링크]

pycharm 에서 ladps 자료를 시각화 하는 과정에서 Cartopy 패키지를 다운 받아 사용하려 했으나 지속적인 에러로 문제가 생김. Proj 4.9.0 을 다운 받았으나 결국 또 실패했다. cmd 창에서 직접 다운도 받아보고 시도했지만 실패. 구글링과 SO에서 많이 검색해봤지만 결국 모두 실패. 따라서 난 쥬피터로 갈아탔다. Anconda Prompt 를 접속 와 한번에 된다. 현타가 정말 야무지게 옴 그리고 pip list 를 확인하니 최신버전인 0.18.0이 설치가 됨. 그렇다. 파이참은 아직 나에겐 미지의 영역인듯 하다... 편하게 쥬피터를 쓰자.. 혹시 Pycharm에서 Cartopy 또는 iris 패키지 에러가 생긴다면 깔끔하게 포기하고 쥬피터로 갈아타는것이 현명해 보인.......

CS231n Lecture 12 | Visualizing and Understanding [내부링크]

https://youtu.be/6wcs6szJWMY 스탠포드 cs231n 강의를 듣고 지극히 개인적으로 정리한 내용입니다. 잘못 이해한 부분이 있을수도 있으니 참고 바랍니다. Lecture 11 Visualizing 이쁜 이미지가 많이 나와 재미있을것이라고 예고하였지만 껄껄 전혀 기대하지 않는다ㅋㅋ 딥러닝 내부를 시각화 해서 어떤 작업이 진행되는지 알아보는 강의이다.굳이?.. 강의에서는 CONV에? 대해서 한번 알아보는것 같다! blackbox를 방지하기 위함이다 인간들아! ·First Layer : VIsualize Filters image classification에서 배웠었나 기억이 가물가물.... input image를 필터를 사용하면 그 모서리(edge)와 보색을 중점적으로 잘 찾아낸다. 첫번째 레이어의 학습.......

cs231n Lecture 13 | Generative Models [내부링크]

https://youtu.be/5WoItGTWV54 cs231n 13강 강의를 듣고 개인적으로 정리한 내용입니다. 개인적으로 정리했기 때문에 다소 내용이 투박합니다. 비지도 학습과 모델들을 살펴본다. ·지도 학습은 데이터와 레이블을 가지고 있는 형태입니다. ·비지도 학습은 데이터만 존재합니다. 목표는 데이터의 숨겨진 구조와 feature representation을 찾는것입니다. feature representation : 원시 데이터에서 기능 감지 또는 분류에 필요한 표현을 자동으로 발견 할 수 있도록하는 일련의 기술. 특징감지?! ·Generative Models 결국 목표는 representation 하는것으로 보입니다. Explicit density setimation 과 Implicit density estimation 2가지 방법입니.......

[CS231N] Lecture2 : Image Classification [내부링크]

https://www.youtube.com/watch?v=0nqvO3AM2Vw&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=2 유튜브 강의를 듣고 정리하는 글입니다. Lecture 1은 Machine Learning/ Deel Learning에 대한 전반적인 설명 강의다. 역사 설명과 인공지능은 데이터와 경험으로 설계가 된다? 정도의 내용이다. · Image Classification Image Classification = 이미지 분류이다. 현재 Image classification은 많은 곳에서 사용 중이다. 사람은 고양이 사진을 보면 "이건 고양이야!" 라고 바로 인지가 가능하다. 하지만 컴퓨터는 고양이 사진을 사진과 같이 큰 숫자로 형성된 격자로 인지한다. *격자 속 숫자는 0 ~ 255 사.......

[CS231N] Lecture3 [내부링크]

2019년 3강을 들어버림 2017년 3강을 다시 듣고 정리할 예정

[CS231N] Lecture4 [내부링크]

2019년 4강을 들어버림 2017년 4강으로 정리할 예정

[CS231N] Lecture5 [내부링크]

2017년 5강을 다시 듣고 정리 할 예정

[2021 마이 블로그 리포트] 블로그 빅데이터로 알아보는 '2021 내 블로그 스타일' [내부링크]

파이썬 기초 [내부링크]

파이썬 왕초보 기초 강의 - 파이썬 프로그래밍의 기초, 자료형(1) - YouTube 점프 투 파이썬 조코딩 유튜브 강의를 듣고 정리합니다. 무편집 풀 버전도 있지만 빠른 강의를 위해 편집본을 듣습니다. 파이썬 에디터는 vscode가 아닌 pycharm을 사용합니다. ·자료형(1) 변수 : 값을 담는 임의의 변수 숫자형 : 정수형(int), 실수(float), 검퓨터식 지수 표현 반식, 8진수, 16진수 문자열 : 인덱싱, 슬라이싱 ·인덱싱 파이썬의 모든 문장의 카운트 시작은 0 으로 시작한다. L을 출력하려면 a[0] i를 출력하려면 a[1] 이렇게 한번 알아두면 파이선 하면서 평생 써먹으니 잘 알아두자. 반대로 a[-1]은 마지막 n이로 a[-2]는 o 으로 역방향이다. .......