Molybdenum의 개발기록

추천시스템 : 정보 필터링(IF) 기술의 일종으로 특정 사용자가 관심을 가질만한 정보를 추천하는 것 - 콘텐츠 기반 방식 - 협업 필터링 기반 방식으로 추천 목록 생성 프레임의 변화 : 최근 고객에 대한 빅데이터를 기업에서 구축하기 시작하며 파레토의 법칙에서 롱테일의 법칙이 주목 추천 시스템의 역사 연관성 분석(Apriori) : 관계형 데이터 베이스에 대한 빈번한 항목 집합 분석 및 연관 규칙 학습을 위한 알고리즘 - 장점 : 원리가 간단하여 사용자가 쉽게 이해할 수 있고 의미 파악이 쉽다. 또한 유의한 연관성을 갖는 구매패턴을 찾아준다. - 단점 : 인과관계 파악이 어려우며 데이터가 클 경우 속도가 느리고 연산량이 많다. 실제 사용시에는 많은 연관상품들이 나타나는 단점이 있다. 협업 필터링 : 사용자..

Hugging Face : Hugging Face는 딥러닝 모델과 자연어 처리 기술을 개발하고 공유하는 회사로서 다양한 딥러닝 프레임워크를 지원하는 라이브러리와 도구를 제공하고 있다. 대표적으로 Transformers라이브러리가 있는데 이 라이브러리는 자연어 처리 모델을 구현하고 학습시키는데 사용되며 BERT, GPT, XLNet 등 다양한 모델을 제공한다. 이러한 모델들은 자연어 이해, 기계 번역, 질문 응답, 감성 분석 등의 다양한 자연어 처리 태스크에서 상위 성능을 보여준다. Transformer Models seq2Seq -> Attention + Seq2Seq -> Transformer -> GPT -1 -> BERT -> GPT - 2 -> XLNet -> RoBERTa -> MASS -> B..

시퀀스 데이터(Sequence data) : 시퀀스 데이터는 연관된 연속의 데이터로 순서가 있는 자료로 시계열 자료나 텍스트 자료가 대표적이다. 실제 사용하는 데이터들 중에는 시퀀스 데이터가 대부분을 차지한다.(음성인식이나 자연어 처리 etc) ex) 주가데이터, 심전도 RNN(순환신경망 : Recurrent Neural Network) : 다양한 길이의 입력 시퀀스를 처리할 수 있는 인공신경망으로 결과값을 출력층 방향으로도 보내면서 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가진다. 언어모델링/음성인식/기계번역/대화모델링/질문답변/이미지·비디오 캡처/이미지·음악·동작 생성 - 유형 : 입력 갯수와 출력 갯수에 따른 유형으로 입력과 출력의 길이에 따라 달라진다. One to one : 가장 ..

2014, VGGNet : AlexNet(2012)dml 8-layers 모델보다 깊이가 2배 이상 깊은 네트워크의 학습에 성공(layer)하였다. => 이를 통해 ImageNet Challenge에서 AlexNet의 오차율을 절반(16.4 > 7.3)으로 감소하였다. 16-19개 layer와 같이 깊은 신경망 모델의 학습을 성공 => 3x3 필터를 사용했기 때문이다. layer를 깊게 쌓는 것이 VGG의 핵심이며 layer의 깊이가 어떤 영향을 주는지 6개 구조에 대한 연구로 시작되었다. 모든 합성곱층(Convolutional layer)에서 3x3필터만을 사용하는가 => 2개의 3x3 합성곱을 중첩하면 1개의 5x5 합성곱의 수용 영역과 동일하기 때문이다. 층마다 활성화 함수를 사용할 수 있어서 결정..

ML과 DL => 딥러닝 기술의 가장 큰 장점은 스스로 사물의 특징을 만들어 학습하며 이전까지 인공지능 역사가 실패했던 것은 사람이 컴퓨터에게 일일이 정해주려고 했기 때문이다. ILSVRC 이미지 인식 경진대회 : ImageNet Large Scale Visual Recognition Challenge(이미지에 대한 정확도를 겨루는 대회) 2010, 2011년 우승 알고리즘은 얕은 구조(shallow architecture) 기반으로 이미지 인식에 유용할만한 특성을 개발자들이 임의로 결정해서 도출 => 지식이 늘어나면 지식끼리 서로 모순되거나 일관되지 않는 문제 발생 2012년 CNN 기반 딥러닝 알고리즘 AlexNet이 우승 이후 깊은 구조(deep architecture)를 가진 알고리즘들이 우승을 ..

CNN(합성곱신경망) : Convolution Neural Network : 다층 퍼셉트론(MLP)로 이미지를 flat하게 펼쳐 학습하면 이미지의 지역적 정보 소실 => 합성곱층의 뉴런은 수용 영역(receptive field)안에 있는 픽셀에만 연결하여 이미지의 지역적 정보를 보유한다. - 다층 퍼셉트론(MLP)은 해당 데이터를 추상화시키지 않고 바로 연산을 시작하기에 학습 시간과 능률이 비효율적 => 이미지를 이해하고 추상화된 정보를 추출하여 특징(feature)의 패턴을 파악하는 CNN 도입했다. - 다층 퍼셉트론(MLP)은 이미지 픽셀마다 다른 가중치(W) 값을 부여하여 픽셀값 하나만 달라져도 다르게 계산된다. => 객체의 위치가 바뀌어도 같은 특징을 추출하도록 합성곱층에서는 각 영역의 인접 데이..