본문 바로가기

분류 전체보기34

추천 시스템 입문 1-4장 1.1 추천 시스템추천 시스템 : 우리가 다음에 무엇을 하면 좋을지 의사 결정을 지원하는 기술이 책에서는 추천 시스템을 여러 후보 가운데 가치 있는 것을 선정해서 의사 결정을 지원하는 시스템이라 정의하고 설명'여러 후보 가운데 가치 있는 것을 선정한다' = 비즈니스 목적에 맞춰 알고리즘을 적절하게 선택해서 사용해야 한다는 의미 1.2 추천 시스템의 역사1990년대 인터넷 발전과 함께 정보화되고 여러 후보 가운데 가치 있는 것을 선정하는 기술이 중요해짐.제록스 팔로알토 연구소의 연구자 골드버그는 대표적인 추천 알고리즘의 하나인 협조 필터링을 처음으로 조합한 추천 시스템을 제안했음.그가 제안한 추천 시스템은 태피스트리라 불렸으며 날로 늘어나는 전자 메일중 유익한 메일을 선택하는 것.협조필터링을 사용한 메일.. 2025. 5. 14.
실전 데이터 분석 2주차 13장 텍스트 유사성 자연어 처리빠른 텍스트 분석에 중점을 둔 데이터 과학의한 분야일반적으로 대량의 텍스트 데이터셋에 적용되는 편텍스트 간 유사점과 차이점을 분석하는 데 의존적이다.  텍스트 비교텍스트 간 유사도를 비교하려면 텍스트 간 차이를 정량화 해야한다.기본 접근법 : 각 텍스트 쌍에 공유되는 단어 수를 단순히 계산하는 것.각 텍스트를 단어 단위로 분할하여 단어 리스트를 만들어야 한다.토큰화 : 텍스트를 개별 단어로 분할하는 과정 정확한 단어를 비교하는 것이 불가능한 이유일관성 없는 대문자일관성 없는 구두점(특수문자 등) 합집합 : 텍스트 간 겹치는 단어와 겹치지 않는 단어를 모두 결합할 때 사용    두 텍스트의 유사성을 평가하는 간단한 지표의 작동 방식( 자카드 유사도 혹은 자카드 지수 )두 텍.. 2025. 4. 8.
실전 데이터분석 1주차 7, 9장 바로가기 5장 사이파이를 사용한 기본 확률 및 통계 분석 예산이 제한된다면 데이터도 제한 될 수 밖에 없고, 데이터와 투입 가능한 자원 간 절충이 현대 통계의 핵심.통계의 목적 : 데이터 크기가 제한된 경우에서도 데이터에서 숨겨진 의미를 찾는 것 5.1 사이파이로 데이터와 확률 간 관계 탐색하기사이파이from scipy import stats과학적 파이썬의 줄인말과학적 분석에 유용한 여러 기능을 제공확률과 통계 문제 해결용으로 만들어진 전용 모듈 scipy.stats를 포함함 scipy.stats 모듈은 데이터의 임의성 평가에 매우 유용stats.binom_test 메서드 : 이항 분포, 확률을 측정할 수 있음. num_heads = 16num_flips = 20prob_head = 0.5pr.. 2025. 4. 2.
머신러닝 9주차 - RNN과 어텐션을 사용한 자연어 처리 자연어 문제에 많이 사용되는 방법은 순환 신경망이다. 먼저 Char-RNN 모델을 어떻게 만드는지 살펴본다. 1. 훈련 데이터셋을 만들어준다.import tensorflow as tfshakespeare_url = "https://homl.info/shakespeare"  # 단축 URLfilepath = tf.keras.utils.get_file("shakespeare.txt", shakespeare_url)with open(filepath) as f:    shakespeare_text = f.read() 2.  tf.keras.layers.TextVectorization층을 사용해 텍스트를 인코딩 한다.text_vec_layer = tf.keras.layers.TextVectorization(spl.. 2025. 3. 26.
머신러닝 8주차 순환신경망(RNN)미래를 예측할 수 있는 네트워크시계열 데이터를 분석RNN이 순차 데이터를 다룰 수 있는 유일한 신경망은 아님.순환 신경망은 피드포워드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연결도 있다는 저머이 다름.각 타임 스텝(프레임)마다 이 순환 뉴런은 x와 이전 타임 스텝의 출력인  ŷ 을 입력받음.첫 번째 타임 스텝에서는 이전 출력이 없으므로 일반적으로 0으로 설정오른쪽 그림처럼 시간을 축으로 표현한 것을 시간에 따라 네트워크를 펼쳤다고 말함.❗ 타임스텝이란 순환 뉴런이 시간에 따라 한 번씩 연산을 수행하는 순간을 의미, 그림에서 x(n)   타임스텝 t마다 모든 뉴런은 입력 벡터 x와 이전 타임 스텝의 출력 벡터  ŷ을 받음.이제 입력과 출력이 모두 벡터가 됨.각 순환 뉴런은 두 벌의 가.. 2025. 3. 18.
머신러닝 7주차 💡 사물을 감지하거나 음성을 인식하는 일 등을 인간이 쉽게 할 수 있는 이유는? - > 사람의 지각이 주로 의식의 영역 밖, 즉 뇌의 특별한 시각, 청각, 그리고 다른 감각 기관에서 일어난다는 사실  시각피질 구조시각 피질 안의 많은 뉴런이 작은 국부 수용장을 가짐 -> 뉴런들이 시야의 일부 범위 안에 있는 시각 자극에만 반응한다는 뜻  시각 피질 연구에서 합성곱 신경망으로 점진적으로 진화.LeNet-5 구조가 생김. 이 구조는 합성곱 층과 풀링 층이라는 새로운 구성 요소가 포함되어있음.  합성곱 층CNN의 가장 중요한 구성 요소첫 번째 합성곱 층의 뉴런은 합성곱 층 뉴런의 수용장 안에 있는 픽셀에만 연결두 번째 합성곱 층에 있는 각 뉴런은 첫 번째 층의 작은 사각 영역 안에 위치한 뉴런에 연결이런 구.. 2025. 3. 12.