전체 글33 실전 데이터 분석 2주차 13장 텍스트 유사성 자연어 처리빠른 텍스트 분석에 중점을 둔 데이터 과학의한 분야일반적으로 대량의 텍스트 데이터셋에 적용되는 편텍스트 간 유사점과 차이점을 분석하는 데 의존적이다. 텍스트 비교텍스트 간 유사도를 비교하려면 텍스트 간 차이를 정량화 해야한다.기본 접근법 : 각 텍스트 쌍에 공유되는 단어 수를 단순히 계산하는 것.각 텍스트를 단어 단위로 분할하여 단어 리스트를 만들어야 한다.토큰화 : 텍스트를 개별 단어로 분할하는 과정 정확한 단어를 비교하는 것이 불가능한 이유일관성 없는 대문자일관성 없는 구두점(특수문자 등) 합집합 : 텍스트 간 겹치는 단어와 겹치지 않는 단어를 모두 결합할 때 사용 두 텍스트의 유사성을 평가하는 간단한 지표의 작동 방식( 자카드 유사도 혹은 자카드 지수 )두 텍.. 2025. 4. 8. 실전 데이터분석 1주차 7, 9장 바로가기 5장 사이파이를 사용한 기본 확률 및 통계 분석 예산이 제한된다면 데이터도 제한 될 수 밖에 없고, 데이터와 투입 가능한 자원 간 절충이 현대 통계의 핵심.통계의 목적 : 데이터 크기가 제한된 경우에서도 데이터에서 숨겨진 의미를 찾는 것 5.1 사이파이로 데이터와 확률 간 관계 탐색하기사이파이from scipy import stats과학적 파이썬의 줄인말과학적 분석에 유용한 여러 기능을 제공확률과 통계 문제 해결용으로 만들어진 전용 모듈 scipy.stats를 포함함 scipy.stats 모듈은 데이터의 임의성 평가에 매우 유용stats.binom_test 메서드 : 이항 분포, 확률을 측정할 수 있음. num_heads = 16num_flips = 20prob_head = 0.5pr.. 2025. 4. 2. 머신러닝 9주차 - RNN과 어텐션을 사용한 자연어 처리 자연어 문제에 많이 사용되는 방법은 순환 신경망이다. 먼저 Char-RNN 모델을 어떻게 만드는지 살펴본다. 1. 훈련 데이터셋을 만들어준다.import tensorflow as tfshakespeare_url = "https://homl.info/shakespeare" # 단축 URLfilepath = tf.keras.utils.get_file("shakespeare.txt", shakespeare_url)with open(filepath) as f: shakespeare_text = f.read() 2. tf.keras.layers.TextVectorization층을 사용해 텍스트를 인코딩 한다.text_vec_layer = tf.keras.layers.TextVectorization(spl.. 2025. 3. 26. 머신러닝 8주차 순환신경망(RNN)미래를 예측할 수 있는 네트워크시계열 데이터를 분석RNN이 순차 데이터를 다룰 수 있는 유일한 신경망은 아님.순환 신경망은 피드포워드 신경망과 매우 비슷하지만 뒤쪽으로 순환하는 연결도 있다는 저머이 다름.각 타임 스텝(프레임)마다 이 순환 뉴런은 x와 이전 타임 스텝의 출력인 ŷ 을 입력받음.첫 번째 타임 스텝에서는 이전 출력이 없으므로 일반적으로 0으로 설정오른쪽 그림처럼 시간을 축으로 표현한 것을 시간에 따라 네트워크를 펼쳤다고 말함.❗ 타임스텝이란 순환 뉴런이 시간에 따라 한 번씩 연산을 수행하는 순간을 의미, 그림에서 x(n) 타임스텝 t마다 모든 뉴런은 입력 벡터 x와 이전 타임 스텝의 출력 벡터 ŷ을 받음.이제 입력과 출력이 모두 벡터가 됨.각 순환 뉴런은 두 벌의 가.. 2025. 3. 18. 머신러닝 7주차 💡 사물을 감지하거나 음성을 인식하는 일 등을 인간이 쉽게 할 수 있는 이유는? - > 사람의 지각이 주로 의식의 영역 밖, 즉 뇌의 특별한 시각, 청각, 그리고 다른 감각 기관에서 일어난다는 사실 시각피질 구조시각 피질 안의 많은 뉴런이 작은 국부 수용장을 가짐 -> 뉴런들이 시야의 일부 범위 안에 있는 시각 자극에만 반응한다는 뜻 시각 피질 연구에서 합성곱 신경망으로 점진적으로 진화.LeNet-5 구조가 생김. 이 구조는 합성곱 층과 풀링 층이라는 새로운 구성 요소가 포함되어있음. 합성곱 층CNN의 가장 중요한 구성 요소첫 번째 합성곱 층의 뉴런은 합성곱 층 뉴런의 수용장 안에 있는 픽셀에만 연결두 번째 합성곱 층에 있는 각 뉴런은 첫 번째 층의 작은 사각 영역 안에 위치한 뉴런에 연결이런 구.. 2025. 3. 12. 머신러닝 6주차 인공 뉴런 : 단순히 입력이 일정 개수만큼 활성화되었을 때 출력을 내보냄 퍼셉트론 : 가장 간단한 인공 신경망 구조퍼셉트론에서 가장 널리 사용되는 계단 함수 -> 헤비사이드 계단함수퍼셉트론은 하나의 층 안에 놓은 하나 이상의 TLU로 구성각각의 TLU는 모든 입력에 연결됨 이러한 층을 완전 연결 층 / 밀집 층 이라고 함.입력은 입력층을 구성TLU의 층이 최종 출력을 생성하기 때문에 이를 출력 층 이라고 함!💡퍼셉트론의 훈련 알고리즘은 헤브의 규칙에서 영감을 받음.헤브의 규칙 : 두 뉴런이 동시에 활성화될 때마다 이들 사이의 연결 가중치가 증가하는 경향이 있다.퍼셉트론은 네트워크가 예측할 때 만드는 오차를 반영하도록 조금 변형된 규칙을 사용하여 훈련된다.퍼셉트론 수렴 이론 : 훈련 샘플이 선형적으로 .. 2025. 3. 5. 이전 1 2 3 4 ··· 6 다음
