전체 글 (37) 썸네일형 리스트형 [논문리뷰] Time is Encoded in the Weights of Finetuned Language Models Abstract언어 모델을 새로운 시간 기간에 맞추기 위한 간단한 도구인 시간 벡터를 제시시간 벡터: 언어 모델을 특정 시간(예: 연도 또는 월)의 데이터로 세세하게 조정한 후 원래 사전 훈련된 모델의 가중치를 뺀 것실험 결과에 따르면, 이 벡터는 해당 시간 기간의 텍스트에서 성능을 향상시키는 가중치 공간에서의 이동 방향을 지정인접한 시간 기간에 특화된 시간 벡터는 매니폴드 내에서 서로 더 가까이 위치이 구조를 활용하여 시간 벡터 사이를 보간하여 어떠한 추가 훈련 없이 중간 및 미래 시간 기간에 더 나은 성능을 발휘하는 새로운 모델을 유도할 수 있음다양한 작업, 도메인, 모델 크기 및 시간 척도에서 결과의 일관성을 입증결과적으로, 이 연구는 시간이 세세하게 조정된 모델의 가중치 공간에 인코딩되어 있음을 .. [논문리뷰] Towards Large Language Models as Copilots for Theorem Proving in Lean 0. AbstractTheorem proving - LLM에 있어 중요한 challenge문제 : 존재하는 LLM기반 provers는 인간의 직관 없이 완전히 자율적인 모드로 정리를 증명하려고 노력했으나 어려움 → LeanDojo해당 논문에서는 LLM을 copilot으로.. Module 8. B2B 고객데이터 기반 예측 단서 스코어링 모델 Part1. B2B 고객 행동 예측 방법론 [고객 행동 예측 방법론 ] Who? - targeting 방법론 - Binary classification - Logistic regression - ANN (인공신경망) - Decision tree - K-nearest neighbor - SVM - RFM (CRM - Consumer Relationship manager) Relationship - 구매이력 Frequency - 빈도 Monetary value - 한번에 얼마나 구매하는지 (B2B는 큰 편) What? - product matching 방법론 - Recommendations - Content-based filtering - Collaborative filtering (KNN과 비슷, 비슷한.. Module 7. B2B 마케팅 Part1. B2B 시장의 이해 [B2B 시장 ] fewer customers 큰 거래량 고객화된 상품 협상되는 가격 길고 복잡한 판매 과정 집단 의사결정 (참여자 파악 후 마케팅 전략 필요) 파생 수요 (고객사의 고객까지 고려) [소비자 vs 고객 ] 소비자 (Consumer) 경제적인 서비스나 물품을 사용하는 개인이나 조직 소비를 위해 그 대가를 지불하는 주체 상품을 사용하는 주체 고객 (Customer, client) 판매자에게 적절한 대가를 지불하고 상품, 서비스, 아이디어 등을 제공받는 자 재판매를 하는 중간 고객 혹은 유통 고객 -> 소비자 x 자신이 구매한 상품을 소모하는 최종고객 산업재의 최종 고객 -> 구매한 상품을 직접 소비하거나 자신들의 상품 일부분으로 전환 또는 활용 -> 산업.. Module6. 딥러닝 (2) Part1. seq2seq with attention 모델 및 이를 통한 자연어 이해 및 생성 [Recurrent Neural Networks] Various Problem settings of RNN based sequence Modeling one to one - Vanilla Neural Networks one to many - Image Captioning (image-> sequence of words) many to one - Sentiment classification (sequence of words -> sentiment) many to many - Machine Translation(다 입력 받고 번역), Video classifiacation on Frame level (그때 그때 .. Module6. 딥러닝 (1) Part1. 심층신경망의 기본 동작 과정 [Deep learning ] : 두뇌 속에 있는 뉴런 혹은 신경세포를 본 따서 그리고 그 신경세포들이 서로 연결관계에 있으면서 정보를 점점 더 고수준의 정보로 처리하고 여러 지능적인 task를 수행할 수 있도록 수학적인 알고리즘으로 만든 것. 기계 학습의 일종이 딥러닝 하나하나의 뉴런이 모여서 신경망을 구성 같은 계층의 뉴런들은 같은 정보를 받아서 각자 나름대로 정보를 처리하고 다음 계층의 뉴런에게 전달 계층이 매우 깊어진 것이 딥러닝 많은 학습 데이터 양 + 높은 사양의 하드웨어 + 진보된 알고리즘 필요 [Perceptron ] : 뉴런의 동작 과정을 수학적으로 본 따서 만든 알고리즘 f : 활성화함수 -> layer를 쌓으면 복잡한 task도 가능해짐 (.. Module4. 지도학습(분류/회귀) Part1. Foundation of Supervised Learning [Machine learning problems ] 머신러닝 : Data로부터 내재된 패턴을 학습하는 과정 Binary classification (Is it a spam mail or not?) Multi-class classification (Image recognition) Regression (House prices) Learning pipeline Input data with label -> training (training data -> ML model -> desired output(label) -> patameter training / error 줄여가면서 학습) -> testing (Unseen input -> M.. Module2. Mathematics for ML Part1. Matrix Decompositions 행렬 분해 (1) Determinant and Trace [Determinant 행렬식 ] det(A) ≠ 0 => A is invertible (가역) A가 2x2 matrix일 때 det(A) = a11a22 - a12a21 A가 3x3 matrix일 때 일반화 => Laplace expansion 성질 [Trace 대각합 ] (2) Eigenvalues and Eigenvectors 예제 (3) Cholesky Decomposition symmetric, positive definite matrix (모든 eigen value가 0보다 클 때)인 matrix A, A = LL^T L : 하삼각행렬 , A의 Cholesky factor 적용) fa.. 이전 1 2 3 4 5 다음
