본문 바로가기

개발64

[Day3] LLM 스터디 1기 - 멀티헤드 어텐션 & 피드포워드 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스스터디 3일 차다. 지난 시간에 셀프 어텐션까지 마쳤고 오늘은 이를 더 발전시켜서 '멀티헤드 어텐션'부터 시작한다.02. GPT멀티헤드 어텐션과 피드포워드멀티헤드 어텐션은 말 그대로 여러 개의 어텐션 메커니즘을 병렬로 사용하는 것이라고 한다. 여기서 병렬 처리란 하나의 데이터를 여러 관점에서 동시에 처리하는 것을 말한다. 코드는 아래와 같다.class MultiHeadAttention(nn.Module): def __init__(self, num_heads, head_size): super().__init__() self.heads = nn.ModuleList([Head(head_size) for _ in ran.. 2025. 1. 10.
[Day2] LLM 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스LLM은커녕 전반적인 AI 관련 지식이 전무하다 보니 스터디 진도 따라가기가 쉽지 않다. 어제까지 스터디 5일 차가 끝났어야 하는데 아직 2일 차의 학습 범위를 벗아지 못하고 있다. 일단 동작 확인 중심으로 해서 진도를 따라가 보려고 한다. 오늘은 '2장 GPT'에서 '기본적인 언어 모델 구조 학습(46~66p)', '셀프 어텐션 매커니즘 이해(67~88p)' 부분을 공부했다.02. GPT언어 모델 만들기 (Optimizer 포함)sepmGPT라는 이름의 클래스를 작성하는 것으로부터 간단한 언어 모델을 만드는 과정이 시작된다. 해당 클래스는 크게 '__init__' 메서드와 'forward' 메서드로 이뤄져 있다. 나는 파이썬도 잘 모르는데 .. 2025. 1. 5.
[Day1] LLM 스터디 1기 - NLP 이해와 런팟 설치 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스'한 권으로 끝내는 실전 LLM 파인튜닝' 도서를 기반으로 하는 온라인 스터디 모임에 참석하게 됐다. 앞으로 3주 동안 15일(주말 제외)에 걸쳐 진행된다. 오늘이 1일 차. 01 NLP의 과거와 오늘1장은 자연어 처리(NLP: Natural Language Processing)와 인공지능의 발전을 과정을 단계적으로 다루고 있다. LLM에 지식이 전무한데도 옛날 이야기를 듣는 느낌이라 딱히 어려운 부분은 없었다. AI와 NLP의 역사는 1930년대부터 시작됐는데 1957년에 프랭크 로젠블렛이 개발한 '퍼셉트론(Perceptron)'이 현재 구현된 인공신경망의 핵심이라고 한다. 퍼셉트론 시스템은 서로 다른 두 유형의 자극을 스스로 구분할 수 있.. 2024. 12. 30.
[Visual Studio] 솔루션 탐색기에서 파일이 자동 선택되게 하기 말로 표현하기 참 어려운데.. 비쥬얼 스튜디오에서 작업 중인 파일이 솔루션 탐색기(Solution Explorer)에서도 자동으로 선택되게 하는 방법을 공유한다. 사실 미래의 나를 위한 기록이다. 이게 기본 옵션이 아니라서 회사를 옮기거나 비쥬얼 스튜디오를 새로 설치할 때마다 구글링하게 된다. Tools -> Options을 선택해서 창을 띄우고, Projects and Solutions의 Track Active Item in Solution Explorer 항목을 체크하면 된다. 이렇게 하면 열려 있는 파일들의 상단 탭을 클릭해서 작업할 파일을 변경할 때마다 솔루션 탐색기에서도 해당 파일이 자동으로 선택된다. 너무 간단한가.. 끝. 출처: https://stackoverflow.com/questions.. 2021. 9. 23.
앱 위젯(App Widget) - 비동기 이미지 다운로드 예제 안드로이드 앱 위젯에서 AsyncTask를 이용해서 비동기로 이미지를 다운로드 받고 화면에 뿌려주는 예제다. 내가 처음부터 전부 다 만든 것은 아니고 구글링으로 찾은 아래 예제가 정상적으로 작동하지 않아 일부 코드를 수정했다. https://blog.naver.com/cosmosjs/221299199145 안드로이드 스튜디오 : 홈스크린용 위젯(Widget) 만들기(3) : 기초예제와 AsyncTask의 사용 위젯을 만들고 버튼에 기능을 부여할려고 하니 어떻게 해야 할지 막연하다. 그래서 아주 기초적인 것을 해... blog.naver.com 버튼2는 잘 작동하는데 버튼1과 버튼3이 터치해도 반응이 없었다. 그래서 두 버튼의 onclick 리스너를 설정하는 코드를 기존 void updateAppWidge.. 2021. 7. 5.
[Unity DOTS] 공식 샘플 프로젝트 완전 분석 1편 나도 깜짝 놀랐는데 'ECS & C# Job System 샘플 프로젝트 따라잡기 #2'라는 이름의 포스트를 작성하고 벌써 1년이 넘게 지났다. 슬슬 3편을 써볼까 하고 git pull을 받았는데 너무 많이 바뀌었다. 그래서 그냥 처음부터 다시 시작한다. 기존 1,2편도 기록을 위해 남겨둔다. 2019/03/13 - [개발/Unity] - [Unity][DOTS] ECS & C# Job System, 샘플 프로젝트 따라잡기 #1 [Unity][DOTS] ECS & C# Job System, 샘플 프로젝트 따라잡기 #1 유니티의 Entity Component System & C# Job System 샘플 프로젝트를 파헤쳐보겠다. Entity Component System(이하 ECS)과 C# Job Syst.. 2020. 5. 20.
반응형

티스토리툴바