2025년 회고
25년에 정말 많은 일이 있었다. 글을 작성하는 시점은 26년 1월이지만, 기록이라도 해두면 좋지 않을까 싶어서 이제라도 적어본다.
여행
25년은 친구 덕분에 차타고 편하게 국내 여행도 다녀보고, 오산 공군기지도 가 봤었다. 옛날에 무궁화호 열차 타고 부산 여행 갔던게 생각나서 너무 웃겼다, 차 하나 생겼다고 이렇게 편한 일이었나 싶어서
회사에서는 오프사이트로 교토, 오사카 여행도 갔었다. 2일차에는 혼자 지하철/버스 타고 돌아다녔는데 꽤 즐거운 여행이었던 거 같다.
컨퍼런스 / 워크숍 / 밋업
처음으로 학회 워크숍도 가보고 여러 밋업, 컨퍼런스들도 정말 많이 참여했다.
- Instruct.KR 2025 8월 Dev day for Ultrathink
- First vLLM Korea Meetup
- 1st Workshop on Systems for Agentic AI (SAA ’25)
- FriendliAI Seoul Meetup
- DEVFEST 인천 2025
- Instruct.KR 2025 12월 Agent Meetup + Hackathon
특히 SOSP 2025에서 열린 SAA '25 워크숍은 정말 인상 깊었다.
심지어는 워크숍에서 하는 발표가 재밌을 거 같아서 같은 생각을 하고 있는 개발자 친구들 끼리 모여서 이상한 동아리도 만들었었다. (혹시 관심있다면... 당신도 야호행복학회 하쉴? -> join us!!)
취미
키보드 조립하고 모델 관련 무언가를 하는게 25년 취미였다. 음 그랬던 거 같다. 분명 책 읽기나 영어 손글씨 필사 같은 고상한 활동도 취미라고 자기 최면 걸고 해 본 적도 있는 거 같지만 얼마 못가서 그만두게 되는 것 같았다.
Diffusion / Transformers 모델을 다루는 회사에 다니다 보니, 어쩔 수 없이 모델에 많은 관심이 생겼는데, 관심 가는대로 정말 많은 실험을 해봤다. Llama 3.1 모델 LoRA 학습 해보는 걸로 시작해서 나중에는 "tiny-ko" 라고 이름 붙인 한국어 언어모델 pretraining 까지 해봤다. 아키텍처는 라마 아키텍처에 토크나이저랑 데이터를 열심히 가공해서 124M 정도 아주 작은 사이즈의 모델을 학습 시키는 프로젝트였는데, 목표가 모델이 말을하고, 싱글턴이라도 지침에 알맞는 응답을 하는 것이었는데, 그 이상으로 잘 동작해서 상당히 재밌었다. 학습 과정에서 회사에 실험용으로 있는 gpu cluster A100과 colab T4를 돌아다니면서 Muon 옵티마이저 같은 최신 기술도 적용해보고 비교해보는 즐거운 취미(?) 였다. "tiny-ko" 모델을 학습시키면서 텍스트 모델 pretrain 도구도 만들었는데, Deepseek처럼 큰 고래 같은 모델이 아니라서 작은 새우, 플랑크톤이라는 이름으로 krill 이라고 작명하고 개발을 하기도 했었다. 개발 과정에서 오픈소스 옵티마이저 라이브러리에 버그 리포트와 기여도 해보는 등 몇번을 말해도 부족할 만큼 재밌었다.
"tiny-ko" 모델 가중치는 여기서 볼 수 있다.
텍스트 모델만 가지고 놀지는 않았다. 회사에서 Flux 모델이 지원되기 시작했는데, 영 내가 원하는 느낌의 이미지가 안나와서 직접 LoRA 학습을 해보기도 하고, 어둠의 심연에서 가져온 (사람들은 이걸 civ..라고 부르던데.. 들어가지마셔요 ㅏㅏ..) LoRA 모델들을 "Fused" 해서 합치기도 해보는 등 다양한 시도를 해봤었다. 텍스트 모델보다는 눈에 보이는 결과가 있으니까 재밌었던 기억이 있다.
내가 작년에 작업한 Flux.1 기반 모델 중에서는 아래 2개가 가장 괜찮았던 것 같다.
연말에는 커스텀 키보드 제작에 관심이 커져서 한참 키보드를 수집했다. 그동안 계속 HHKB 배열키보드로 vim을 사용하는게 너무 멋져보였는데, 이번 기회에 처음으로 HHKB 배열 커스텀 키보드 rule60 v3 를 조립했다. 이것 말고도 이것저것 만들긴 했는데, 역시 HHKB 배열이 뽕맛이 좋았다.
아 마지막으로 하나 더 있다. ai-sdk-tool-call-middleware. 도구 호출이 안되는, 혹은 되지만 엔진이 아직 지원하지 않는 모델들에 대해서 vercel ai sdk 미들웨어 구현을 통해 강제로 도구 호출을 할 수 있게 해주는 미들웨어 구현이다. vercel/ai #3521 이슈에서 시작한 작업으로 메인 레포에 병합되는건 거부됐지만, 공식 문서에서 서드파티 구현으로써 소개하고 있다. 그동안 내가 작업했던 오픈소스 중에서 그나마 의미있고, 실제로 star도 41개나 받아서 즐거운 경험이었다. 아직도 생각나면 조금씩 유지보수 하고 있다.
일 / 개발
작성 중이에요. 아니 제일 생각이 안남...
25년에 민웅기.
마지막으로 올해 내가 남긴 내 사진이다. 그냥 보세요. 별 의미 없습니다.
