홈페이지(없음) | Docs(없음) | 업데이트 노트(없음)
^ 나중에 릴리즈 하고 추가할예정
목표/예정사항
- RAG
- 멀티플레이(TRPG)
- 뭐 생각나면 뭐라도 쓰겠지.
현재 서비스중인 AI소설, 채팅계열 앱의 다양한 불만에 시작되었습니다, 대표적으론
- 기억력 관련 문제로 서사나 캐릭터 붕괴가 일어난다
- 간지나는 구출/구원 스토리를 짜뒀더니, 배은망덕하게도 까먹으셨다
- 서버 상태가 좋지 않으면 생기는 소위 말하는 찐빠로 서버 상태 눈치를 봐야한다
- api가격은 싼거 같은데 갈수록 서비스들의 요구 금액은 늘어난다 << 사실 위에 다 가능하면 상관없긴함.
기억력이라는게 결국 대량의 유저 수용을 위한 서비스에선 엄청난 부담인걸 알기도 하고, 징징대는거보단 하면서 이해하는편이라 시작.
스벨트 5 공부겸 시작한거라 쓸모의 여부는 상관없긴하지만, 굳이 긁혀서 이야기 좀 해보면
- 프롬프트 제작 및 테스트까지 돈을 내기엔 제작자들의 부담이 크다
- 그렇다고 제미나이나 지피티한테 가서 하기엔, 사소한 수정을 위해 메모리 수정하기가 귀찮다
- 중소기업급 컴퓨팅 자원을 가진사람은 오히려 API를 쓰는 서비스가 돈낭비다(난 아닌듯)
- 로컬 재밌잖아, 안전하시잖아, 즐거우시잖아
???: 제작 테스트 하기에는 실제 프론티어급 모델이랑 차이가 있지않나요?
확실치는 않지만, 4B계열도 페르소나 주입을 잘 먹을만큼 로컬의 발전도 있고, 앞으로도 로컬모델이 발전할거라 생각중 그리고 결국 모델이 좋아도, 서사의 보존과 기억은 개인의 PC에 비해 서비스들이 작을 수 밖에 없다고 봄, 쉽게 말하면 1평자리 창고에 SSS급 행보관님 vs 코스트코에 A급 행정병 느낌이라 생각함. 아무리 요약을 잘하고, 아는게 많아도, 결국 대부분의 서비스가 기억력이라는 공간을 크게 내줄 수 없음, 비록 지식이 부족하더라도 많이 담는게 중요하다고 생각함, 그리고 글 쓰는 시점에서 나온 모델들 써보니까, 막 그렇게 아쉽진 않았으니
kv캐시를 생각하면, 로컬도 빈약하긴함(물론 브램낭낭하신 분들은 아니겠지만, 본인은 3090이라) RAG나 기타 다른 도메인 지식용 툴들을 서사의 기록용으로 써볼 생각 결국 RAG나 다른 도메인 툴들도 팩트를 넣어야 한다고는 하는데, 유저가 이야기를 진행한 순간 그건 팩트가 되니까 라는 느낌으로 해볼생각, 이게 진짜생체 RHLF아닐까. 만약 아닌걸로 진행해도 진행한순간 그건 과거니까 맞는거지 기억력 말고도 만드는 이유는 많으니 계속 해볼 생각
| Recommended LLM Serving Framework | Requirement Endpoint |
|---|---|
| llama.cpp | openai v1 endpoint |
| 계획중 | 개발중 | 사용가능 | 릴리즈 |
|---|---|---|---|
| 홈페이지 + 스토리 업/다운로드 | |||
| RAG를 통한 스토리 장기진행간 설정유지 | |||
| 세션과 이전대화기반 전개 | |||
| 이미지 URL교체를 통한 유저 커스텀 스킨 | |||
| 기본적인 대화기능 (전송, 자동 스크롤, 마크다운등) |
|||
| 리저닝, 스트림챗 |
권장 실행 인자
./build/bin/llama-server --models-dir [MODEL_PATH] \
--host [HOST] \
--port [PORT] \
-ngl 999 \
-fa on \
-c 10240 \
-rea on \
--jinja \
--models-max 1 \
-np 1업데이트/미리보기
2026.05.10 hono의 staticServe + 프롬프트로 캐릭터 이미지 출력 기능 추가
2026.05.11 모델 alias, hardware권장사양용 리턴 오브젝트 리폼
2026.05.15 Logic+ (Reasoning) 켜고 끄기 추가 (문제는 틀렸지만, TASK따르는것과, <|think> 시간동안 딜레이가 있는걸 볼 수 있음)