Microsoft 1-bit으로 학습한 BitNet | 경쟁 모델보다 앞선 성능에도, 겨우 400MB 사용, CPU로 구동 가능

오 본문에 영상 넣으니 제목이 자동으로 입력 되네요

이제 GPU없이 구동 되는 모델도 나왔습니다

물론 결과물이 GPU 사용 고사양 모델들과 비교할 수준은 아니지만

CPU와 400메가의 메모리와 적은 소비 전력으로

비슷한 체급의 GPU 사용 모델과 비슷하거나 더 나은 수준을 보여주면서

어느정도 결과물을 뽑아낸다는 점을 봤을 때 앞으로의 발전이 기대됩니다

영상에서 언급하는 온디바이스 뿐만 아니라

좀 더 발전 한다면 외장 GPU가 없는 미니피씨 서버에서도 잘 돌아가는 AI가 나올 수도 있겠네요

공개가 된 상태라 지금 사용 가능하다고 하니 관심 있으신 분들은 찍먹 해보셔도 좋을 거 같습니다

Read more

시놀로지 도커에 openclaw 설치하기

오픈클로를 도커에 설치하는 방법을 문의하신 분이 계셔서 작성 해봅니다 현재 오픈클로는 나온지 얼마 안됐고 계속 업데이트가 되고 있는 상황이기 때문에 설치 방법이 달라질 수 있습니다 Docker - OpenClaw https://docs.openclaw.ai/install/docker 제 개인적인 의견은 공식 문서를 참고하시는 걸 추천 드립니다 우선 시놀로지에 설치 하기 위해서는 패키지 센터에서

By 빨간물약

GLM-5 모델 출시와 함께 가격인상

https://svrforum.com/software/2992940 얼마 전에 위 링크 글을 통해 1년 4만원 결제로 상급 모델 사용이 가능하다고 알려드렸던 GLM에서 5버전 출시와 함께 가격 인상을 한다는 이메일이 왔네요 다행히 기존에 이미 사용하는 사람들은 상관 없다고 합니다 내용은 11일 부터 인상이라는데 시차 때문인지 아직 할인된 가격이 적용 되는 거 같습니다 사용을

By 빨간물약

Openclaw를 시놀로지 도커에 설치 해봤습니다

wtr pro n100 네이티브 헤놀에 설치 했습니다 (꺼져있는 CLI 컨테이너는 CLI 접속 시에만 동작 합니다) 어차피 api를 사용하니 도커도 괜찮겠다 싶어서 시도 해봤는데 간단한 문답은 자원 소모가 거의 없네요 텔레그램과 대시보드도 잘 되고 SSH 접속을 통한 CLI 설정도 잘 됩니다 GLM-4.7 API를 사용하는 거라 일반적인 대화 성능은 맥미니랑 크게

By 빨간물약