검색이 걸릴지 모르겠습니다.
윈도우 빌드 해볼라고 했는데 참 c++ 안한지 오래라 많이 해맸네요
기본적으로는 github의 설치 가이드대로 하면 됩니다.
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
# (Recommended) Create a new conda environment
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
pip install -r requirements.txt
# Manually download the model and run with local path
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
일단 clang, cmake 관련은 하단으로 내리면 윈도우 관련 글이 있다.
"C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\Tools\VsDevCmd.bat" -startdir=none -arch=x64 -host_arch=x64
아나콘다 프롬프트로 해당 명령을 하면 되는데 위치가 다를 수 있기 때문에 배치 파일을 만들어서 하면 좋다.
매번 해야 하기 때문에 번거롭다.
visual studio도 c++ 개발 등 cmake 관련과 clang 으로 검색해서 나오는것들 설치해주고 하면 된다.
근데 제목의 내용은 하여간 이렇게 하란대로 다 했는데 안 된다.
그래서 llm 으로 물어보니 이러고 저러고 나오는데
간단하게
C:\BitNet\3rdparty\llama.cpp\common
common.cpp
log.cpp
이렇게 2개에서 문제가 생기는데
error : no type named 'system_clock' in namespace 'std::chrono'
하여간 저 2개의 파일 상단에 보면
#include "log.h"
#include <condition_variable>
#include <cstdarg>
#include <cstdio>
#include <mutex>
#include <sstream>
#include <thread>
#include <vector>
#include <chrono> <- 추가
이런식으로 해당 라인을 추가해주면 된다.
컴파일 로그를 보내 2개의 파일에서만 문제가 있었고 이후에는 컴파일이 잘 되서 실제로 잘 돌릴 수 있게 되었다.
급하게 글을 적은 이유는 맥으로도 실패(멈춤)했는데 윈도우에서도 안되서 답답했었고 결국
스스로 해결하게 되었는데 나같은 사람 있을까봐 글을 남긴다.
요즘 llm에는 글 긁어서 주면 뭔지 대충 알려줘서 편한거 같다.
하여간 혹시 같은 문제 있으면 이거 보고 해결보시길
