오늘 mlx 업데이트가 되었고 원래 모델 지원 안 한다고 안 되던 모델인
qwen3-next-80b 모델이 사용 가능해졌습니다.
전 맥스튜디오 m1 max 64gb 모델인데 엄격함 등급으로 실행에 성공했습니다.
안되면 가드레일 끄고 하면 될듯 (ram 땡겨 쓸지도)
mfxp4 양자화 42.37기가 버전입니다.
38 tps 나오네요. 쓸수는 있을듯
이 머신으로 돌리는 거의 최대 모델이기 때문에 기대가 있었는데 안되서 안타까웠는데
즐거운 소식입니다.
어느정도 사용해보고 이야기 하지만..
mlx 의 문제라곤 하는데 컨텍스트를 키워놔도 어느정도 지나면 문제가 생기는거 같습니다.
짧게 짧게 쓰면 될듯. 아직도 gguf 는 안되는데 되는게 어디냐 싶습니다.
나중에 문제가 해결 되겄죠 뭐.
댓글 없음:
댓글 쓰기