로컬 AI 하려고 PC부터 바꾼다고요? RAM 숫자 전에 볼 것이 있다

모델 파일은 계산의 시작점이다

모델 가중치는 학습된 수치를 담는다. 아주 단순하게 70억 개 수치를 각각 4비트로 담는다고 가정하면 70억×4÷8, 약 35억 바이트가 된다. 이것은 가중치의 이론적 산술일 뿐, “3.5GB면 7B 모델이 잘 돈다”는 구매 권장치가 아니다. 실제 파일 형식의 부가 정보와 양자화 방식부터 차이가 난다.

실행하면 모델 외에도 문맥을 다루는 메모리와 프로그램의 작업 공간이 필요하다. 같은 모델이라도 짧은 질문 한 개를 처리할 때와 긴 문서를 넣고 여러 차례 대화할 때의 조건이 다르다. 파일 크기 하나를 전체 필요 메모리로 읽으면 이 부분이 사라진다.

근거 문서: [1] LM Studio — Estimate memory and load models[3] LM Studio — System requirements

RAM과 VRAM을 한 숫자로 더하지 말자

일반적인 별도 GPU의 VRAM과 시스템 RAM은 맡는 역할과 접근 경로가 다르다. 어떤 부분을 GPU에 올릴 수 있는지, 나머지를 어떻게 처리하는지는 런타임과 하드웨어 지원에 달려 있다. 통합 메모리 구조도 운영체제와 다른 앱이 함께 사용하는 여유를 남겨야 한다. 사양표의 합계가 곧 모델용 전용 공간은 아니다.

그래서 후보 GPU는 용량만 보기 전에 사용하려는 프로그램의 지원 목록과 맞춰야 한다. Ollama의 GPU 문서는 지원 조건을 확인할 출발점이고, LM Studio 역시 운영체제와 하드웨어 요구 사항을 별도로 안내한다. 구매하고 나서 지원 경로를 찾는 순서는 비싸다.

근거 문서: [2] Ollama — Hardware support[3] LM Studio — System requirements

가장 싼 실험은 이미 가진 PC에서 시작한다

먼저 실제 업무 질문 하나를 만든다. 예를 들어 로컬 문서에서 조건을 추출하고, 근거 문장을 함께 돌려받는 작업이다. 작은 모델부터 같은 질문과 같은 자료로 비교하면서 로딩 시간, 첫 응답 대기, 완성된 답의 누락을 적는다. 출력을 빨리 하는데 중요한 조건을 빼먹으면 업무용으로는 빠른 모델이 아니다.

그다음 실제로 쓸 길이의 문서를 넣는다. 짧은 데모가 성공한 것을 긴 업무에서도 성공한 것으로 확대하지 않는다. LM Studio의 모델 로딩 도구로 로드 조건을 살펴보고, 운영체제의 메모리 사용량과 함께 기록하면 다음 구매에서 부족한 것이 용량인지 지원 경로인지 답의 품질인지 나눌 수 있다.

근거 문서: [1] LM Studio — Estimate memory and load models

로컬로 돌린다는 이유만으로 모든 것이 해결되지는 않는다

오프라인 사용과 자료를 외부 모델 API로 보내지 않는 운영은 로컬 실행을 검토할 이유다. 그렇다고 내려받은 파일이나 연결한 도구까지 모두 안전하다는 뜻은 아니다. 모델 출처와 라이선스, 도구의 네트워크 접근, 남겨지는 로그를 별도로 확인해야 한다. “로컬”이라는 한 단어가 전체 운영 정책을 대신하지는 않는다.

새 PC는 실험 결과가 구체적인 부족분을 가리킬 때 산다. 원하는 모델이 실제 질문에 합격했고, 목표 문맥에서 메모리가 부족하다는 증거가 있다면 용량 투자가 설득력을 얻는다. 모델이 질문을 잘못 이해하는 문제라면 메모리를 더 사도 같은 오답을 더 여유롭게 보관할 수 있을 뿐이다.