LLM 압축 모델 안전성 평가 및 Llama 3 8B·Llama 3.1 8B 비교오늘은 LLM 압축 모델의 안전성 평가 결과를 정리하면서 Llama 3 8B와 Llama 3.1 8B의 차이도 함께 확인했다.처음에는 두 모델 모두 8B 규모이기 때문에 기존 평가 코드에서 모델만 변경하면 비슷하게 동작할 것이라고 생각했다. 하지만 실제 실험 환경을 구성하면서 같은 8B 계열이라도 모델 버전이 달라지면 단순히 checkpoint만 교체해서 비교해서는 안 된다는 점을 확인했다.1. 오늘의 실험 목표현재 실험의 핵심은 모델 압축 수준에 따라 안전성 평가 결과가 어떻게 변화하는지 확인하는 것이다.기본적으로 다음과 같은 구조로 비교하고 있다.FP16 Baseline↓SP30↓SP50↓SP70각 모델이 동일한 harm..

HarmBench 기반 LLM 안전성 평가 실험 보완오늘은 LLM 압축 실험에서 사용하고 있는 안전성 평가 방법을 다시 점검하고 평가 코드를 보완하는 작업을 진행했다.기존 실험에서는 여러 Judge를 이용해 모델 응답의 안전성을 평가하고 있었지만, 결과를 다시 정리하는 과정에서 중요한 문제가 하나 발견됐다.모델별 결과는 존재하지만 동일한 공식 평가 기준으로 비교할 수 있는 baseline 결과가 충분하지 않았다.그래서 오늘은 새로운 실험을 추가하기보다 기존 평가 파이프라인을 다시 확인하고, 빠져 있는 baseline 평가를 보완하는 데 집중했다.1. 기존 안전성 평가 구조 재점검현재 실험에서는 harmful behavior에 대한 모델 응답을 생성한 뒤 Judge 모델을 이용해 응답이 안전한지 평가하고 ..

2026.09.14 개발일지네트워크 환경 변화에 따른 서비스 품질 분석 실험오늘은 네트워크 상태 변화가 실제 서비스 품질에 어떤 영향을 주는지 확인하기 위한 실험 환경을 구성하고, 수집할 데이터와 분석 방법을 구체화했다.단순히 네트워크가 "좋다/나쁘다"를 판단하는 것이 아니라 서비스 품질이 저하되기 전에 나타나는 특징을 데이터에서 찾는 것을 이번 실험의 핵심 목표로 잡았다.1. 실험 목표이번 실험에서는 네트워크 환경을 단계적으로 변화시키면서 서비스 상태가 어떻게 달라지는지 확인하고자 했다.주요 관찰 대상은 다음과 같다.DelayJitterPacket LossThroughputBandwidth서비스 응답 상태영상 재생 상태Buffering 발생 여부특히 네트워크 품질이 나빠진 순간보다 실제 사용자가 불편을..

Edge AI 기반 도시·생활 AX 과제, 어디까지 구현할 수 있을까?오늘은 「도시·생활 혁신 AX」 과제의 연구 방향을 구체화하는 작업을 진행했다.처음에는 과제의 창의성을 높이기 위해 다양한 도시·생활 문제를 찾아보았다. 하지만 새로운 아이디어를 계속 추가하다 보니 한 가지 문제가 생겼다."이걸 정말 2년 안에 개발하고 현장에서 실증할 수 있을까?"이번 과제는 단순히 기술을 개발하는 것으로 끝나는 것이 아니라 실제 현장에서 기술을 적용하고 효과를 보여주는 것이 중요하다. 따라서 아이디어의 참신성만큼이나 실제 구현 가능성을 고려해야 했다.기존 연구 역량을 버릴 필요가 있을까?처음에는 창의성을 높이려면 기존 네트워크 관리 연구와 완전히 다른 주제를 선택해야 하는지 고민했다.하지만 연구진이 가지고 있는 네트..

서버 네트워크 점검부터 IEEE Access 논문 정리, 제안서 검토까지오늘은 크게 학교 서버 네트워크 문제 해결, IEEE Access 논문 정리, 연구 제안서 검토 작업을 진행했다. 특히 서버 네트워크 문제는 단순한 서버 설정 문제가 아니라 물리적인 네트워크 연결과 상위 스위치까지 확인해야 하는 상황이라 하나씩 원인을 좁혀가는 방식으로 점검했다.1. 학교 서버 외부 통신 문제 점검오늘 가장 많은 시간을 사용한 작업은 학교 서버의 네트워크 연결 문제를 확인하는 것이었다.현재 서버에서는 패킷 송신은 발생하지만 정상적인 수신이 이루어지지 않는 상태였다. 처음에는 서버 자체 방화벽이나 운영체제의 네트워크 설정 문제를 의심했지만, 학교 측에서 확인한 결과 방화벽에는 특별한 문제가 없는 것으로 확인되었다.따라서..