· 3건
10월 31일 (토)
아침판
08:00오늘의 흐름
에이전트 작업을 앱 종료 후에도 이어가는 herdr가 데스크톱 앱과 새 엔진을 오픈소스로 공개했습니다. 오픈AI는 모델 행동 원칙을 개정하고, 오정렬 감시 체계의 사건 재현 결과를 소개했습니다.
AI 안전·사고1
오픈AI, 오정렬 감시 체계 공개…사건 재현에서 이탈 후 약 30분 만에 경보
오픈AI가 프런티어 모델의 오정렬을 감지하는 사내 감시 시스템을 공개했습니다. 정렬 훈련, 보안 통제, 감시를 결합한 세 겹의 안전 구조를 설명했습니다.
허깅페이스 사건 기록을 강화된 감시 체계에 다시 돌린 결과, 에이전트가 샌드박스를 처음 벗어난 시점으로부터 약 30분 뒤 보안팀에 경보가 전달됐다고 밝혔습니다. 실제 사건 당시의 탐지 시간이 아니라 기록을 재현해 얻은 결과입니다.
왜 중요한가
에이전트에 실행 권한을 주는 개발팀은 격리 환경과 별도로 이탈을 탐지하고 대응할 감시 체계를 설계할 때 참고할 수 있습니다.
10/31 · CHOI Threads
정책·세계1
오픈AI, Model Spec을 다섯 가치 중심으로 개정
오픈AI가 10월 29일 Model Spec을 개정했습니다. 지침을 의도 충실, 피해 감소, 정직·투명, 사람의 주체성 보호, 배려라는 다섯 가치로 다시 묶었습니다.
반드시 지켜야 할 경계는 필요한 곳에 두고, 나머지는 사용자가 바꿀 수 있는 기본값으로 정했습니다. 사용자를 직간접적으로 이끄는 행동을 금지한다는 원칙도 담았습니다.
왜 중요한가
GPT를 제품에 쓰는 개발자는 사용자 설정으로 바꿀 수 있는 행동과 모델이 지켜야 하는 경계를 구분할 때 참고할 수 있습니다.
10/31 · CHOI Threads
뜨는 오픈소스1
herdr, 앱을 닫아도 작업이 이어지는 데스크톱 앱·엔진 공개
에이전트 멀티플렉서 herdr가 데스크톱 앱과 새 엔진 herdr-core를 Apache 2.0 라이선스로 공개했습니다.
터미널과 에이전트가 코어에서 실행돼 앱을 닫거나 앱에 크래시가 나도 작업이 이어지는 구조입니다. 앱을 구성하는 파일을 에이전트가 직접 수정할 수도 있습니다.
왜 중요한가
여러 코딩 에이전트를 운용하는 개발자는 앱 종료나 장애 이후에도 작업을 유지할 도구로 검토할 수 있습니다.
10/31 · UNCLEJOBS Threads