Loading...

AI 뉴스

KAIST, 연합학습 AI의 '지역 과적합' 성능 저하 해결

페이지 정보

작성자 xtalfi
작성일 10.15 18:27
74 조회
0 추천
0 비추천

본문

2233827337_fvjov9.jpg

(퍼플렉시티가 정리한 기사)

한국과학기술원(KAIST) 연구진이 개인정보를 전혀 공유하지 않으면서도 여러 기관에서 활용 가능한 연합학습 AI의 고질적 성능 저하 문제를 근본적으로 해결하는 혁신적 기술을 개발했다고 15일 발표했다.

박찬영 KAIST 산업및시스템공학과 교수 연구팀은 '합성데이터' 방식을 도입해 연합학습에서 발생하는 '지역 과적합' 문제를 완전히 극복했다고 밝혔다. 이번 연구는 김성원 데이터사이언스대학원 학생이 제1저자로 참여했으며, 지난 4월 AI 분야 최고 권위 학술대회인 '국제표현학습학회(ICLR) 2025'에서 상위 1.8% 우수 논문에만 주어지는 구두 발표 논문으로 채택됐다.

 

연합학습의 구조적 한계 돌파

 

연합학습은 병원의 환자 진료기록이나 은행의 금융 데이터처럼 개인정보를 한곳에 모으기 어려운 상황에서 여러 기관이 데이터를 직접 주고받지 않고도 공동으로 AI를 학습할 수 있는 방식이다.

하지만 기존 연합학습은 공동으로 완성한 AI 모델을 각 기관이 자체 환경에 맞게 최적화하는 과정에서 심각한 문제가 발생했다. 기존의 폭넓은 지식이 희석되면서 AI가 특정 기관의 데이터 특성에만 과도하게 적응하는 '지역 과적합' 현상이 나타났기 때문이다.

예를 들어 여러 은행이 공동 대출 심사 AI를 구축한 후 특정 은행이 대기업 고객 데이터를 중심으로 파인튜닝을 진행하면, 해당 은행의 AI는 대기업 심사에서는 강점을 보이지만 개인이나 스타트업 고객 심사에서는 성능이 현저히 떨어지는 문제가 발생했다.

 

합성데이터로 전문성과 범용성 동시 확보

 

연구팀이 개발한 해결책은 각 기관의 데이터에서 핵심적이고 대표적인 특징만을 추출해 개인정보를 포함하지 않는 가상의 '합성데이터'를 생성하고, 이를 파인튜닝 과정에 적용하는 방식이다.

이를 통해 각 기관의 AI는 개인정보 공유 없이 자신의 데이터에 맞춰 전문성을 강화하면서도, 공동학습으로 얻은 폭넓은 시야와 일반화 성능을 동시에 유지할 수 있게 됐다.

연구 결과, 이 방법은 의료·금융 등 데이터 보안이 중요한 분야에서 특히 효과적인 것으로 확인됐다. 또한 소셜미디어나 전자상거래처럼 새로운 사용자와 상품이 지속적으로 추가되는 환경에서도 안정적인 성능을 발휘했다. 새로운 기관이 협력에 참여하거나 데이터 특성이 급격히 변하더라도 AI가 혼란 없이 안정적으로 성능을 유지할 수 있는 것으로 나타났다.

박찬영 교수는 "이번 연구는 데이터 프라이버시를 지키면서도 각 기관의 AI가 전문성과 범용성을 동시에 보장하는 새로운 길을 열었다"며 "의료 AI, 금융 사기 탐지 AI처럼 데이터 협업이 필수적이지만 보안이 중요한 분야에서 큰 도움이 될 것"이라고 말했다.

댓글 0
전체 445 / 11 페이지
(퍼플렉시티가 정리한 기사)아마존이 인공지능 분야에 대한 투자를 가속화함에 따라 인사(HR) 부서의 최대 15%를 감원할 준비를 하고 있다고 이 사안에 정통한 소식통이 화요일 밝혔다. 이번 감원은 전 세계적으로 1만 명이 넘는 인력을 보유하고 채용, HR 기술, 직원 지원 기능을 담당하는 회사의 People eXperience and Technology(PXT) 부서를 주로 대상으로 한다.이 같은 인력 감축은 앤디 재시 CEO가 올해 인공지능 인프라와 클라우드 컴퓨팅 역량에 1,000억 달러 이상을 쏟아붓는 동시에, 기업 인건비를 줄이기 위한 대대적인 전략의 최신 단계로 평가된다. 아마존의 핵심 소비자 사업 부문에서도 추가적인 감원이 예상되지만, 정확한 규모와 시기는 아직 명확하지 않다.AI 기반 인력 혁신이번 해고는 자시(Jassy)가 6월에 직원들에게 AI 도입으로 인해 회사 전반에 걸쳐 인력 감축이 있을 것이라고 경고한 메모에 따른 것이다. "AI를 회사 전체에 광범위하게 활용하면 효율성이 높아져 전체 기업 인력이 감축될 것으로 예상합니다,"라고 자시는 적었으며, 직원들에게 기술적 변화를 받아들이지 않으면 뒤처질 위험이 있다고 강조했다.아마존은 이미 역사상 최대 규모의 인력 감축을 단행했으며, 2022년 말부터 2023년 사이에 약 27,000개의 기업 직무를 없앴다. 이번 감축은 전통적인 성과 기반 감축과 달리, 아마존의 장기 AI 전환에 따른 전략적 구조조정이라는 점에서 차이가 있다.회사의 대규모 AI 투자는 내부 운영을 지원하고 기업 고객에게 서비스를 제공하기 위한 미래형 데이터 센터 구축을 포함한다. 아마존 웹 서비스는 자사의 AI 사업이 현재 수십억 달러 규모로 성장하고 있으며, 세 자릿수 성장률을 기록하고 있다고 밝혔다.휴일 채용, 전략적 변화 강조아마존이 휴일 시즌을 맞아 미국 전역의 창고와 물류 네트워크에서 25만 명의 임시직 근로자를 채용하겠다고 발표한 것과 동시에, 기업 정리해고가 뚜렷한 대조를 이룹니다. 시간당 평균 19달러 이상의 임금을 받는 이 임시직들은 지난 2년과 같은 수준의 채용 규모를 보이며, 회사가 휴일 수요 증가에 대비하고 있음을 보여줍니다.이러한 상반된 접근 방식은 아마존이 변화하는 인력 전략—화이트칼라 일자리 감축과 일선 운영 유지는 병행—을 추구하고 있음을 강조합니다. 이러한 조치는 회사가 트럼프 대통령의 관세 정책 아래에서의 경제적 불확실성을 헤쳐 나가면서, 마이크로소프트, 알파벳 등 경쟁사와의 AI 및 클라우드 컴퓨팅 분야 경쟁 우위 유지를 위해 분투하는 가운데 이루어지고 있습니다.업계 분석가들은 아마존의 이러한 접근 방식을 빅테크 전반의 광범위한 트렌드를 반영하는 것으로 보고 있습니다. 즉, 기업들이 선별적인 정리해고를 단행하는 한편, 미래 성장과 효율성을 이끌 AI 역량에 막대한 투자를 하고 있다는 뜻입니다.
70 조회
0 추천
10.15 등록
(퍼플렉시티가 정리한 기사)AMD는 월요일 산호세에서 열린 Open Compute Project Global Summit에서 Helios 랙 규모 AI 플랫폼을 공개하며, AI 인프라 시장에서 Nvidia의 지배력에 대한 과감한 도전을 알렸습니다. 이 발표는 Oracle이 2026년 3분기부터 50,000개의 AMD Instinct MI450 GPU를 배포하기로 약속하며 첫 주요 고객이 된 것과 동시에 이루어졌습니다.Helios 플랫폼은 급속도로 확장되는 AI 데이터 센터 시장에서 경쟁하기 위한 AMD의 가장 야심찬 노력을 나타내며, Meta의 새로운 Open Rack Wide 사양을 활용하여 Nvidia의 차기 Vera Rubin 아키텍처보다 50% 더 많은 메모리 용량을 제공한다고 회사는 주장합니다. 각 Helios 랙은 72개의 MI450 GPU를 탑재하고 있으며, 31TB의 HBM4 메모리와 1.4 PB/s의 총 대역폭으로 최대 1.4 엑사플롭스의 FP8 성능을 제공합니다.오라클 파트너십은 주요 검증을 의미합니다업계 분석가들에 따르면 약 35억~40억 달러 규모로 평가되는 오라클과의 계약은 AMD의 AI 전략에 대한 중요한 검증을 의미합니다. 오라클 클라우드 인프라스트럭처는 MI450 프로세서로 구동되는 최초의 공개 이용 가능한 AI 슈퍼클러스터의 일환으로 50,000개의 GPU를 배치할 예정이며, 2027년 이후 확장 계획을 가지고 있습니다."고객들은 극한의 확장성과 효율성을 위해 설계된 적응 가능하고 개방적인 컴퓨팅 솔루션을 필요로 합니다"라고 오라클은 파트너십 발표에서 밝혔습니다. 이번 배치는 MI450 GPU와 차세대 EPYC "Venice" CPU, 그리고 Pensando "Vulcano" 네트워킹 기술을 결합한 AMD의 통합 Helios 랙 디자인을 활용할 것입니다.AMD의 주가는 이번 발표 이후 시간외 거래에서 3% 이상 상승했으며, 이는 주로 회사의 최근 AI 파트너십에 힘입어 올해 85% 상승한 것에 더해진 것입니다. 오라클과의 계약은 AMD가 수년간 6기가와트의 GPU 용량을 제공하기로 OpenAI와 수십억 달러 규모의 계약을 체결한 지 불과 일주일 만에 이루어졌습니다.Nvidia 생태계에 대한 개방형 표준 도전Helios 플랫폼은 Nvidia의 독점 생태계에 대한 대안으로 개방형 표준을 촉진하는 AMD의 전략을 구현합니다. 기가와트 규모의 데이터 센터에 최적화된 더블 와이드 랙을 정의하는 Meta의 Open Rack Wide 사양을 기반으로 구축된 Helios는 UALink 및 Ultra Ethernet Consortium 아키텍처를 포함한 개방형 컴퓨팅 표준을 통합합니다.AMD 데이터 센터 솔루션 부문 수석 부사장인 Forrest Norrod는 "개방형 협업은 AI를 효율적으로 확장하는 핵심입니다"라고 말했습니다. "Helios를 통해 우리는 개방형 표준을 실제 배포 가능한 시스템으로 전환하고 있습니다".각 MI450 GPU는 최대 432GB의 HBM4 메모리와 19.6 TB/s의 메모리 대역폭을 제공하여 AMD에게 메모리 집약적인 AI 워크로드에서 잠재적인 이점을 제공합니다. 이 플랫폼은 또한 AMD가 이전 세대 대비 17.9배 높은 성능을 제공하며 Nvidia의 경쟁 시스템인 Vera Rubin과 비교하여 우수한 메모리 사양을 제공한다고 설명합니다.
81 조회
0 추천
10.15 등록
(퍼플렉시티가 정리한 기사)한국과학기술원(KAIST) 연구진이 개인정보를 전혀 공유하지 않으면서도 여러 기관에서 활용 가능한 연합학습 AI의 고질적 성능 저하 문제를 근본적으로 해결하는 혁신적 기술을 개발했다고 15일 발표했다.박찬영 KAIST 산업및시스템공학과 교수 연구팀은 '합성데이터' 방식을 도입해 연합학습에서 발생하는 '지역 과적합' 문제를 완전히 극복했다고 밝혔다. 이번 연구는 김성원 데이터사이언스대학원 학생이 제1저자로 참여했으며, 지난 4월 AI 분야 최고 권위 학술대회인 '국제표현학습학회(ICLR) 2025'에서 상위 1.8% 우수 논문에만 주어지는 구두 발표 논문으로 채택됐다.연합학습의 구조적 한계 돌파연합학습은 병원의 환자 진료기록이나 은행의 금융 데이터처럼 개인정보를 한곳에 모으기 어려운 상황에서 여러 기관이 데이터를 직접 주고받지 않고도 공동으로 AI를 학습할 수 있는 방식이다.하지만 기존 연합학습은 공동으로 완성한 AI 모델을 각 기관이 자체 환경에 맞게 최적화하는 과정에서 심각한 문제가 발생했다. 기존의 폭넓은 지식이 희석되면서 AI가 특정 기관의 데이터 특성에만 과도하게 적응하는 '지역 과적합' 현상이 나타났기 때문이다.예를 들어 여러 은행이 공동 대출 심사 AI를 구축한 후 특정 은행이 대기업 고객 데이터를 중심으로 파인튜닝을 진행하면, 해당 은행의 AI는 대기업 심사에서는 강점을 보이지만 개인이나 스타트업 고객 심사에서는 성능이 현저히 떨어지는 문제가 발생했다.합성데이터로 전문성과 범용성 동시 확보연구팀이 개발한 해결책은 각 기관의 데이터에서 핵심적이고 대표적인 특징만을 추출해 개인정보를 포함하지 않는 가상의 '합성데이터'를 생성하고, 이를 파인튜닝 과정에 적용하는 방식이다.이를 통해 각 기관의 AI는 개인정보 공유 없이 자신의 데이터에 맞춰 전문성을 강화하면서도, 공동학습으로 얻은 폭넓은 시야와 일반화 성능을 동시에 유지할 수 있게 됐다.연구 결과, 이 방법은 의료·금융 등 데이터 보안이 중요한 분야에서 특히 효과적인 것으로 확인됐다. 또한 소셜미디어나 전자상거래처럼 새로운 사용자와 상품이 지속적으로 추가되는 환경에서도 안정적인 성능을 발휘했다. 새로운 기관이 협력에 참여하거나 데이터 특성이 급격히 변하더라도 AI가 혼란 없이 안정적으로 성능을 유지할 수 있는 것으로 나타났다.박찬영 교수는 "이번 연구는 데이터 프라이버시를 지키면서도 각 기관의 AI가 전문성과 범용성을 동시에 보장하는 새로운 길을 열었다"며 "의료 AI, 금융 사기 탐지 AI처럼 데이터 협업이 필수적이지만 보안이 중요한 분야에서 큰 도움이 될 것"이라고 말했다.
75 조회
0 추천
10.15 등록
(퍼플렉시티가 정리한 기사)오픈AI가 10월 14일 챗GPT에 월마트 상품 직접 구매 기능을 도입하고, 12월부터 성인 이용자에게 성적인 대화를 허용하겠다고 발표했다. AI 챗봇이 단순 대화 도구를 넘어 종합 상거래 플랫폼으로 진화하면서 콘텐츠 규제 완화까지 추진하는 것이다.월마트는 오픈AI와 파트너십을 통해 고객들이 챗GPT의 '즉시 결제'(Instant Checkout) 기능으로 월마트와 샘스클럽 상품을 직접 구매할 수 있게 된다고 밝혔다. 더그 맥밀런 월마트 CEO는 "수년간 전자상거래 경험은 검색창과 긴 상품 목록으로 구성돼 왔지만, 이제 멀티미디어 기반의 개인화되고 맥락을 이해하는 AI 경험이 다가오고 있다"고 설명했다.AI 상거래 시대 개막오픈AI는 지난 9월 말 엣시(Etsy)와 쇼피파이(Shopify)와 함께 '즉시 결제' 기능을 처음 공개했으며, 이번 월마트 협력이 가장 큰 규모의 파트너십이다. 이 기능을 통해 오픈AI는 완료된 거래에 대해 수수료를 받는 새로운 수익 모델을 구축하게 된다.샘 올트먼 오픈AI CEO는 같은 날 X(구 트위터)를 통해 12월부터 "연령이 인증된 성인에게는 성애 콘텐츠 같은 훨씬 더 많은 것을 허용할 것"이라고 발표했다. 올트먼은 "정신건강 문제를 신중히 다루기 위해 챗GPT를 상당히 제한적으로 만들었는데, 정신건강 문제가 없는 많은 이용자에게는 챗봇이 덜 유용하고 덜 재미있게 느껴지게 했다"고 배경을 설명했다.규제 압박 속 확장 전략이러한 변화는 AI 챗봇 규제가 강화되는 시점과 맞물려 있다. 캘리포니아주는 10월 13일 AI 컴패니언 챗봇 규제법을 통과시켜 미성년자 보호를 위한 연령 확인 절차, 자살·자해 예방 프로토콜 등을 의무화했다. 업계 전문가들은 오픈AI의 성인 콘텐츠 허용 정책이 유료 구독자 확대에는 도움이 되겠지만, 사회적 논란과 규제 압박을 높일 수 있다고 지적하고 있다.
79 조회
0 추천
10.15 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입