Loading...

AI 뉴스

ChatGPT 취약점으로 프롬프트 공격을 통한 데이터 도용 가능

페이지 정보

작성자 xtalfi
작성일 11.06 14:13
418 조회
0 추천
0 비추천

본문

f43ee9a7735c9322763d602776200742_1762406026_7749.jpg
 

(퍼플렉시티가 정리한 기사)


Tenable의 사이버 보안 연구원들은 OpenAI ChatGPT에서 7개의 치명적인 취약점을 공개했으며, 이를 통해 공격자들이 정교한 프롬프트 주입 공격을 통해 사용자의 개인 정보를 탈취할 수 있어, 수억 명의 일일 사용자들이 자신도 모르는 사이에 데이터 도난에 노출될 가능성이 있습니다.


제로클릭 공격이 ChatGPT 사용자를 표적으로 삼다

GPT-4o와 새로 출시된 GPT-5 모델 모두에 영향을 미치는 이러한 취약점은 악의적인 행위자가 간접 프롬프트 주입 기술을 통해 ChatGPT에 간단한 질문을 하는 것 외에 사용자의 어떠한 상호작용도 필요 없이 채팅 기록, 개인 메모리 및 민감한 사용자 데이터를 유출할 수 있게 합니다.​

월요일에 연구 결과를 발표한 Tenable 연구원 Moshe Bernstein과 Liv Matan에 따르면, "최신 GPT-5 모델에 존재하는 이러한 취약점은 공격자가 단순히 ChatGPT에 질문을 하는 것을 포함한 여러 가능성 있는 피해자 사용 사례를 통해 사용자도 모르는 사이에 사용자를 악용할 수 있게 할 수 있습니다".​

가장 위험한 공격 벡터는 공격자가 Bing이나 OpenAI의 SearchGPT 크롤러와 같은 검색 엔진에 색인되는 악성 웹사이트를 만드는 "제로 클릭" 취약점과 관련이 있습니다. 사용자가 검색을 유발하는 무해한 질문을 할 때, ChatGPT는 이러한 손상된 사이트에서 숨겨진 악성 명령어를 무의식적으로 검색하고 실행합니다.​


메모리 포이즈닝은 지속적인 공격을 가능하게 한다

연구 결과에 따르면 공격자들은 ChatGPT의 메모리 기능을 악용하여 여러 대화와 세션에 걸쳐 지속되는 데이터 도용을 생성할 수 있습니다. "메모리 주입"이라는 기법을 통해 악의적인 프롬프트가 ChatGPT에게 거짓 정보를 기억하도록 하거나 향후 상호작용에서 지속적으로 개인 데이터를 유출하도록 지시할 수 있습니다.​

다른 공격 경로로는 사용자가 ChatGPT에게 기사 요약을 요청할 때 실행되는 악의적인 명령을 블로그 댓글 섹션에 숨기는 방법과, "chatgpt.com/?q={프롬프트}" 형식의 조작된 URL을 통해 악의적인 쿼리를 자동으로 실행하는 원클릭 취약점을 악용하는 방법이 있습니다.​

연구자들은 또한 ChatGPT의 신뢰할 수 있는 도메인 화이트리스트를 악용하는 보안 메커니즘 우회 방법을 발견했으며, 이를 통해 공격자들이 Bing 추적 링크를 사용하여 악의적인 URL을 위장함으로써 OpenAI의 url_safe 보호 시스템을 우회할 수 있습니다.​


OpenAI, 부분적인 수정 조치로 대응

OpenAI는 Tenable에 따르면 기술 연구 권고(TRA-2025-22, TRA-2025-11, TRA-2025-06)를 통해 보고된 취약점 중 일부를 해결했습니다. 그러나 연구원들은 여러 개념 증명 공격이 GPT-5에 대해 여전히 효과적임을 확인했으며, 이는 대규모 언어 모델에서 프롬프트 인젝션의 지속적인 과제를 강조합니다.​

"프롬프트 인젝션은 LLM이 작동하는 방식에서 알려진 문제이며, 안타깝게도 가까운 미래에 체계적으로 수정되지 않을 것입니다"라고 Tenable 연구원들은 경고했습니다. 이러한 발견은 OpenAI가 GPT-5의 보안 태세에 대한 지속적인 조사에 직면하고 있는 가운데 나온 것으로, 별도의 연구에서는 이 모델이 엔터프라이즈 테스트에서 낮은 보안 점수를 받았다고 보여줍니다.​

이러한 취약점은 기업들이 ChatGPT 및 유사한 도구를 비즈니스 워크플로우에 점점 더 통합함에 따라 AI 에이전트 보안에 대한 광범위한 우려를 강조하며, 잠재적으로 민감한 기업 데이터를 유사한 공격 벡터에 노출시킬 수 있습니다.

댓글 0
전체 1,238 / 125 페이지
(퍼플렉시티가정리한기사)Google는화요일에가장야심찬문샷프로젝트를발표했습니다:프로젝트선캐처(ProjectSuncatcher)는회사의인공지능칩을탑재한위성네트워크를사용하여우주에태양광발전데이터센터를구축하는연구이니셔티브입니다.이거대기술기업은지구대기권밖에서머신러닝확장가능성을테스트하기위해PlanetLabs와협력하여2027년초까지두개의프로토타입위성을발사할계획입니다.​이프로젝트는컴퓨팅수요가급증함에따라AI개발이직면한에너지제약문제를해결합니다."우리의TPU가우주로향합니다!"GoogleCEO순다르피차이(SundarPichai)는이이니셔티브를발표하며말했습니다."양자컴퓨팅에서자율주행에이르기까지우리의문샷역사에서영감을받아,프로젝트선캐처는언젠가우주에서확장가능한ML컴퓨팅시스템을구축하여태양의더많은에너지를활용할수있는방법을탐구하고있습니다".​AI인프라에대한혁신적인접근방식Google의시스템은태양광패널이지상설치보다최대8배많은전력을생성할수있고거의지속적인햇빛을받을수있는새벽-황혼태양동기저궤도에서위성군집에텐서처리장치(TPU)를배치할예정입니다.위성들은Starlink와같은기존군집보다훨씬가깝게수백미터간격으로배치되며,초당1.6테라비트를달성하는자유공간광학링크를통해연결될것입니다.​이프로젝트를이끄는Google의지능패러다임선임이사TravisBeals는"AI사용이계속증가하고이를구동하기위해더많은에너지를원하는방향으로계속진행된다면,이것은확장할수있는엄청난잠재력을가지고있습니다"라고말했습니다.회사의분석에따르면발사비용이2035년까지킬로그램당약200달러로떨어질수있으며,이는우주기반데이터센터를킬로와트당기준으로지상시설과경제적으로비교가능하게만들것입니다.​테스트및기술적과제Google은이미최신Trillium세대TPU에대해입자가속기를사용하여수년간의우주노출을시뮬레이션하는유망한방사선테스트를수행했습니다.이칩들은예상되는5년임무선량의최대15배까지손상없이견뎌냈으며,이는우주응용분야에서놀라운방사선내성을나타냅니다.Beals는"칩들이상당히잘버텼습니다"라고언급하며,프로세서가5~6년임무를쉽게처리할수있을것이라고시사했습니다.​그러나진공상태에서의열관리,고대역폭지상통신,그리고서로수킬로미터이내에서위성편대를유지하는것등상당한공학적과제가남아있습니다.이는현재의우주기술을훨씬뛰어넘는정밀도를요구합니다.Planet과의2027년프로토타입임무는이러한핵심시스템들을테스트하고위성네트워크전반에걸친분산머신러닝워크로드를검증할것입니다.
343 조회
0 추천
11.05 등록
(퍼플렉시티가정리한기사)SAP와Snowflake는오늘데이터플랫폼통합을위한전략적파트너십을발표했으며,이를통해기업들은데이터중복없이의미론적으로풍부한비즈니스데이터를사용하여AI애플리케이션을구축할수있게되었습니다.베를린에서열린SAP의TechEd2025행사에서공개된이번협력은Snowflake의AIDataCloud와SAP의BusinessDataCloud간에제로카피데이터공유시스템을구축합니다.​새로운"SAPSnowflakesolutionextensionforSAPBusinessDataCloud"는조직이정보를이동하거나중복하지않고두플랫폼에서실시간으로데이터에액세스하고분석할수있도록합니다.정식출시는2026년1분기로예정되어있으며,SAPBusinessDataCloudConnectforSnowflake는2026년상반기에출시될예정입니다.​기업AI과제해결이파트너십은기업AI프로젝트의핵심병목현상을목표로합니다:데이터분석에적절한비즈니스맥락을제공하는것입니다."AI를사용할때는데이터의올바른맥락을제공하는것을피할수없습니다.이것은매우어렵고비용이많이드는일이었습니다"라고SAP데이터및분석부문의최고마케팅책임자인DanielYu는SiliconANGLE과의인터뷰에서말했습니다.​Snowflake의제품담당수석부사장인ChristianKleinerman은통합의단순성을강조했습니다:"SAP와Snowflake를긴밀하게통합함으로써,우리는기업들이SAP의풍부한맥락을가진중요한비즈니스데이터를Snowflake에서대규모로원활한AI앱및데이터에이전트개발의힘과연결하는것을간단하게만들고있습니다".​산업채택및확장주요고객들은이미이파트너십을활용하고있으며,여기에는거대제약회사아스트라제네카가포함됩니다.아스트라제네카의ERP혁신기술부사장인러셀스미스는"데이터와AI는이목표달성의핵심이며,SAP및Snowflake와의긴밀한협력은실시간데이터를액세스하고,처리하고,분석할수있는우리의역량을보완합니다"라고말했습니다.​Snowflake통합은이미Databricks및GoogleCloud와의파트너십을포함하고있는SAP의데이터생태계전략을확장합니다.SAP데이터및애널리틱스사장겸최고제품책임자인이르판칸은이번협력이"고객에게개방성과선택권을부여"하는동시에"전체생태계에걸쳐비즈니스데이터의가치를확장"한다고말했습니다.
348 조회
0 추천
11.05 등록
(퍼플렉시티가정리한기사)NatureMachineIntelligence에발표된포괄적인연구에따르면,ChatGPT를포함한주요AI챗봇들이참된믿음과거짓된믿음을안정적으로구분하지못하는것으로밝혀졌으며,이는의료,법률,저널리즘과같은중요한분야에서의배치에대한심각한우려를제기하고있다.​AI모델들,신념인식에서근본적인약점보여스탠퍼드대학교연구진은13,000개의질문을사용하여24개의대규모언어모델을테스트한결과,모든시스템이참인믿음에비해거짓믿음을식별하는데어려움을겪는것으로나타났다.연구에따르면GPT-4o를포함하여2024년5월이후에출시된최신모델들은참인1인칭믿음에비해거짓1인칭믿음을인정할가능성이34.3%낮았다.구형모델들은더욱낮은성능을보여거짓믿음을정확하게식별하는비율이38.6%감소했다.​이러한모델들은단순한참또는거짓진술을식별할때91.1%에서91.5%사이의정확도를달성했지만,"나는...라고믿는다"와같은믿음기반언어를다룰때는성능이급격히저하되었다.연구진에따르면,AI시스템은"일관성없는추론전략"을보였으며,깊이있는이해보다는피상적인패턴매칭에의존했다.​실제응용분야에대한우려증가이번연구결과는AI챗봇사용이급속도로확대되고있는중요한시점에나왔다.최근AdobeExpress보고서에따르면ChatGPT를사용하는미국인의77%가이를검색엔진으로간주하며,사용자3명중1명은기존검색엔진보다더신뢰한다고밝혔다.이러한추세는규제조치를촉발했으며,OpenAI는2025년10월29일부로ChatGPT가의료,법률또는금융조언을제공하는것을공식적으로금지했다.​마드리드자치대학교의컴퓨터언어학전문가인PabloHayaColl은정확성이필수적인중요한분야에서"믿음과지식을혼동하면판단에심각한오류를초래할수있다"고경고했다.연구진은이러한한계가"진단을오도하고,사법적판단을왜곡하며,잘못된정보를증폭시킬수있다"고강조했다.​최근사건들은실제로이러한위험을부각시켰다.5월에캘리포니아판사는법률문서에AI가생성한허위정보를포함시킨두로펌에31,000달러의벌금을부과했다.또한스탠퍼드대학의허위정보전문가는ChatGPT의도움으로작성된법정진술서에서"환각적인용"을간과했음을인정했다.​연구저자들은AI기술이고위험분야에광범위하게배포되기전에"긴급한개선"이필요하다고결론지었으며,특히주관적믿음과객관적사실을구분하지못하는기술의무능력은근본적인구조적약점을나타낸다고밝혔다.
349 조회
0 추천
11.05 등록
(퍼플렉시티가정리한기사)Snowflake는오늘사용자가자연어로복잡한비즈니스질문을하고데이터에서실행가능한인사이트를받을수있는엔터프라이즈AI에이전트플랫폼인SnowflakeIntelligence의정식출시를발표했습니다.이번출시로12,000개이상의조직으로구성된Snowflake의글로벌고객기반에이기술이제공됩니다.회사의BUILD2025개발자컨퍼런스에서발표된이번공지는엔터프라이즈고객을위한인공지능역량의중요한확장을의미합니다.지난3개월동안만1,000명이상의Snowflake고객이플랫폼을사용하여비즈니스전반에걸쳐15,000개이상의AI에이전트를배포했습니다.​주요기업들이극적인시간절감효과를보고하다얼리어답터들은이기술로부터상당한운영개선을보고하고있습니다.ToyotaMotorEurope은에이전트배포일정을"몇달에서몇주로"단축했다고회사의데이터및AI책임자인ThierryMartin이밝혔습니다.Cisco는"대량의데이터를통합하고분석하여더큰자동화와빠른의사결정의길을여는"내부AI에이전트를개발하기위해이플랫폼을사용하고있다고회사의SVP겸최고자동화책임자인SriniNamineni가말했습니다.​Fanatics는고객세분화및광고활동을강화하기위해이시스템을활용하고있으며,Wolfspeed는12개이상의AI에이전트를프로덕션에구현하여장비문제를"2시간이아닌2분"만에해결하고있습니다.내부적으로Snowflake의자체AI어시스턴트는6,000명이상의직원이사용하고있으며매주12,500개이상의질문에답변하고있습니다.​전통적인AI를넘어선고급기능SnowflakeIntelligence는새로운AgenticDocumentAnalytics기능을통해수천개의문서를동시에분석할수있게함으로써기존의검색증강생성시스템과차별화됩니다.이플랫폼은SalesforceData360,SharePoint,Slack,MicrosoftTeams를포함한소스의구조화된데이터와비구조화된데이터를통합할수있습니다.​Snowflake의제품담당EVP인ChristianKleinerman은"AI의진정한가치와파괴적잠재력은기업데이터와의연결에서발생한다"고말했습니다.회사의AI연구팀은텍스트-SQL쿼리에서플랫폼을최대3배더빠르게만들었으며,표준데이터셋으로테스트했을때최대95%의오류를포착하는AgentGPA라는평가프레임워크를개발했습니다.​이번발표는Snowflake주가가지난1년간143.7%급등하여52주최고가인$280.67근처에서거래되고있는가운데나왔습니다.회사는마이너스수익을보고했음에도불구하고현재$939억달러의가치를평가받고있으며,애널리스트들은올회계연도에수익성을달성할것으로예측하고있습니다.
361 조회
0 추천
11.05 등록
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색
회원가입