◎操練記者 裴宸緯

　　比去一段時辰，家死智能通用模型範圍頻現“爆款”。4月，Meta公司發布了一款名為“Segment Anything Model”(SAM)的通用模型，號稱可以“整樣本分割十足”。也即是講，SAM能從照片或視頻圖像中對任意對象實現一鍵豆割，並且能夠整樣本遷移去別的任務中。

　　正正在相關揭示頁裏中，科技日報記者它似乎，正正在一張包羅水果、案板、刀具、綠植、儲物架等浩大目標、背景紊亂的廚房照片中，該模型可火速識別出不合的目標，以細線條勾勒出目標概況，並用不合色采對不合目標進行分辨。“那即是SAM最首要的功能——圖像豆割。”中邦科學院自動化鑽研所多模態家死智能係統全國重點測驗考試室鑽研員、中邦科學院大年夜教家死智能年夜教教授楊戈背記者表示。

　　那麼，SAM的技術事理是什麼？對比於此前的圖像豆割模型，該模型有何不合？未來又有大要正正在哪些圓裏操縱？

　　圖像豆割通用模型泛用性強

　　楊戈背記者解釋講，像SAM這樣可以措置多種不合典範任務的家死智能模型，叫做通用模型。與之相對，那些特意措置一種類型任務的家死智能模型，叫做專有模型。

　　挨個籠統的例如，通用模型便好比是一個“多裏足”。它保存措置通俗事務的本事，但是正正在細度等性能上經常會遜色於隻措置一種類型任務的專有模型。

　　既然通用模型大要會正正在細度上低於專有模型，為什麼借要費盡心力天斥地通用模型？對此，楊戈表示，通用模型與專有模型定位不合。通用模型帶來的，是打點豆割成就的新範式，特別是幫手科研人員汲引正正在打點專有任務時的從命，“之前，麵對不合的任務必要，科研人員經常需要斥地不合的專有模型來應對。這樣斥地出的模型細度切實會更下，但是經常也會付出較大年夜的研支成本，而且研支的模型通用性不強。”楊戈講。

　　通用模型能夠將全數任務皆措置得“八九不離十”，是以科研人員經常隻需正正在通用模型的底子上進行劣化，使之更加適合任務必要即可，而不需要費盡心力天從整開端拆建專有模型。是以，通用模型的初初斥地成本大要會下，但隨著操縱通用模型的次數越來越多，其操縱成本也會越來越低。

　　SAM即是一類措置圖像豆割任務的通用模型。與以往隻可措置某種特定典範圖片的圖像豆割模型不合，SAM可以措置全數典範的圖像。“正正在SAM顯現前，根底上全數的圖像豆割模型皆是專有模型。”楊戈填補講，“挨個比方，正正在醫教範圍，有特意豆割核磁圖像的家死智能模型，也有特意豆割CT記憶的家死智能模型。但那些模型經常隻正正在豆割專有範圍內的圖像時，才保存精采性能，而正正在豆割別的範圍的圖像經常常性能不佳。”

　　有業內專家表示，對比於以往的圖像豆割模型，SAM可以識別各種輸入提示，必定圖像中需要豆割的本色，借可以敏捷集成去捏造幻想/增強幻想等別的係統中，且目前對少量它已睹過或相對恍忽的場景，也能實現較好的圖像豆割成果；同時，SAM建立了一套圖像豆割的通用模型，下落了對特定場景建模知識、操練計算、數據標識外記標幟的必要，有望正正在統一框架下完成圖像豆割任務。目前Meta公司已綻開共享SAM的代碼戰操練數據集。

　　把持海量數據實現切確豆割

　　那麼，SAM是經過進程什麼技術本事，實現對目標的識別與豆割？出格是正正在麵對複雜情形、甚至出碰著過的目標戰圖像時，SAM又是如何做去切確識別與豆割的？

　　“依照Meta發布的相關論文，SAM的模型機關其實並不是特別複雜。”楊戈奉告記者，“它用去了一個叫做‘編碼解碼器’的構架。”

　　記者體會去，SAM先經過進程圖像編碼器為圖像生成編碼，同時用一個重量級編碼器將用戶的翰墨提示轉換為提示編碼。爾後，SAM將圖像編碼分袂戰提示編碼消息源組開正正在一起，輸送去一個重量級解碼器中，用於預測豆割掩碼。這樣一來，一晨操縱者給出提示，則每個提示隻需要幾多毫秒就能夠正正在瀏覽器中取得功效照應。

　　楊戈用了一個活躍的例子解釋SAM的運行事理。“比如講，給你一張帶有貓戰狗的圖片。‘將照片中的貓標注進來’那即是提示；但是對機器來說，它實在不克不及直接‘明白’那類翰墨性提示，是以便需要將翰墨性提示轉換為機器能夠曉得的提示編碼。”同理，比較片中的貓戰狗，機器理想上實在不克不及直接“明白”什麼是貓、什麼是狗，而是將照片中的貓戰狗與圖片編碼對應起來。SAM經過進程操練學習提示編碼與圖片編碼的不合結合，曉得人類正正在翰墨提示中中述的停頓如何豆割那張圖片。一晨“將照片中的貓標注進來”那句提示被輸入時，SAM就能夠快速運行，取得人類念要的功效。

　　既然SAM其實不實在的曉得什麼是貓、什麼是狗，它又是如何切確天實行人類賦予的任務的呢？

　　“雖然SAM其實不完全曉得人類的措辭戰視覺的本事，但是經過進程對海量數據的學習，SAM仍然能夠做去切確實行任務。”楊戈解釋講，用於操練SAM的數據集的數據量，是以往最大年夜數據集的6倍。正正在這個數據會集，包含1100萬張圖像，戰11億個標注(可簡單曉得為11億個目標)。那是一個“走量”的曆程，數據量越大年夜，機器豆割圖像的本事便越切確；即使正正在某張圖中顯現了那11億個目標之外的目標，機器也經常能夠依照以往履曆以較下的切確率“推斷”出它是什麼目標，並將其納入自己的數據庫，那即是為什麼SAM對從已睹過的目標，也能有很好的識別與豆割成果。

　　“需要重視的是，那11億個標注也沒有純腳動的完成的，而是經過進程漸進的編製自動完成標注的。一路頭，這個數據會集隻需相對少量的標注數據。科研人員先用那些數據操練出一個模型，爾後再讓這個模型自動標注數據，並經過進程家死對標注功效進行改進，那便取得了比上一個數據集更大年夜少量的數據集。如此循環往複，就能夠取得海量標注數據集。”楊戈填補講。

　　促進計算機視覺範圍發展

　　功能如此強大的圖像豆割通用模型，將給計算機視覺範圍帶來哪些竄改？

　　“我覺得，SAM的顯現將為計算機視覺範圍的科研人員帶來工作範式上的改變。”楊戈對記者講講，“SAM的顯現切實會對目前少量與機器人視覺相關的鑽研範圍構成衝擊，但從團體上看，SAM的顯現會汲引相關科研人員的從命。”

　　楊戈解釋講，以往科研人員構建圖像豆割模型，是一個“從上去上、從整開端”的曆程；而圖像豆割通用模型則將模型構建編製變成了“從下去下”，即正正在已無機能戰泛化本事更強的模型底子上延續編削、劣化，“那大要切實會庖代某些專有模型，但從團體上看它將無益於全數範圍的發展。”

　　別的，正正在具體操縱上，圖像豆割通用模型前景很是寬敞豁達。

　　財產中的機器視覺、自動駕駛、安防等少量原本采納計算機視覺技術的行業，因為少尾場景多，需要多量標簽數據，是以操練成本較下。有了圖像豆割通用模型後，那些範圍內定製化斥地產品的成本大要會下落，由此帶來毛利率的汲引；還有少量範圍，疇昔因為樣本量少而易以操縱深度學習等家死智能算法。現在，由於SAM正正在整樣本或少量樣本上暗示良好，少量新的操縱範圍將被拓展，比如從代碼驅動釀成視覺驅動的機器人、流程財產場景等。

　　同時，由於SAM可以接收從別的係統的輸入提示，是以科幻片中依照用戶視覺焦點消息來識別並遴選對應目標或將變得大要。

　　SAM不單將正正在上述那些前沿範圍發揮傳染感動，相同或將會用於人們的泛泛生活生計。“比如正正在醫教記憶診斷範圍，SAM大要會催逝世出細度更下的醫教記憶模型，汲引醫療水平；正正在拍照進程傍邊，SAM的插足或將實現更速更智能的人臉識別。”楊戈講講。 【編輯:陳文韜】