| 제목 | Super Resolution(re-mosaic)을 합성이라고 부를수 있을까요? | 추천 | 0 | IP 주소 | 121.176.xxx.76 |
|---|---|---|---|---|---|
| 글쓴이 | brainer | 날짜 | 2021.02.02 00:25 | 조회 수 | 1065 |
|
사람들이 Super resolution 기술을 합성이라고 하는거 같아요. 여기 있는 것들은 전부 저해상도의 이미지를 input으로 받아, 고해상도의 이미지를 output으로 내는 기술들이에요. 합성이나, 조작이 아니고요. 당연히 이건 AI가 하는 일종의 추측이기에 실제와 다를수 밖에 없어요. 물론, 같은 Super resolution이라 하더라도, 방식은 다 달라요. 삼성은 이걸 re-mosaic 기술 이라 부르는데, 10MP 10배줌 카메라에서 기본적으로 사용하는거 같더라고요. 북반구니, 남반구니 하는건 단지 그 이미지를 학습했다는 거지, 단순히 합성을 했다는 의미가 아니에요. 만약 진짜 그렇다면, 선명한 달 사진을 찍었을 때, 실제 사진과 다른 크레이터가 나왔겠죠. 그리고 혹시나해서 말씀드리는데, Google은 이미 Pixel 3부터 이 기술들을 사용하고 있었어요. https://ai.googleblog.com/2018/10/see-better-and-further-with-super-res.html 3rd Party 앱들 중에서도 이런 기능들은 굉장히 많고요. Pixelmator에 있는 것도 이런 기술이죠. 여담인데, 화웨이는 이 기술의 자체 SDK를 제공해 주고 있더라고요. |
|||||
댓글 41
-
phenomenon
2021.02.02 01:01 [*.254.xxx.239]
저도 솔직히 이 논란이 딱히 이해가 되지는 않았네요. 삼성 개발자측에서도 달을 인식하여 달의 질감을 더 살릴수 있도록 했다고 하는데, 이걸 합성이라고 하면 업스케일링도 다 합성 아닌가요? -
나도하
2021.02.02 01:41 [*.42.xxx.181]
사실 이해가 아주 안 되는 건 아니긴 한데 폰카라는 물리적 한계가 뚜렷한 폼팩터(?)가 보여주는 결과물치곤 너무 또렷하니까 충분히 말이 나올 만 하다는 생각도 같이 듭니다. 업스케일링이건 AI학습으로 인한 후처리건, 진짜 합성이건 어떤 과정을 거치던간에 나오는 결과물이 가져다주는 모습이 비슷하다면 그렇게 생각할 수도 있잖아요? -
예아
2021.02.02 01:42 [*.134.xxx.33]
AI 업스케일링만 했다면 원본을 심하게 블러한 이미지를 찍은 결과물과 원본을 비교시 크레이터 위치 등이 다소 다르게 나와야 합니다. 실제 달과 크레이터 위치가 너무 똑같기 때문에 합성 논란이 있는 거고요. -
brainer
2021.02.02 01:48 [*.176.xxx.76]
이미 모 커뮤니티의 유저분이 좌우반전까지 해본상태죠.
심지어 이상한 무늬까지 넣기도 했고요.
애초에 인공지능 이라면, 학습할때 동일 사진을 회전 시키거나, 좌우 반전 시켜서 여러 사진으로 만드는 것이 일반적이만요. -
예아
2021.02.02 02:09 [*.134.xxx.33]
혹시 링크 부탁드려도 될까요 -
brainer
2021.02.02 02:16 [*.176.xxx.76]
https://meeco.kr/mini/30924053 -
예아
2021.02.02 02:36 [*.134.xxx.33]
좌우반전 해도 달고리즘이 적용되기 때문에 합성이 아니다는 의견이신가요? -
brainer
2021.02.02 03:30 [*.176.xxx.76]
좌우반전만이 아니죠.
1. 목성을 달로 인식해, 마치 목성을 달의 질감처럼 바꾼다.
2. 달 사진에 임의로 넣은 무늬를 입힌 사진을 찍으면 그 무늬가 마치 원래 있던 것처럼 보인다.
3. 선명한 달 사진을 흐릿하게 만든 사진을 찍으면, 마치 원본처럼 복구된다.
우선 1, 2를 보고 텍스처를 씌운게 아니냐는 의문이 있었죠.
이는 3에서 말도 안 된다는 사실이 증명돼요.
만약 그렇다면, 3의 크레이터가 보이지는 않겠죠.
3을 보고 원본 달 사진을 합성한다는 의문이있죠.
그럼 1, 2에서 임의로 넣은 이상한 무늬가 나올게 아니고, 3과 같은 크레이터의 모양이 나오거나, 목성에서도 달의 크레이터, 바다등이 나와야겠죠.
하지만 전혀 나오지 않았죠.
또, 좌우반전등을 하더라도 거의 동일한 달 사진이 나와야겠죠.
만약 이것이 합성이라면, 삼성은 선명한 달을 흐릿한게 만든 달을 찍어 어느정도 질감이 남아 있을때는 선명한 사진을 합성하게 만들고, 달의 무늬 조차 남아 있지 않은 사진에 이상한 무늬를 임의적으로 넣는 다거나, 목성을 찍으면, 크레이터가 없는 텍스처를 입혀 마치 원래 그런것이 있는 것 처럼 합성하는 거겠네요.
즉, 상황에 따라 전부 다른 이미지를 합성한다는 의미겠네요.
혹시 유저들이 좌우반전을 시킬수도, 상하 반전을 시킬수도 있으니, 좌우 또는 상한 반전 됐으면 모든것을 인식해 80억장의 사진중 적절한 사진과 합성해야겠네요.
이야아.. 적고보니 놀라운데요? -
예아
2021.02.02 09:29 [*.134.xxx.33]
당연히 늘 같은 결과가 나오지는 않죠. 그게 합성이 아닌 이유가 못 되는게 알고리즘이라 상황별로 다르게 적용을 하는 등 변수가 많다고 봅니다. 예를 들어 3처럼 달의 바다가 음영으로만 보이게 블러한 사진은 달의 바다 기준으로 크레이터 모양을 첨가하고, 1처럼 목성은 달의 바다가 없어서 제대로 인식하지 못해 크레이터는 넣지 못하고 약간의 질감만 넣는 거겠죠. -
brainer
2021.02.02 09:48 [*.147.xxx.46]
네, 근데 이미 말씀드렸지만 저게 사람이 임의적으로 만든 알고리즘에 따라 알고리즘을 만드는 것보다, Super resolution을 사용하는게 훨씬 쉽죠.
그리고 사람은 좌우 반전을 매우 쉽게 인지 하지만, 컴퓨터는 전혀 아니거든요.
그래서 인공신경망을 쓰는거죠.
그리고 반대로 저게 합성이라는 증거도 없죠.
그래서 가장 합리적인 방향의 생각을 하는거죠. -
예아
2021.02.02 09:59 [*.134.xxx.33]
http://underkg.co.kr/freeboard/2799496
아무리 NPU로 업스케일링을 한다지만 완전히 블러된 사진을 원본과 똑같이 복구는 불가합니다. 원본과 비슷하게는 되지만 세부적인 모습에서 제법 차이 납니다. 특히 알폰수스 삼형제가 복구되는 모습은 달 데이터를 기반으로 한 합성이 아니라면 설명이 불가합니다. -
brainer
2021.02.02 10:22 [*.147.xxx.46]
몇번이고 말씀드리지만, 인공지능이 저걸 복원할때는 저게 달인지 뭐인지 모르고요.
단순히 저 영상처럼 블러처리하거나, 해상도를 낮춘 이미지를 원래 이미지로 바꾸는 방식의 학습을 했겠죠.
블러나 저 해상도로 낮춘거나 결과 자체는 비슷해요.
AI는 분명 대단하지만 한계점이 분명하고, 사람을 모방하기도 했지만 사람과는 달라요.
이미 제가 올린 첫번째 이미지에서 원본에서는 보이지 않는 글자가 보이기 시작하죠.
애시당초 원본에서 보이지 않는 데이터를 만드는 기술이에요. -
예아
2021.02.02 10:33 [*.134.xxx.33]
믿고 계시는 AI 업스케일링 생각보다 그렇게 완벽하지 않습니다... 저렇게 복구 안 됩니다 -
brainer
2021.02.02 10:38 [*.147.xxx.46]
달에 최적화 됐기 때문에 그런거에요.
Super resolution 말고도 다른것들이 들어간거 같지만, 굳이 달 전용 AI를 만든 이유겠죠.
계속 말씀드리지만 단순 합성이라면 좌우반전을 해도 동일한 결과가 나와야 돼요. -
예아
2021.02.02 10:47 [*.101.xxx.90]
네 당연히 단순한 합성은 아니죠. 저도 그렇게 말한적 없고 AI 기반 합성이라고 봐요. 사진 전문가가 봐도 보정이 아닌 합성의 영역으로 보더라고요. 상황별로 개입 정도의 차이가 있지만 합성은 합성이라 봅니다. -
brainer
2021.02.02 10:56 [*.147.xxx.46]
AI 기반 합성이라는게 정확히 뭔지는 모르겠지만,
말씀 하시는 대로면, '장면별 최적 촬영', '야간모드', '인물모드', '뷰티모드'들도 전부 합성이 될거 같네요. -
예아
2021.02.02 11:07 [*.101.xxx.90]
야간모드는 여러장을 찍어서 합치는 기술이죠 알고리즘의 개입은 있겠지만 달고리즘처럼 없는 부분이 새로 생기지는 않죠... 그게 보정과 합성의 차이고요 -
brainer
2021.02.02 11:31 [*.147.xxx.46]
아니요, 여러장을 찍어서 '합친다'라는 의미가 '합성'이라는 의미죠
그리고 Google은 Night Sight에서 하늘을 감지한다고도 하네요.
https://ai.googleblog.com/2019/11/astrophotography-with-night-sight-on.html -
예아
2021.02.02 11:59 [*.101.xxx.90]
그걸 합성이라고 하시는 분께서 달고리즘은 합성이 아니라 보정이라고 하시니... 어질어질 하네요 -
brainer
2021.02.02 12:08 [*.147.xxx.46]
보정이라고, 말씀드린적 없어요.
AI가 추측해서 생성한다고 했죠.
그러니 당연히 틀릴수도 있는 거고요.
그리고 제 말은 오히려 Night Sight가 합성에 더 가깝다는 말이에요. -
예아
2021.02.02 12:14 [*.101.xxx.90]
합성도 아니라 하시고 보정도 아니라 하시고 그럼 대체 뭔가요?;; -
brainer
2021.02.02 12:55 [*.147.xxx.46]
생성 이요.
이미 수없이 말씀 드리고 있습니다.
얼굴을 바꾸는 Deep Fake, 카메라로 가상의 화장 시키는것 모두 생성 하는 모델이에요.
아래 SBS 다큐에 나오는 기술을 합성이라고 하시는것과 같아요.
https://youtu.be/WwUHX7oD_ak -
예아
2021.02.02 13:02 [*.101.xxx.90]
예시가 너무 잘못되었네요... -
brainer
2021.02.02 13:03 [*.147.xxx.46]
다를바 없어요.
제가 글에 올린 TecoGAN이나, 저 SBS 다큐에 나오는 모델, Deep Fake 모두, GAN의 응용이에요. -
예아
2021.02.02 13:19 [*.101.xxx.90]
영상의 목소리 복원은 김광석씨의 음성 데이터가 충분하기 때문에 AI를 통해 복원이 가능합니다. 달고리즘은 구분 불가능하게 완전 뭉개버린(데이터 거의 없음) 달 사진도 원본처럼 만들어 버리는데 어떻게 같나요. 음성 복원으로 치면 기침 소리 데이터 하나만으로 그 사람 목소리를 예측하고 노래까지 하게 만드는 경우죠. -
brainer
2021.02.02 13:30 [*.147.xxx.46]
복원이 아니고요.
컴퓨터 입장에서는 전혀 다른 숫자들의 집합을 생성한거에요.
단지 그런 생성 모델을 때로는 이미지 복원에, 때로는 찍히지 않은 이미지를 확장하는 것에, 때로는 AI 지우개 같은 곳에 이용하는 거죠. -
예아
2021.02.02 13:38 [*.101.xxx.90]
올려주신 영상은 음성 데이터를 조합해서 AI 알고리즘을 통한 복원이 맞습니다 근데 AI 지우개가 뭔가요? -
brainer
2021.02.02 14:15 [*.147.xxx.46]
복원 아니고요. 복원은 있었는데 손실된걸 다시 되살리는 거고, 저건 사람이 듣기에 김광석의 목소리를 흉내네, 마치 그가 부르는 것처럼 들리게 하는거고요.
'조합'이라 하셨는데 그럼, 저 다큐에서 프레디 머큐리가 한국 노래 부르는것도 조합인가요?
인공지능이 학습을 한다는건 학습을 끝내는 순간 일반적으로 그 모델만으로는 원본 데이터 복구가 불가능해요.
모델에는 단지 어떻게 계산을 할건지에 대한 계산식과 하이퍼 파라미터 정도가 들어있을 뿐이죠.
AI 지우개는 이번에 삼성에서 공개한 사물이나 사람 지우는거요. -
예아
2021.02.02 14:31 [*.101.xxx.90]
없어진걸 다시 되살리는 것만 복원이라 하지 않습니다. 저런것도 충분히 음성 복원의 범주인걸요. 그리고 개체 지우기 기능 말씀하시는거 같은데 결과물 보셨나요? 퀄리티가 아주 민망한 수준이던데... 제가 쓴 글에서 없어진 크레이터가 다시 생기는게 AI 지우개처럼 추측하는 거라고 하셨는데 두 기능의 품질 차이가 말도 안되게 큽니다. AI 추측만으론 없어진 크레이터가 원본과 똑같은 모양으로 다시 생기지 않아요. -
brainer
2021.02.02 14:48 [*.147.xxx.46]
차이가 당연히 나죠.
상대적으로 비슷한 이미지들을 복원 하는것과 좀 더 범용적이게 만드는 것은 결과물의 차이가 날수 밖에없어요.
그래서 달 전용 AI를 만들었을 것이다라고 몇번이나 말씀드렸어요.
몇년전 NVIDIA에서 AI로 게임에서 프레임을 보간 해주는 AI가 있었죠.
이 AI는 특정 장르의 게임에서는 매우 자연스러웠으나, 모든 게임에서 자연스럽지는 않았죠.
같은 이유에요.
물론, 이후 NVIDIA는 좀더 범용적인 AI를 만들었지만요.
제가 글에 올린 사람 얼굴 복원도 얼굴은 잘 되지만, 한번도 학습되지 못한, 전혀 다른 달이나, 풍경등은 제대로 복원하지 못할 가능성이 커요. -
예아
2021.02.02 10:18 [*.134.xxx.33]
그리고 인공신경망도 알고리즘입니다... -
brainer
2021.02.02 10:24 [*.147.xxx.46]
제 얘기는 사람이 모든 과정에 직접적으로 관여한 알고리즘이요. -
녹색우주괴생명체
2021.02.02 13:12 [*.23.xxx.242]
이 기술은 고유화된 사물이나 생물에 효과가 있지 다양한 사람의 얼굴에는 오차가 큰 것으로 압니다.<br /><br />우리가 합성이라고 논란이 되는 근본적 원인은 원본을 찍고 그를 소프트웨어 기술로 다듬느냐지.<br /><br />이미 학습화된 고화질 이미지를 거기에 녹여내느냐는 합성으로 받아들여야하지 않을까요.<br /><br />거기다 적용값에 어느정도 흐린 이미지일시에는 적용이 안되게끔 설정을 해둔다면 작금의 상황이 아닐런지. <br /><br />광고 영상에도 *상기이미지 실제와 다름이라는 문구가 보험문구처럼 작게 나옵니다. 인지하고 광고 마케팅했다고밖에 안느껴집니다. -
brainer
2021.02.02 13:23 [*.147.xxx.46]
이 기술이 GAN을 의미 하시는 건가요?
GAN은 굉장히 획기적인 발상이었지만, 그 자체는 특정 상황에서만 잘 작동됐기 때문에 그 기술을 응용한 기술들이 많아요.
StyleGAN은 화가의 풍을 따라 하기도 하고요. 사람의 글씨체나 그림체를 따라 하는 모델도 있죠.
자꾸 AI를 사람의 관점에서 설명하시는데, AI는 생물인지 사물인지 모르고요.
단지 숫자일 뿐입니다.
대게 RGB 각각 0~255 까지 256개로 표현 된 숫자일뿐이죠.
'어느정도 흐린' 이라는건 어떤 정의 인가요?
컴퓨터가 인지 하기는 매우 어려운 추상적 개념이네요.
https://youtu.be/8OJnkJqkyio -
Rosetta2
2021.02.02 14:45 [*.230.xxx.165]
https://www.inputmag.com/reviews/is-samsung-galaxy-s21-ultra-using-ai-to-fake-detailed-moon-photos-investigation-super-resolution-analysis -
brainer
2021.02.02 15:11 [*.147.xxx.46]
제가 쓴 내용이랑 매우 비슷해 보이네요. -
예아
2021.02.02 22:22 [*.134.xxx.33]
https://meeco.kr/Monthly/30996568 혹시 이거는 어떻게 생각하세요? -
brainer
2021.02.02 22:40 [*.176.xxx.76]
하... 그냥 여기저기 같다 붙이기식, 이거 아님 저거 식이 너무 많네요.
어떤경우에는 크레이터를 붙이는 거랬다, 어떤 경우는 달의 색을 내는 거랬다, 합성 하는 거랬다..
계속 말씀드리지만, 크레이터를 붙이는 거였으면 목성을 찍었을 때도 크레이터가 보였어야 되고요.
저기 댓글 보니, 날짜니, 시간이니 이야기가 나오는데, Rosetta2님이 올려주신 걸 보니 Dave Lee는 휴대폰 각도 까지 테스트 하는등 별의 별 테스트가 다 있네요.
심지어 탁구공을 달 처럼 보이게도 해보고, 마늘을 달 처럼 속이려고 해보기도 하고요..
근데, 합성의 증거는 소스코드에서도 찾을수 없다고 하네요.
저 글에 전부 자세히 설명돼있어요.
아래 링크는 저 글을 정리한 한국 기사고요.
https://n.news.naver.com/article/008/0004537684?cds=news_my
이건 탁구공을 속인 사진 이라네요.
-
궁금한아저씨
2021.02.02 20:27 [*.7.xxx.91]
논란의 여지 없이 합성이라고 생각합니다. 삼성 개발자의 과욕으로 보여요.
예를 들어 셀카 사진을 폰이 자동으로 보정을 하는 경우 피부 톤을 밝게 하고 주름이나 잡티를 없애고 눈을 크게하는 등의 방법을 쓴다면 어디까지나 '보정' 이겠지만 폰이 사용자를 인식하여 사용자의 사진중 잘나온 가져와 현재의 사진에 이용한다면 이건 단순한 보정이 아닌 '합성'이겠지요.
이런 꼼수 안써도 충분히 좋은 카메란데 괜히 긁어부스럼만 만드는 거 같아 안타깝습니다. -
brainer
2021.02.02 22:42 [*.176.xxx.76]
그럼, Deep Fake나 모창 AI들도 전부 합성이라고 보시는 건가요?
그리고 글에 적어뒀지만 꼼수가 아니라, 이미 주요 스마트폰 제조사들이 모두 취하고 있는 AI 방식이에요. -
VEIGAR
2021.02.04 04:45 [*.164.xxx.117]
글쓴분말대로라면 다른 제조사들도 하고있는 건데 삼성만 이렇게 과욕이니 하며 몰아가는것도 틀린 일이겠군요
