[발표 논문]
1. [Main Track - Poster] Navigating data heterogeneity in federated learning: a semi-supervised approach for object detection
- Great Hall & Hall B1+B2 (level 1) #1111
- Tue 12 Dec 5:15 p.m. CST — 7:15 p.m. CST
- https://neurips.cc/virtual/2023/poster/72966
2. [Workshop - Instruction Tuning] Distort, Distract, Decode: Instruction-Tuned Model Can Refine its Response from Noisy Instructions
- Room 220 - 222
- Fri 15 Dec, 8:30 a.m. CST
- https://neurips.cc/virtual/2023/79652
1. 호텔 및 숙박
•
호텔(Hotel): Kimpton Hotel (NeurIPS Promotion 호텔) ️️️️
️️️️◦
일반적으로 학회는 학회 근처 몇몇 호텔들과 제휴를 통해 promotion 상품을 내놓고, NeurIPS도 Hilton호텔을 포함한 다양한 호텔들의 숙박을 일부 지원해준다. 늦게 숙박 예약을 하며 남아 있던 slot인 Kimpton 호텔로 가게 되었다.
◦
Room WiFi가 느린 점 말고는 매우 만족!
2. 학회 후기
•
NeurIPS를 In-Person으로 참석하며 한번 더 스스로 동기 부여를 하고 앞으로의 career에 대한 고민해보게 되는 하나의 전환점이였던 것 같다.
•
+15,000명의 참석자와 MIT, Standford를 비롯해 DeepMind, Google Research, OpenAI, Apple 사람들이 즐비하고, 한국에서도 내가 모르고 있던 정말 뛰어난 사람들이 세계로 흩어져서 연구하고 있다고 많이 느꼈다.
◦
General하게 Large Language Model 관련 논문이 굉장히 많았지만, 그 속에서 연구하는 것들이 조금씩 달랐고, 높은 Citation을 가진 대단한 사람들의 연구가 세상에 없던 연구가 아니고 모두가 비슷한 방향을 쫓으며 연구하고 있다고 피부로 느낄 수 있었다.
◦
당연히 자원의 문제로 동일한 연구를 못할 수도 있지만, 더 빠르고 정확하게 Insight를 검증하면 이 커뮤니티에서도 높은 visability를 가질 수도 있겠다고 생각했다.
•
연구자로 이 커뮤니티에서 살아남기 위해서는 나만의 identity를 찾아야겠다고 생각하게 됐다. 쏟아져 나오는 논문들 속에서 주목 받는 논문이 되고, 또 주목 받는 연구자가 되어야하는지. 어떻게 내 강점을 AI 커뮤니티에 contribute할지를 고민하게 되었다.
◦
개인적으로는 지금까지 연구분야를 diverse하게 explore를 많이 했다면, 내년에는 하나로 좁혀 나만의 연구들을 해보고 싶고,
◦
논문의 수에 압박을 느끼기보다 quality에 많이 집중해볼 것 같다.
•
다양한 회사/연구소의 Social Party도 많았다. 학생들은 Internship Opportunity와 Free Dinner를 누리며 다른 박사과정생들과 네트워킹도 할 수 있는 권리도 누릴 수 있었다.
◦
한국 학생들은 LG AI, SAIT (Samsung), Krafton 등의 회사들에서 일부 저자들을 private party로 초대한 것 같고, Deepmind, Google Research, Apple 등도 관련 연구 분야 사람들을 private하게 초대했다.
◦
박사과정을 하며 좋은 Job Opportunity를 잡는 것이 항상 어려웠는데, NeurIPS는 다른 학회들 보다 압도적으로 이런 Job 기회가 많은 곳이라고 느꼈다. Internship apply 기간과 학회 기간이 겹치면서, 학회장에서 정말 많은 사람들이 private party나 coffee chat를 통해 간간히 Interview도 하고 리크루트 하는 모습을 많이 봤다.
◦
헤지펀드 회사들도 MIT, Princeton 친구들은 관심이 있는듯 했다. Jane Street, Citadel, D.E. Shaw 그룹들이 였는데, 빅테크만큼 경쟁력있게 들어가기 어려우며 경쟁력 있는 회사들이고, 연구보다는 Trading하는 job이다. Salary는 당연히 ML software engineer나 scientist들보다 훨씬 많이 받는다.
3. 논문 (invited talk, poster, oral, workshop, Company Booth)
•
Monday
•
Tuesday
◦
10:00 - 10:50 La Nouvelle Orleans Ballroom A-C (level 2)
▪
Oral 1B Datasets & Benchmarks
◦
10:45 - 12:45 Great Hall & Hall B1+B2 #2000
▪
Language Model Alignment with Elastic Reset
◦
10:45 - 12:45 Great Hall & Hall B1+B2 #527
▪
Training Chain-of-Thought via Latent-Variable Inference
◦
10:45 - 12:45 Great Hall & Hall B1+B2 (level 1) #401
▪
How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources
◦
13:30 - 15:00 Deepmind Booth: Gemini Meet the Team
•
Wednesday
◦
10:45 - 12:45 Great Hall & Hall B1+B2 (level 1) #439
▪
Speculative Decoding with Big Little Decoder
◦
17:00 Great Hall & Hall B1+B2 (level 1) #401
▪
SpecTr: Fast Speculative Decoding via Optimal Transport
•
Thursday
◦
17:00 Great Hall & Hall B1+B2 (level 1) #1108
▪
Are Emergent Abilities of Large Language Models a Mirage?