전 세계 AI 개발자들 다수, ‘파이썬을 프로그래밍 언어로 선택’
클라우드 데이터 기업 스노우플레이크, “1년 만에 571% 사용 급증”
“추상구문 분석 편리, 대규모 라이브러이, 프레임워크 생태계 구비”
[애플경제 전윤미 기자] AI 개발자에게 가장 인기 있는 프로그래밍 언어는 역시 파이썬, 스칼라(Scala), 자바(Java)다. 그 중에서도 파이썬은 생성AI 애플리케이션을 구축하는 개발자를 위한 최고의 프로그래밍 언어로 부상했다. 특히 LLM을 구축하는데 가장 효율적인 언어라는 평가를 받고 있다.
이런 사실은 클라우드 데이터 회사 스노우플레이크가 9천명의 개발자를 대상으로 실시한 조사에서도 다시금 밝혀졌다. 스노푸플레이크는 특히 “파이썬이야말로 AI 프로그래밍을 위한 최고의 언어”라고 했다.
이에 따르면 파이썬은 지난 1년 전에 비해 무려 571%나 사용비율이 증가했다. 스칼라a(387% 증가)나 자바(131% 증가)도 사용이 급증했지만, 파이썬에 비할 바가 아니다. “개발자들이 고급 AI에 도전함에 따라 파이썬은 더욱 필수적이 될 것”이라는 전망이다.
배우고 읽기 편해, 비정형 데이터 처리에도 유용
특히 파이썬은 배우기 쉽고 읽기도 편해서 개발자가 추상 구문을 분석하는데 골몰하는 대신, AI 문제를 해결하는 데 집중할 수 있게 한다.
이는 신경망 구현부터 자연어 처리까지 어려운 AI 작업을 단순화하기 위한 대규모 라이브러리 및 프레임워크 생태계를 갖추고 있다. 또한 학습과 문제 해결을 돕는 활동적인 대규모 기여자 커뮤니티까지 있다.
스노우플레이크는“파이썬은 또 빠르게 작업하고 프로토타입 제작과 실험을 가속화할 수 있으므로 개발팀이 최첨단 AI 프로젝트의 속도를 높이면서 광범위한 학습이 가능해진다”고 밝혔다. 현재 Tiobe 프로그래밍 언어 순위에서도 파이썬은 나머지 언어들 간의 격차가 그 어느 때보다 크다.
특히 파이썬은 구조화되지 않은 데이터를 활용하고 있는 산업 현장에도 적합하다. 약 90% 정도의 데이터는 비디오, 이미지, 문서 형태로 구조화되지 않은 경우가 많다. 그런 구조화되지 않은 데이터를 처리하는 사례도 급증하고 있다. 이런 경우 파이썬이 제격이란 얘기다.
“특히 파이썬은 다수의 개발자, 데이터 엔지니어, 데이터 과학자가 선택하는 언어”라고 전제한 스노우플레이크는 “이처럼 파이썬이 빠르게 증가하는 것은 구조화되지 않은 데이터 워크플로가 데이터 파이프라인은 물론, AI 애플리케이션, ML 모델도 포함한다는 것을 의미한다”고 덧숱였다.
LLM에 생성AI 기반 앱 구축에도 ‘파이썬’
최근엔 특히 LLM(대형 언어 모델) 위에 생성적 AI 기반 앱을 구축하는 것이 많은 개발자들의 과제다. 그래서 “사무실 등에선 LLM 폭발이 일어나고 있다”는 평가다. “지난해는 개발자 커뮤니티 ‘Streamlit’ 전체에서 20,076명의 개발자가 33,143개의 LLM 기반 앱에서 작업했다”고 소개하며 “개발자의 거의 3분의 2가 파이썬으로 업무 프로젝트를 진행하고 있다”는 것이다.
개발자가 만들고 있는 앱의 종류도 진화하고 있다. 스노우플레이크는 “‘Streamlit’에서 보ᅟᅧᆫ 2023년 5월부터 2024년 1월 사이에 LLM 앱의 챗봇이 18%에서 46%로 증가했다”면서 “
이는 LLM 앱에 대한 시장의 선호도 변화를 나타내지는 않지만 개발자가 어떻게 기술을 향상시키고 더 복잡한 챗봇 앱을 구축할 수 있는지 보여준다“고 했다.
이런 경우 역시 파이썬이 가장 유용한 언어로 활용된다. 생성 AI 앱을 구축할 때 가장 큰 관심사인 정확한 LLM 응답과 환각 현상 제거 등을 위해서도 파이썬은 널리 그 가치를 인정받고 있다는 평가다.