본문 바로가기

𝘼𝙄10

대용량 처리에는 for 루프보다 numpy, df 벡터를 사용해보자. 학교에서 거의 처음으로 배우는 루프는 거의 모든 프로그래밍 언어에서 루프에 대해 배운다. 그래서 기본적으로 반복 작업이 있을 때마다 루프로 구현을 했던것 같다. 최근에 데이터를 처리하게 되면서 많은 수의 반복(수백만/수십억 행)으로 작업할 때 루프를 사용하는 것은 부담이 됐었다. 그래서 배웠지만 잘 안쓰고 있던 numpy를 사용하여 일을 진행하게 되었다. 여기에 대해서 잊어버리지 않게 적어보려고 한다. import time start = time.time() # iterative sum total = 0 # iterating through 1.5 Million numbers for item in range(0, 1500000): total = total + item print('sum is:' + str.. 2024. 1. 11.

YOLO V8 detection 간단하게 사용하기 https://ultralytics.com/yolov8 Ultralytics | Revolutionizing the World of Vision AI Ultralytics' mission is to empower people and companies to unleash the positive potential of AI. Bring your models to life with our vision AI tools. ultralytics.com 그냥 이미지 간단하게 확인하여 검출된 내용을 확인하고 싶었다. 하지만 찾아보니까 웹캠에서만 사용하는걸 많이 포스팅하고 있어서 찾기 어려웠다. 그래서 간단하게 이미지 한장 확인하는걸 포스팅하게 되었다. !pip install ultralytics !pip install.. 2023. 7. 6.

TIPS 선정 후기 http://www.jointips.or.kr/ TIPS 프로그램 - Tech Incubator Program for startup Korea main-img-01 Created with Sketch. TIPS프로그램(민간투자주도형 기술창업지원, 이스라엘式)은 세계시장을 선도할 기술아이템을 보유한 창업팀을 민간주도로 선발하여 미래유망 창업기업을 집중 육성하 www.jointips.or.kr 팁스는 국가에서 투자사를 받아 우리같은 회사에 지원해주는 프로그램이다. 투자금은 약 7억+@정도 된다. 2023년 3월 초 TIPS를 지원할거라며 AI주제로 생각해보라고 하여 1월에 제안했던 2가지 주제에 대해 다시 한번 제안했다. 우리 회사의 투자사인 울산 창조경제에 보여주고 주제를 픽스해야해서 PPT로 발표자료를 .. 2023. 5. 16.

파이썬으로 간단하게 챗봇 만들기 우선 챗봇을 혼자 만들어보려고 만든 자료들과 논문을 읽어보았다. 하지만 컴퓨팅자원이 부족하고 일일히 대화자료를 만들어내기는 어려웠다. 그래서 찾아보았는데 비슷한 자료가 있어서 이걸 챗봇으로 구현해보았다. 보시기 전에 미리 말하지만 챗봇이라고 하기에는 다소 문제가 있긴 하지만, 간단하게 재미를 붙여볼 수는 있다. 우선 다 한 자료를 먼저 보고나서 끝까지 볼 사람은 봐도 된다. 이제 팁스 진행을 해야해서 조금더 고도화하지는 못했다. 토큰화, 딥러닝, 동사, 명사, 조사, 이런거 다 필요없다. 하지만 조금더 대화를 매끄럽게 하기위해서는 그정도는 해줘도 된다. 먼저 어렵게 찾은 API이다. 이건 무료이고 성능도 괜찮고, 한국에서 뛰어난 석,박사님들이 만든 것이다. https://aiopen.etri.re.kr/.. 2023. 5. 9.

파이썬 각종 OCR 사용해보기 및 네이버 클라우드 AI OCR 사용법 (2) 파이썬 각종 OCR 사용해보기 및 네이버 클라우드 AI OCR 사용법 (1) 유해이미지를 판별해야하는데 처음에는 야한이미지나 잔인한이미지를 판별하는 모델을 만들었었다. 만들고나서 어플 내에서 이전의 광고로 판단되어 삭제되었던 이미지를 가지고 와서 테스트 beomcoder.tistory.com (1)에 이어서 마저 쓰려고 한다. 먼저 콘솔에 가서 OCR Domain생성하기를 클릭하여 정보를 입력해준다. 도메인 이름, 도메인 코드는 아무거나 적어도 상관없다. 나는 그냥 이미지에서 글자를 추출하기 위해서 General로 선택하였다. 그리고 SecretKey를 생성하여 복사하고, APIGW 자동 연동을 선택하여 URL을 받는다. 여기서 의아했던게 OCR서비스를 제공하는데 API는 따로 신청해줘야 한다는 점이었다.. 2023. 4. 5.

빙AI, chatgpt, 노션ai 비교하기 chatgpt덕분에 ai가 많이 알려지면서 여러기업에서도 ai를 개발하고 있다. 마이크로소프트, 구글, 노션등 많이 있지만 구글에서는 BARD AI를 만들었지만 문제점이 많아 아직 나오지 않았다. 그래서 마이크로소프트 빙 AI / 마이크로소프트 openAI chatgpt, 노션(notion) ai를 비교해보려고 한다. Chat GPT 먼저 ChatGPT는 GPT-3.5 언어 모델을 기반으로 한 대화형 인공지능이다. (SKT에서 API로 제공한 모델은 GPT-3 기반의 모델이다) 사용자와 주고받는 대화에서 인공지능에 따라서 질문에 답하도록 설계된 언어모델이며, 오픈AI는 블로그 게시글을 통해 “ChatGPT가 대화 형식으로 추가적인 질문에 답하고, 실수를 인정하며, 정확하지 않은 전제에 대해서는 이의를 제.. 2023. 3. 15.

머신러닝(CatBoost, LightGBM, XGBoost) 공부하기 Kaggle을 비롯한 데이터 경진대회 플랫폼에서 항상 상위권을 차지하는 알고리즘 XGBoost, LightGBM, CatBoost에 대해 정리하고 차이점을 비교해보려고 한다. 내가 부트캠프에서 인공지능을 배웠을때나 다른 교육을 들었을때 항상 처음부터 썼던 모델이니 방법론부터 배우다 보니까 최근에 쓰이는 모델, 현재 쓰고 있는 무엇인가를 배욱기도 전에 교육이 끝난다. 나는 예전 것도 배워서 차근차근 배우는 것도 중요하지만 쓸만한 것들을 배우고 싶었다. 나는 decision tree, random forest 같이 옛날에 만들어져서 지금은 쓰여지지 않는 머신러닝기법만 배우다가 교육기간이 끝났다. 중간에 부트캠프 내 대회를 개최하거나 다른 대회를 참여할때도 부트캠프에서 배운 머신러닝만 쓰다가 점수도 내지 못하.. 2023. 3. 14.

AI 표준화에 대해서 팁스 준비를 하면서 표준화 전략에 대해 써야했다. 이때까지 부트캠프나 친구들끼리 프로젝트를 진행해보면서 표준화전략을 세워본적이 없었다. 그래서 많이 생소하고 어려워서 알아봐야겠다고 생각했다. 먼저 표준화 전략에 대해 PPT를 작성하면서 표준 단체에 대해 알아보았다. 인공지능 표준 단체로는 ITU-T, ISO/IEC JTC 1, IEEE, W3C, Khronos Group, ONNX 등이 있다고 한다. 이중 ITU-T와 IEEE는 무인화, 헬스케어, 로봇 등 전 산업영역에서 인공지능을 활용한 기술을 표준화하고 있다. ISO/IEC JTC 1은 인공지능 시스템 자체에 대한 표준화를 진행하며, W3C는 웹영역에서의 머신러닝 활용, Khronos Group, ONNX는 머신러닝 모델의 교환 포맷에 대한 표준화를.. 2023. 3. 13.

로컬에서 BERT모델 돌려서 학습하기 얼마전에 koBERT로 colab에서 학습하였는데 어떻게 로컬에서 옮겨야 할지 감이 안잡혔다. mxnet, glounnlp를 직접 다운로드하여 라이브러리에 넣어주었는데도 안되고 vmware를 깔아서 리눅스환경에서 해보았는데도 잘 안되었다. 그래서 koBERT는 아쉽지만 잠시 모델만 남겨두고 다른 방법으로 로컬로 학습을 시키려고 한다. koBERT 모델 학습하기에서 txt파일을 만들었는데 그것을 사용하겠다. 인공지능 koBERT 모델 학습 추천시스템에 쓰일 '태그'를 달기 위해 모델을 하나 제작하고 있다. 다른 모델들도 많지만 koELECTRA와 기타 모델은 데이터 전처리를 모델에 맞게 해주지 않아서 그런가 정확도가 높지 않았다. 그 beomcoder.tistory.com 0. 데이터 처리하기 koBERT.. 2023. 2. 15.

이전 1 2 다음

티스토리툴바