목록전체 글 (35)

STACKBASE

사이드 프로젝트[001]. SPARK와 MongoDB 연결(with pyspark)

1. 실습환경 : ubuntu20.04[Virtual Box] 2. 파일경로 : /usr/spark/pyspark-mongodb-connector.py 3. 작성코드 ##Spark 연결 테스트 코드### from pyspark.sql import SparkSession # 관리자명:비밀번호@아이피주소:포트/데이터베이스.collection?authSource=admin input_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" output_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" ..
카테고리 없음 2021. 10. 8. 00:00
사이드 프로젝트[001]. Jupyter Notebook에서 mongodb 접속

1. 실행환경 : 로컬 PC vscode pip install pymongo Collecting pymongo Downloading pymongo-3.12.0-cp38-cp38-win_amd64.whl (397 kB) Installing collected packages: pymongo Successfully installed pymongo-3.12.0 Note: you may need to restart the kernel to use updated packages. import pymongo myclient = pymongo.MongoClient('mongodb://몽고디비ID:패스워드@접속IP:27017/') print(myclient.list_database_names()) ['admin', 'c..
카테고리 없음 2021. 10. 7. 20:30
사이드 프로젝트[001]. Jupyter Notebook 설치 및 로컬 PC 접속 설정

1. Jupyter notebook 설치 및 원격접속 # 설치 sudo pip3 install jupyter # Jupyter Notebook config파일 생성 sudo jupyter notebook --generate-config # 생성 경로는 /home//.jupyter/jupyter_notebook_config.py #터미널에서 'iypthon' 입력 from notebook.auth import passwd passwd() Enter password : ~~ #입력하고 똑같이 한번더 입력하면된다. # 키값을 생성해주는데 값을 notepad에 복사해놓자 # config파일 수정 sudo vi /home//.jupyter/jupyter_notebook_config.py #설정파일에 주석처리된 부..
카테고리 없음 2021. 10. 7. 20:14
사이드 프로젝트[001]. Spark, MongoDB 설치

1. Spark 설치 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar -xvf spark-3.1.2-bin-hadoop3.2.tgz # 압축을 /usr/spark으로 풀었다. 참고.. * spark-shell 환경변수 등록 sudo vi ~/.bashrc #맨 마지막줄 export PATH=$PATH:/usr/spark/bin 2. MongoDB 설치 가. 버전 5.0.3? 인가 다운받아 설치했는데 오류가 발생하는 실행이 안돼는 바람에 .. 4.X.X 버전으로 다운그레이드. 방법은 아래와 같이 수행했다.(오류가 limited? 뭐였는데 오류 꼭 메모해 놔야지..) # 설치된 mongo..
카테고리 없음 2021. 10. 7. 00:11
이전 Prev 1 ··· 5 6 7 8 9 Next 다음