목록분류 전체보기 (35)

STACKBASE

사이드 프로젝트[001]. Pyspark DataFrame을 Python List로 변환

보호되어 있는 글입니다.
카테고리 없음 2021. 10. 19. 12:03
사이드 프로젝트[001]. Pyspark를 이용한 Write/Read

1. 구성환경 : 이전 글과 동일 + jupyter notebook 사용 2. 코드 Spark와 세션 연결 import warnings warnings.filterwarnings(action='ignore') from pyspark.sql import SparkSession input_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" output_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" myspark = SparkSession\ .builder\ .appName("twitter")..
카테고리 없음 2021. 10. 19. 11:56
SQL, Mongodb Mapping

https://docs.mongodb.com/v4.0/reference/sql-comparison/
카테고리 없음 2021. 10. 11. 23:22
mongodb 사용법

1. 'root' 권한 유저 생성 # admin 데이터베이스 선택 use admin db.createUser({user:'root', pwd:'password', roles:['root'] 2. mongodb 로그인 mongo -u 'username' -p 'password123' --authenticationDatase 'admin' 3. DB/Collection 생성 use createdatabse # 데이터베이스 확인 show dbs # collection 생성 db.createCollection("collectionName") # collection 확인 show collection db.collection_name.stats() # collection capped 설정하여 collection 생..
카테고리 없음 2021. 10. 11. 21:17
사이드 프로젝트[001]. SPARK와 MongoDB 연결(with pyspark)

1. 실습환경 : ubuntu20.04[Virtual Box] 2. 파일경로 : /usr/spark/pyspark-mongodb-connector.py 3. 작성코드 ##Spark 연결 테스트 코드### from pyspark.sql import SparkSession # 관리자명:비밀번호@아이피주소:포트/데이터베이스.collection?authSource=admin input_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" output_uri = "mongodb://hyeongju:dbgudwn1!@127.0.0.1:27017/mydatabase.testcol?authSource=admin" ..
카테고리 없음 2021. 10. 8. 00:00
사이드 프로젝트[001]. Jupyter Notebook에서 mongodb 접속

1. 실행환경 : 로컬 PC vscode pip install pymongo Collecting pymongo Downloading pymongo-3.12.0-cp38-cp38-win_amd64.whl (397 kB) Installing collected packages: pymongo Successfully installed pymongo-3.12.0 Note: you may need to restart the kernel to use updated packages. import pymongo myclient = pymongo.MongoClient('mongodb://몽고디비ID:패스워드@접속IP:27017/') print(myclient.list_database_names()) ['admin', 'c..
카테고리 없음 2021. 10. 7. 20:30
사이드 프로젝트[001]. Jupyter Notebook 설치 및 로컬 PC 접속 설정

1. Jupyter notebook 설치 및 원격접속 # 설치 sudo pip3 install jupyter # Jupyter Notebook config파일 생성 sudo jupyter notebook --generate-config # 생성 경로는 /home//.jupyter/jupyter_notebook_config.py #터미널에서 'iypthon' 입력 from notebook.auth import passwd passwd() Enter password : ~~ #입력하고 똑같이 한번더 입력하면된다. # 키값을 생성해주는데 값을 notepad에 복사해놓자 # config파일 수정 sudo vi /home//.jupyter/jupyter_notebook_config.py #설정파일에 주석처리된 부..
카테고리 없음 2021. 10. 7. 20:14
사이드 프로젝트[001]. Spark, MongoDB 설치

1. Spark 설치 wget https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar -xvf spark-3.1.2-bin-hadoop3.2.tgz # 압축을 /usr/spark으로 풀었다. 참고.. * spark-shell 환경변수 등록 sudo vi ~/.bashrc #맨 마지막줄 export PATH=$PATH:/usr/spark/bin 2. MongoDB 설치 가. 버전 5.0.3? 인가 다운받아 설치했는데 오류가 발생하는 실행이 안돼는 바람에 .. 4.X.X 버전으로 다운그레이드. 방법은 아래와 같이 수행했다.(오류가 limited? 뭐였는데 오류 꼭 메모해 놔야지..) # 설치된 mongo..
카테고리 없음 2021. 10. 7. 00:11
이전 Prev 1 2 3 4 5 Next 다음