JavaScript _ 크롤링해온 JSON 데이터 Parsing 처리 작업

 

- My Parsing Situation 👋

 

1. POSTMAN를 활용해 필요로한 데이터를 클롤링을 마쳤다.

2. 크롤링한 파일 중 필요한 데이터만 별도로 파싱해와야 한다.

2. 크롤링된 파일은 [KEY-VALUE] 형태의 JSON 파일이다.

3. 크롤링 파일 갯수는 총 32개 -> 'data' 파일을 생성해 안에 모든 json파일을 담는다.

4. [KEY-VALUE] 형태의 JSON 파일의 KEY값 중 아래에 해당하는17개의 VALUE만 파싱해온다.

id , free_delivery_threshold , is_available_delivery , threshold , review_reply_count , review_image_count
delivery_fee , estimated_delivery_time_key , categories , min_order_amount , name , owner_reply_count
one_dish , lng , lat , estimated_delivery_time , review_count , loyal_score

 

- My Source Code 🛠

const fs = require('fs');
const glob = require('glob');


function test() {
    return new Promise(function (resolve, reject) {
        glob("./data/*.json", async function (err, files) {
            let result = []
            await files.map(async (filename) => {
                let dataBuffer = fs.readFileSync(filename);
                let dataJSON = dataBuffer.toString();

                let data = JSON.parse(dataJSON);
                // console.log(data);

                await data.restaurants.map((item) => {
                    let tmp = {
                        "id": item.id,
                        "free_delivery_threshold": item.free_delivery_threshold,
                        "is_available_delivery": item.is_available_delivery,
                        "threshold": item.threshold,
                        "review_reply_count": item.review_reply_count,
                        "review_image_count": item.review_image_count,
                        "delivery_fee": item.delivery_fee,
                        "estimated_delivery_time_key": item.estimated_delivery_time_key,
                        "categories": item.categories,
                        "min_order_amount": item.min_order_amount,
                        "name": item.name,
                        "owner_reply_count": item.owner_reply_count,
                        "one_dish": item.one_dish,
                        "lng": item.lng,
                        "lat": item.lat,
                        "estimated_delivery_time": item.estimated_delivery_time,
                        "review_count": item.review_count,
                        "loyal_score": item.loyal_score,
                    }
                    result.push(tmp);
                })
            })
            resolve(result);
        })
    })
}

async function main() {
    let result = await test();
    fs.writeFileSync("./test.json", JSON.stringify({ "result": result }), 'utf-8');
}

main();

 

Visual Stdio Code에 'main.js' 파일에 위 코드를 작성한다.

Open With Live Serve를 통해 콘솔창으로 js의 실행 결과를 확인하는 것보다

-> Terminal에 node.js 를 실행시켜 파일 결과를 확인 하는 것이 더 확실하다.

node .\main.js

 

 

코드가 실행되면 golb를 통해 Data 파일에 담겨있는 모든 json파일의 이름을 읽어오고,

glob("./data/*.json", async function (err, files){ ... }

parsing을 통해 json파일로 다시 쓰이는 과정에서 중첩되어 아무것도 작성되지 않는 에러를 없애기 위해 동기/비동기를 설정해준다.

 

그 결과 parsing해온 모든 키값은 ./ 루트에 'test.js'라는 이름으로 저장되어 json파일로 변환과정을 마친다.

async function main() {
    let result = await test();
    fs.writeFileSync("./test.json", JSON.stringify({ "result": result }), 'utf-8');
}

 

Posted by Ang