안드로이드 크롤링(Crawling)하기 (Jsoup Library 활용)

Jsoup은 Java 라이브러리로 HTML 문서에 저장된 데이터를 파싱할 때 사용되는 라이브러리입니다.

라이브러리 적용방법은 build.gradle에 dependency 추가로 사용이 가능합니다.

...
dependencies {
 ...
 implementation 'org.jsoup:jsoup:1.12.2'
 ...
}
...

위와 같이 라이브러리를 추가해주면 사용이 가능합니다.

 

사용방법은 매우 간단합니다.

fun useJsoup(url: String) {
	Jsoup.connect(url).get().let { doc ->
    	//타이틀
        doc.title()
        
        //바디 태그 가져오기
        doc.body()
        
        // 클래스명으로 Elements 가져오기
        doc.getElementsByClass()
        
        // td 태크의 Elements 가져오기
        doc.select("td")
    }
}

크롤링하고 싶은 사이트에 가서 F12키를 누른 후 필요한 데이터가 어디 태크에 있는지 확인 후 코드를 작성해주면 되겠습니다.