頭次聽說系上有社群應該是半年前,那時頂多看看議程跟主題,一來是因為怕進去就像個打醬油的,二來是因為真的沒什麼動力能讓我騎15分鐘的夜車。不過歷經一年
悠悠哉哉的洗禮後,我終於把E罐填滿了,抱著要挑戰Boss的心情踏入了會議室......
這次的會議花了大約40分鐘在推SITCON的坑,剩下的則是利用python來做網路爬蟲。
簡單來說,就是以學生為核心的研討會,大家各自分享所長及專業,達到教學相長的目的。 SITCON的演講題目其實蠻多元的,可惜的是2014已經結束了~~~不過沒關係,SITCON的研討會都有上傳到Youtube,隨時都能夠回味那些有趣的演講,
補全2014開幕時的一個梗XD
其實SITCON有的不只是年會而已,還有
Hackgen跟不少Workshop,不過Hackgen就是要直接衝code上戰場了,年會比起來就平易近人一點,而且題目也能自由挑選。就像前文說的,如果認為自己有些想分享的,也能去交稿挑戰自己,或者當場報個
Lightning talk。
網路爬蟲是個能自動抓取網頁上訊息的程式,可以用它來搜集大量的網路資料或偵測網頁內容的變動。
而這次引入的語言是python,聽到這個語言感覺就要被制裁了,幸好有獲得
學習管道,不過Mac上也沒裝只好看著指令快速閃過,印象最深刻的也就DDOS選課系統了,
這樣真的沒問題嗎?
整體概念以requests為核心,然後利用beautifulsoup(
美麗的湯?)來對獲得的網站進行編碼,最後用while迴圈持續的跑,當目標網站的文字(一個元件的.text值)改變時,會跳出警告,警告內容視需求而定,demo是彈出成功入口的網頁。
爬蟲不單需要python,對HTML與CSS也要有點認知才行,否則在查找原始碼時也不知道哪些是需要的資料。
沒有留言:
張貼留言