网页抓取小结
编程技术 / houtizong 发布于 3年前 75
- 网页抓取步骤：
1.将页面转化为流(或字符串)
2.将流保存为.xml文件(主要目地是为了处理中文乱码问题，xml文件为临时文件)
3.将xml转化为流，用Jtidy进行html格式化处理，并将处理好后的流转化为dom树
4.将dom树转化为xpath可以解析的InputSource
5.用xpath进行解析
代码暂不演示。
补充：
1.如果要使用文件保存，可利用线程名来命名文件，避免出现IO异常。另外可将流直接转化为String，再将String转化流供Jtidy处理。
2.如果服务器为IBM AIX，则要注意啦，在此机器下虽经Jtidy处理，但是仍然有些标签不会封闭，没有封闭的标签Xpath是会出现解析异常的。
3.AIX对某些标签的处理和windows及linux不同，需要多加注意。有些标签在windows下解析没问题，但是在AIX下就会出问题。
上一篇：没计划的生活就是浪费时间
请勿发布不友善或者负能量的内容。与人为善，比聪明更重要！
技术博客集 - 网站简介：
前后端技术：
后端基于Hyperf2.1框架开发,前端使用Bootstrap可视化布局系统生成
网站主要作用：
1.编程技术分享及讨论交流，内置聊天系统;
2.测试交流框架问题，比如：Hyperf、Laravel、TP、beego;
3.本站数据是基于大数据采集等爬虫技术为基础助力分享知识，如有侵权请发邮件到站长邮箱，站长会尽快处理;
4.站长邮箱：[email protected];
文章归档
文章标签
友情链接
