2024年静态网站如何制作 篇1
这次分享一个房地产网站数据采集及可视化分析的Python实际案例，应用效果还是有，步骤如下：
1、获取目标网站
2、分析网站，确定数据采集的方法
3、对采集的数据进行处理
4、最后可视化
先看看最终效果：
首先获取目标网站，可以发现获取的数据信息都在网页上面，所以可以直接使用xpath标签定位获取网页上的数据，而不用担心动态网页的数据会出现变化：
然后获取各个采集字段的具体xpath，包括房源信息、房价、地区、建面（面积）等字段的xpa，部分代码如下：
fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称 fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价 diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区 mj=n.xpath('./div/div[3]/span/text()')[0]
然后我们要爬取页数要设置，可以看到页数链接明显出现变化，而且还是规律性的，所以可以构造一个循环采集指定页数的信息（也就是翻页采集），部分代码如下：
for i in range(1,6): url='https://nn.fang.lianjia.com/loupan/pg'+str(i) #print(url)
翻页采集搞定了，接下来就是数据处理，先判断采集的数据有没有空值或者缺失值，就必须使用numpy和pandas这两个模块进行数据处理，部分代码如下：
data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk') #data.describe()#做描述性分析，判断有没有空值或者缺失值
然后查看采集的数据发现，建面面积这个字段既有中文又有数字和特殊符号，我们要对这个字段进行拆分，拆分为最大面积和最小面积，代码如下：
data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0] data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0] data=data.drop('面积',axis=1)
处理完采集的数据，接下来就是对数据进行可视化，可视化就用到matplotlib这个模块，我们用了三个图去可视化数据，包括折线图、饼图、条形图，部分代码如下：
#制作可视化图表 plt.figure(figsize=(10,8)) plt.suptitle("南宁房价可视化分析",fontsize=20) plt.subplot(2,2,1) #不同地区的房源数量--饼图 plt.title('不同地区的房源数量占比--饼图') explode=[0,0,0,0,0.2,0] plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index, explode=explode,autopct='%.3f%%') plt.subplot(2,2,2) plt.title('不同地区的房源数量--条形图') plt.ylim(0,20) x=data.地区.value_counts().index y=data.地区.value_counts() plt.bar(x=x,height=y,width=0.5) for a,b in zip(x,y): plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green') plt.subplot(2,1,2) plt.title('不同地区平均房价——折线图') plt.ylim(0,30000) qingxiu=int(data[data['地区']=="青秀区"].房价.mean()) xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean()) xingning=int(data[data['地区']=="兴宁区"].房价.mean()) liangqing=int(data[data['地区']=="良庆区"].房价.mean()) yongning=int(data[data['地区']=="邕宁区"].房价.mean()) dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区'] mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning] #折线图# plt.plot(dq,mean_fj,label='不同地区平均房价') for a,b in zip(dq,mean_fj): plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5) plt.legend(loc=1,fontsize=13) plt.show()
最后不多说了，附上完整代码：
import requests from lxml import etree import csv import pandas as pd import matplotlib.pyplot as plt from pylab import mpl import time with open('C:/Users/Administrator/Desktop/链家数据.csv','w',encoding='gbk') as f: f.write('房源名称,房价,地区,面积\n') f.close() for i in range(1,6): url='https://nn.fang.lianjia.com/loupan/pg'+str(i) #print(url) headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36' } r=requests.get(url,headers=headers).content b=etree.HTML(r) c=b.xpath('/html/body/div[3]/ul[2]/li') try: for n in c: fymc=n.xpath('./div/div[1]/a/text()')[0]#房源名称 fj=n.xpath('./div/div[6]/div/span[1]/text()')[0]#房价 diqu=n.xpath('./div/div[2]/span[1]/text()')[0]#地区 mj=n.xpath('./div/div[3]/span/text()')[0] with open('C:/Users/Administrator/Desktop/链家数据.csv','a',encoding='gbk') as f1: f1.write('{},{},{},{}\n'.format(fymc,fj,diqu,mj)) print("数据爬取成功！") except: pass time.sleep(20) mpl.rcParams['font.sans-serif']=['SimHei'] mpl.rcParams['axes.unicode_minus']=False data=pd.read_csv(r'C:/Users/Administrator/Desktop/链家数据.csv',encoding='gbk') #数据处理，拆分面积字段为两列数据，最小面积和最大面积 #data.describe() data['最小面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[0] data['最大面积']=data['面积'].str.split(expand=True)[1].str.split('-',expand=True)[1].str.split('㎡',expand=True)[0] data=data.drop('面积',axis=1) #制作可视化图表 plt.figure(figsize=(10,8)) plt.suptitle("南宁房价可视化分析",fontsize=20) plt.subplot(2,2,1) #不同地区的房源数量--饼图 plt.title('不同地区的房源数量占比--饼图') explode=[0,0,0,0,0.2,0] plt.pie(x=data.地区.value_counts(),labels=data.地区.value_counts().index, explode=explode,autopct='%.3f%%') plt.subplot(2,2,2) plt.title('不同地区的房源数量--条形图') plt.ylim(0,20) x=data.地区.value_counts().index y=data.地区.value_counts() plt.bar(x=x,height=y,width=0.5) for a,b in zip(x,y): plt.text(a,b+0.2,str(b),ha='center',va='bottom',fontsize=10.5,color='green') plt.subplot(2,1,2) plt.title('不同地区平均房价——折线图') plt.ylim(0,30000) qingxiu=int(data[data['地区']=="青秀区"].房价.mean()) xixiangtang=int(data[data['地区']=="西乡塘区"].房价.mean()) xingning=int(data[data['地区']=="兴宁区"].房价.mean()) liangqing=int(data[data['地区']=="良庆区"].房价.mean()) yongning=int(data[data['地区']=="邕宁区"].房价.mean()) dq=['青秀区','西乡塘区','兴宁区','良庆区','邕宁区'] mean_fj=[qingxiu,xixiangtang,xingning,liangqing,yongning] #折线图# plt.plot(dq,mean_fj,label='不同地区平均房价') for a,b in zip(dq,mean_fj): plt.text(a,b+0.2,str(b),ha='center',va='top',fontsize=10.5) plt.legend(loc=1,fontsize=13) plt.show()
2024年静态网站如何制作 篇2
HTML是基础，但是CSS和JavaScript是进阶的方向。可以用”很难“两个字来形容。说一下大的前景，2017年前端工程师平均薪资达到了17240，每日岗位需求55601人次。我们不需要找互联网大厂，只是找一个普通的企业，看一下前端的任职要求：
计算机行业，相关工作经验至少1年
精通HTML5/CSS3，Javascript，Ajax，bootstrap，vue等web开发技术
熟练掌握前端开发技术（HTML5/JS/JSON/XHTML/CSS3）了解各项技术的相关标准，并且严格按照标准进行开发，与后台开发人员一起编写Ajax交互程序
熟悉W3C标准，对表现与数据分离还有web语义化等有深刻的理解
熟悉个汇总浏览器的兼容性调试如果想转行前端，你需要会的框架：
前端作为互联网时代直接接触用户的一个职位，基本上应用领域是很广的。不仅是微信公众号，小程序还是移动web端，移动app或者是服务端，都是前端的领域。如果想转行前端，你需要会的知识：
上图的学习路线就是：入门--->全面--->实践--->深入
入门这个阶段是可以选择看书或者是看视频的，只要视频中的老师还不错的话，基础知识基本上可以深入浅出的让大家理解。
在全面这个阶段，尽量就看书了。因为要很详细的看每一个知识点的细节，建议遇到问题不能解决的时候，我们就去国内外各大论坛搜索，直到弄清楚为止
实践这个阶段，建议大家找到项目视频，内容有源码和课件的，充分理解一个项目。自己照着源码敲一遍之后，渗入理解。再不看源码自己敲；
深入这个阶段，就是结合到实际的情景来设计和解决一些问题。做到真正的理解每一个问题的知识点。如有需视频+源码+PPT的小伙伴，可以留言或私信。我们发给大家~