2019-01-17发表2024-05-06更新技术学习

JMeter 使用笔记

安装配置

需要安装Java，尽量使用Java SE 8以上的版本。添加把JRE和JDK添加到环境变量中。

JMeter安装

在JMeter官网下载相关版本的JMeter链接，直接解压即可。注意要把JMeter的根目录添加到环境变量JMETER_HOME中，之后集群测试会使用到。

单机测试

单机测试主要分为两个大的步骤，一个是添加线程组和Http请求，另一个就是添加Listener来查看测试结果，网络上有很多现成的教程，这里就不再赘述。

集群测试

集群测试很简单，只要把Slave机器部署好，Master会把测试脚本发送给Slave进行测试，部署过程也可以参考这篇文章。具体部署步骤如下：

在每台Slave上都安装配置好单机环境
在Slave上修改$JMETER_HOME/bin/jmeter.properties文件，主要修改以下几部分（1099为JMeter服务器默认端口）
1
2
3
server_port=1099
server.rmi.localport=1099
server.rmi.ssl.disable=true
在Master上修改$JMETER_HOME/bin/jmeter.properties文件，主要修改以下几部分，如果想要在Master上也运行测试程序的话，可以把以上Slave的配置也加到Master里，并且在remote_hosts中添加localhost:1099的项
1
2
# 10.0.0.X为Slave的IP
remote_hosts=10.0.0.1:1099,10.0.0.2:1099

完成了以上工作，在Master上启动测试程序（运行->远程启动所有）即可开始集群测试。这种模式下有一个非常大的缺点，就是各个Slave的测试结果会实时发送到Master上，对Master的网络和CPU都造成了很大的压力，如果能够积累一定的数据之后批量发送会好很多。也可能是我没有找到正确的使用方法，如果有解决方案，还请不吝告知。

常见问题

Http Post请求该怎么发

Post请求的Body在编程语言层面有很多的叫法，什么Payload、Data、Params、KWargs之类，在JMeter的Http请求界面，选中Method为POST之后，下边的参数栏有三个Tab，分别是Parameters、Body Data以及Files Upload，因为在GET请求时是使用的Parameters，所以这里一上来就往Body Data里填数据。但是当Content-Type为multipart/form-data，并且同时发送参数和文件的时候，在Body Data里填写的参数会被Files Upload的内容覆盖掉。所以至少在这种情况下需要把请求体中的参数填到Parameters栏里。

在其他Content-Type中尚未见到这种限制，比如application/json时就可以直接把Json对象填入到Body Data中。

表单请求无法正常发送

当Content-Type为multipart/form-data，并且同时发送参数和文件的时候，可能请求无法成功发出去，如果其他工具（比如Postman）可以正常发送请求，那么应该是JMeter实现的问题，在Http请求的Advanced标签中把Client implementation换成Java即可解决这个问题。

集群运行时报找不到rmi_keystore.jks错误

因为JMeter集群在运行时默认会开启SSL，所以需要额外进行SSL的配置，如果想要跳过SSL直接使用，需要在jmeter.properties中设置以下内容

1	server.rmi.ssl.disable=true

2018-10-29发表2024-05-06更新技术学习

Python异步编程

异步编程

在Python中，由于CPython的GIL限制，不能使用多线程充分利用资源，因此在进行诸如文件存取、网络请求等IO操作的时候极其浪费资源，程序往往要在一个点上空等。虽然Python可以借助多进程来改善，但是进程相比线程来说过重，如果只用多进程就可以完全解决问题，线程这个概念也就不会出现了。

在耗时任务（主要是IO）的操作上，Python提供了一些方法来解决，比如协程的概念。初次了解协程的时候认为这是可以拯救世界的东西，概念新颖，方法独特，但是在了解了如C#的async/await以及Javascript（同样是单线程语言）的async/await之后，明白了基于yield/send的协程仍然使用起来仍然不够顺手。

在Python3.4版本之后，Python引入了asyncio标准库，使用@coroutine和EventLoop可以更方便地完成Python协程的工作，接着在Python3.5中，Python引入了async/await关键字，彻底简化了Python异步编程流程。自从C#最早提出async/await之后，很多语言都引入了这一机制，因为它真的太好用了，可以完全以同步的风格进行异步编程。不过由于与C#的实现机制不同，在Python协程中仍然有一些具体的细节无法回避，比如send/yield的交互。

工具对比

在Python生态系统中，有很多异步编程库可以使用，这些编程库有的是诞生于Python异步支持之前，自行实现了事件循环，有的是依托于Python的异步机制进一步开发，在进行异步编程的时候，可以借助以下的工具来简化工作：

gevent：自己实现了时间循环，很早的异步处理库
twisted：非常早的异步网络库，自带HTTP服务器、DNS服务器、邮件服务器等，之后Python官方的asyncio就很大地收到了它的影响
tornado：既是异步网络编程库，也是一个成熟的HTTP服务器以及Web框架
aiohttp：基于asyncio的网络编程库，可以高效地实现HTTP服务器和Websocket服务器
cyclone：作者想要综合twisted和tornado两个库，做到implements the Tornado API as a Twisted protocol

2018-06-17发表2024-05-06更新技术学习

分布式平台搭建

搭建Hadoop

以下操作皆基于Ubuntu 16.04 32位环境 & Hadoop 2.7.3版本

单节点环境

首先安装相关的准备环境

$ sudo apt update
$ sudo apt install -y default-jdk
$ sudo apt install -y vim
$ sudo apt install -y openssh-server

配置JAVA_HOME
- 一般来说Ubuntu平台上通过default-jdk安装的java位置在/usr/lib/jvm/default-jdk目录
- 在/etc/profile中添加下边两行内容并保存退出
  1
  2
  export JAVA_HOME=/usr/lib/jvm/default-java
  export PATH=$PATH:$JAVA_HOME/bin

添加用户和用户组

1
2
3

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hduser
$ sudo usermod -a -G sudo hduser

配置 SSH
- 切换到hduser，并执行以下操作
  1
  2
  $ ssh-keygen -t rsa -P ""
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 之后尝试使用下边的命令连接本机，这个操作也会将本机加入到known hosts里
  1
  $ ssh localhost

安装Hadoop

下载hadoop-2.7.3.tar.gz，以下假定工作目录为/home/hduser

1
2
3

$ tar -zxvf hadoop-2.7.3.tar.gz
$ mv hadoop-2.7.3/ hadoop/
$ sudo chown -R hduser:hadoop hadoop

编辑bash配置

打开.bashrc，加入以下内容（也可以修改/etc/profile，但是使用.bashrc更加灵活）

1
2
3

export JAVA_HOME=/usr/lib/jvm/default-java
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

配置Hadoop（不同版本的hadoop的配置方案会有不同，配置之前记得要确定版本）

修改~/hadoop/etc/hadoop/hadoop-env.sh，在文件中添加下边的内容
1
export JAVA_HOME=/usr/lib/jvm/default-java
修改~/hadoop/etc/hadoop/yarn-env.sh，在文件中添加下边的内容
1
export JAVA_HOME=/usr/lib/jvm/default-java

修改~/hadoop/etc/hadoop/core-site.xml

执行以下命令

1
2
3

$ sudo mkdir -p /home/hduser/tmp
$ sudo chown hduser:hadoop /home/hduser/tmp
$ sudo chmod 750 /home/hduser/tmp

在core-site.xml添加以下内容（各个属性的内容可以按照实际情况修改）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hduser/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hduser.groups</name>
        <value>*</value>
    </property>
</configuration>

修改~/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容（各个属性的内容可以按照实际情况修改）

执行以下命令

$ sudo mkdir -p /home/hduser/dfs/name
$ sudo chown hduser:hadoop /home/hduser/dfs/name
$ sudo chmod 750 /home/hduser/dfs/name
$ sudo mkdir -p /home/hduser/dfs/data
$ sudo chown hduser:hadoop /home/hduser/dfs/data
$ sudo chmod 750 /home/hduser/dfs/data

在hdfs-site.xml中添加以下内容

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hduser/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hduser/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

修改~/hadoop/etc/hadoop/mapred-site.xml，添加以下内容（各个属性的内容可以按照实际情况修改）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

修改~/hadoop/etc/hadoop/yarn-site.xml（各个属性的内容可以按照实际情况修改）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value> master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value> master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value> master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value> master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value> master:8088</value>
    </property>
</configuration>

格式化Namenode
- 进入~/hadoop/bin目录下，执行以下操作
  1
  $ ./hdfs namenode –format
启动hadoop
- 在~/hadoop/sbin执行以下命令
  1
  2
  $ ./start-dfs.sh
  $ ./start-yarn.sh
- 之后通过jps命令可以看到以下结果，说明启动成功
  1
  2
  3
  4
  13058 Jps
  13026 NodeManager
  12916 ResourceManager
  12169 DataNode

集群环境

此处默认master和slave已经按照单机节点配置完成

设置网络
- 我的例子是一台master一台slave，分别确定两者的ip，然后在两台机器的/etc/hosts中写入以下内容
  1
  2
  192.168.0.1 master
  192.168.0.2 slave
配置ssh免密登录
- 在master上执行以下命令
  1
  $ ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@slave
- 在slave上执行以下命令
  1
  $ ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@master
- 之后两方互相登录测试一下是否可以免密登录
配置~/hadoop/etc/hadoop/slaves
- 在master机器的slaves文件中添加以下内容
  1
  2
  master
  slave
格式化Namenode
- 进入master的~/hadoop/bin目录下，执行以下操作
  1
  $ ./hdfs namenode –format

启动hadoop

在master的~/hadoop/sbin执行以下命令
1
2
$ ./start-dfs.sh
$ ./start-yarn.sh

之后通过jps命令可以看到以下结果，说明启动成功

master中

4048	Jps
3899	ResourceManager
4013	NodeManager
3726	SecondaryNameNode
3423	NameNode
3535	DataNode

slave中

1
2
3

2754	DataNode
3012	Jps
2903	NodeManager

搭建Spark

Spark平台

下载Spark
- 在这里下载和hadoop版本对应的spark，假定工作目录为/home/hduser
- 进行如下操作解压压缩包（每个节点都要进行）
  1
  $ tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz
配置~/.bashrc文件
- 在.bashrc文件中添加以下内容（每个节点都要添加）
  1
  2
  export SPARK_HOME=/home/hduser/spark
  export PATH=$PATH:$SPARK_HOME/bin
配置~/spark/conf/slaves文件
- 在两个节点的salves文件中添加以下内容
  1
  2
  master
  slave
启动Spark
- 在master的~/spark/sbin中执行以下命令
  1
  ./start-all.sh
- 在master中执行jps，发现以下结果说明spark运行成功
  1
  2
  3
  4
  5
  6
  5257 Worker
  5177 Master
  3726 SecondaryNameNode
  5326 Jps
  3432 NameNode
  3535 DataNode
- 在slave中执行jsp，发现一下结果说明spark运行成功
  1
  2
  3
  2754 DataNode
  3717 Worker
  3771 Jps

配置Scala

下载Scala
- 在这里相应版本的scala压缩包，假定工作目录为/home/hduser
- 进行如下操作解压压缩包（只需要在master进行）
  1
  $ tar -zxvf scala-2.12.6.tgz
配置~/.bashrc文件
- 在.bashrc文件中添加以下内容（只需要在master在master上执行以下命令）
  1
  2
  export SCALA_HOME=/home/hduser/scala
  export PATH=$PATH:$SCALA_HOME/bin

配置 Eclipse

安装Eclipse
- 在master上执行以下命令
  1
  $ sudo apt install eclipse-platform
安装Eclipse插件

参考资料

2015-05-13发表2024-05-06更新技术学习

【PHP学习】move_uploaded_file() 使用注意

今天刚弄好WAMP，端口问题焦头烂额一上午，最后停止IIS服务就好了。。。

看PHP基本的部分，在用到 move_uploaded_file()时一直是错误，说是无法把文件从临时路径移动到指定路径下，最后发现指定路径不存在。。。就是最后的upload目录没有创建，心里还想着它会自动创建这个目录呢，真是傻了。。。

（代码是W3SCHOOL上的例子，稍有改动）

<?php
if( $_FILES["file"]["type"] == "text/plain" && $_FILES["file"]["type"] < 20000 )
{
	if ($_FILES["file"]["error"] > 0)
	  {
		echo "Error: " . $_FILES["file"]["error"] . "<br />";
	  }
	else
	  {
		  $oldPath = $_FILES["file"]["tmp_name"];
		  $newPath = "D:\\WAMP Server\\wamp\\tmp\\upload\\" . $_FILES["file"]["name"];
		
		  echo "Upload: " . $_FILES["file"]["name"] . "<br />";
		  echo "Type: " . $_FILES["file"]["type"] . "<br />";
		  echo "Size: " . ($_FILES["file"]["size"] / 1024) . " Kb<br />";
		  echo "Stored in: $oldPath  temporarily!<br />";
		  
		  if( file_exists($newPath) )
		  {
			echo "$newPath already exists!";
		  }
		  else
		  {
			move_uploaded_file($oldPath, $newPath);
			echo "Stored in: $newPath !";
		  }
	  }
}
else
{
	echo "Invalid File!";
}
?>

JMeter 使用笔记

安装配置

安装配置

JMeter安装

单机测试

集群测试

常见问题

Http Post请求该怎么发

表单请求无法正常发送

集群运行时报找不到rmi_keystore.jks错误

Python异步编程

异步编程

工具对比

分布式平台搭建

搭建Hadoop

单节点环境

集群环境

搭建Spark

Spark平台

配置Scala

配置 Eclipse

参考资料

【PHP学习】move_uploaded_file() 使用注意

最新文章

分类

标签

归档

链接