Fix testings accross the project

Signed-off-by: Pengfei Ni <feiskyer@gmail.com>

Add cniVersion to Result

Signed-off-by: Pengfei Ni <feiskyer@gmail.com>

spec/plugins: fix 'ip'->'ips' in the spec, bump to 0.3.1

plugins/*: Don't error if the device doesn't exist

I wasn't able to test or update the dhcp plugin but from a code read it
should be fine. All the other plugins are tested and fixed

pkg/ip: improve docstring for SetupVeth

pkg/ip: SetupVeth returns net.Interface

pkg/ip: do not leak types from vendored netlink package

The exported function SetupVeth now returns a package-defined type.

Signed-off-by: Gabe Rosenhouse <grosenhouse@pivotal.io>

spec,libcni: add support for injecting runtimeConfig into plugin stdin data

Add a new CapabilityArgs member to the RuntimeConf struct which runtimes can
use to pass arbitrary capability-based keys to the plugin.  Elements of this
member will be filtered against the plugin's advertised capabilities (from
its config JSON) and then added to a new "runtimeConfig" top-level map added
to the config JSON sent to the plugin on stdin.

Also "runtime_config"->"runtimeConfig" in CONVENTIONS.md to make
capitalization consistent with other CNI config keys like "cniVersion".

Merge pull request #383 from dcbw/test-fixes

tests: misc test fixes

pkg/types: misc current types testcase cleanups

pkg/testutils: return errors after restoring stdout

Ensures Ginkgo is able to print detailed failure messages instead
of them being captured by the pipe.

pkg/ip: refactored so that builds succeed on non-linux platforms

moved functions that depend on linux packages into a separate file and added
nop methods with a build tag for non-linux platforms in a new file.

pkg/ns, pkg/types: refactored non linux build fix code to

Make GetCurrentNS platform specific instead of getCurrentThreadNetNSPath

pkg/ns: refactored so that builds succeed on non-linux platforms

moved functions that depend on linux packages (sys/unix) into a separate file
and added nop methods with a build tag for non-linux platforms in a new file.

Merge pull request #361 from ofiliz/issue-360

invoke: Enable plugin file names with extensions

invoke: Enable plugin file names with extensions

A CNI network configuration file contains the plugin's executable file name.
Some platforms like Windows require a file name extension for executables.
This causes unnecessary burden on admins as they now have to maintain two
versions of each type of netconfig file, which differ only by the ".exe"
extension. A much simpler design is for invoke package to also look for
well-known extensions on platforms that require it. Existing tests are
improved and new tests are added to cover the new behavior.

Fixes #360

pkg/utils/sysctl/sysctl_linux.go: fix typo.

pkg/utils/sysctl/sysctl_linux.go: fix build tag.

spec, libcni, pkg/invoke: Use OS-agnostic separator when parsing CNI_PATH

Hardcoding the list separator character as ":" causes CNI to fail when parsing
CNI_PATH on other operating systems. For example, Windows uses ";" as list
separator because ":" can legally appear in paths such as "C:\path\to\file".
This change replaces use of ":" with OS-agnostic APIs or os.PathListSeparator.

Fixes #358

spec/plugins: return interface details and multiple IP addresses to runtime

Updates the spec and plugins to return an array of interfaces and IP details
to the runtime including:

- interface names and MAC addresses configured by the plugin
- whether the interfaces are sandboxed (container/VM) or host (bridge, veth, etc)
- multiple IP addresses configured by IPAM and which interface they
have been assigned to

Returning interface details is useful for runtimes, as well as allowing
more flexible chaining of CNI plugins themselves.  For example, some
meta plugins may need to know the host-side interface to be able to
apply firewall or traffic shaping rules to the container.

pkg/ipam: add testcases

macvlan/ipvlan: use common RenameLink method

types: make Result an interface and move existing Result to separate package

testutils: pass netConf in for version operations; pass raw result out for tests

skel: adds PluginMainWithError which returns a *types.Error

Enables plugins to do their own error-handling and cleanup logic

api,libcni: add network config list-based plugin chaining

Using a new ".configlist" file format that allows specifying
a list of CNI network configurations to run, add new libcni
helper functions to call each plugin in the list, injecting
the overall name, CNI version, and previous plugin's Result
structure into the configuration of the next plugin.

all: assert internal objects implement interfaces

Expand description of goroutine+netns problems

testing: test invocation of newer plugins with an older libcni

skel tests: correct name of CNI_CONTAINERID in tests of env vars

testing: adds basic test of backwards compatibility

skel: use named constant for Incompatible CNI Version error code

versioning: plugins require version match with config

infer version 0.1.0 when config is missing an explicit "cniVersion" field

versioning: add basic version decode for network config

skel: Plugins require a cniVersion in the NetConf

versioning: revert spec version to 0.2.0

versioning: misc cleanups

highlights:
 - NetConf struct finally includes cniVersion field
 - improve test coverage of current version report behavior
 - godoc a few key functions
 - allow tests to control version list reported by no-op plugin

invoke: better name and unit test coverage for GetVersionInfo

invoke: correctly infer version for 0.1.0-vintage plugins

Older plugins return a known error when issued the VERSION command.
Capture this error and report it as a 0.1.0 version plugin.

versioning: adds tooling to compile a program against a given old CNI version

Allows us to write tests that cover interactions between components of
differing versions

pkg/invoke: refactor plugin exec and backfill unit tests

versioning: document meaning of 'Legacy' version support

versioning: plugins report a list of supported versions

Further progress on versioning support (Issue #266).
Bump CNI spec version to 0.3.0

Merge pull request #293 from rosenhouse/backfill-invoke-exec-tests

Backfill tests for plugin execution

Merge pull request #290 from asridharan/dcos

Fixed the check for network namespace path.

pkg/ns: fixed the check for network namespace path.

The expectation on older kernels (< 3.19) was to have the network
namespace always be a directory. This is not true if the network
namespace is bind mounted to a file, and will make the plugin fail
erroneously in such cases. The fix is to remove this assumption
completely and just do a basic check on the file system types being
returned.

Fixes #288

pkg/ip: Ensure that SetupVeth returns correct hostVeth

The veth is moved from the container NS to the host NS.
This is handled by the code that sets the link to UP but the wrong
hostVeth is returned to the calling code.

invoke: backfill tests for plugin execution

Merge pull request #267 from rosenhouse/version-cmd

Adds VERSION command

pkg/ip: Return correct error if container name provided exists, and test cases

If interface name for a container provided by a user is already present,
Veth creation fails with incorrect error.
If os.IsExist error is returned by makeVethPair:
* Check for peer name, if exists generate another random peer name,
* else, IsExist error is due to container interface present, return error.

Fixes #155

pkg/utils/hwaddr tests: cover v4 in v6 addr

pkg/ip link_test: ensure SetHWAddrByIP has an effect

pkg/ip: use iface name in SetHWAddrByIP

pkg/ip tests: cover SetupVeth and DelLinkByName*

plugins: set MAC addresses based on IP

This will give deterministic MAC addresses for all interfaces CNI
creates and manages the IP for:
* bridge: container veth and host bridge
* macvlan: container veth
* ptp: container veth and host veth

pkg/utils/hwaddr: migrate code from IPAM pkg

pkg/ipam{,test}: improve error handling and tests

* _suite.go and _test.go file should be in the same package, using the
  _test package for that, which requires some fields and methods to be
  exported
* Introduce error type for cleaner error handling
* test adaptions for error type checking

add tests for generateHardwardAddr

configure mac address based on assigned ip

plugins: adds new no-op plugin that may be used as a test-double

Plugin can be configured to record all inputs and to respond with
arbitrary stdout or error message.  Will support upcoming integration
testing.

misc: fix up copyright dates

pkg/skel: plugins now respond to VERSION command

To support CNI spec versioning, plugins must be able to report version
information to container runtimes.

pkg/skel: improve error message for missing CNI_COMMAND env var

This makes the error message for missing CNI_COMMAND consistent with
that of other required environment variables.

pkg/skel: missing env var log lines appear in stderr

Previously, the log lines appeared in stdout before the JSON encoding of
the error message.  That would break JSON parsing of stdout.  Instead, we use
stderr for these unstructured logs, consistent with the CNI spec.

pkg/skel: refactor to use dependency injection

Extract dependencies on os to enable more complete unit test coverage

pkg/ns: fix misspelling in comment

pkg/types: cover string for unmarshal tests

pkg/types: Add UnmarshallableString type

Allow strings to be unmarshalled for CNI_ARGS

CNI_ARGS uses types.LoadArgs to populate a struct.
The fields in the struct must meet the TextUnmarshaler interface.

This code adds a UnmarshallableString type to assist with this.

pkg/ns: introduce error types indicate NS verification

skel/test: add case for empty NETNS

plugins: don't require CNI_NETNS for DEL command

This will allow to free up the IPAM allocations when the caller doesn't
have access to the network namespace anymore, e.g. due to a reboot.

pkg/skel: allow arg requriements specified by CMD

pkg/ns: consider PROCFS during NS verification

This is an attempt to bring compatibility with Kernel <3.19, where NSFS
where PROCFS was used for network namespaces.

pkg/ns: test IsNSFS()

pkg/ns: test case for rejecting a non-ns nspath

pkg/ns: verify netns when initialized with GetNS

pkg/ns: add tests cases for Close()'d NS

pkg/ns: don't allow operations after Close()

testutils: add e2e testing helper code

ns: add interface, use it, and fix thread-related namespace switch issues

Add a namespace object interface for somewhat cleaner code when
creating and switching between network namespaces.  All created
namespaces are now mounted in /var/run/netns to ensure they
have persistent inodes and paths that can be passed around
between plugin components without relying on the current namespace
being correct.

Also remove the thread-locking arguments from the ns package
per https://github.com/appc/cni/issues/183 by doing all the namespace
changes in a separate goroutine that locks/unlocks itself, instead of
the caller having to track OS thread locking.

Merge pull request #199 from dcbw/fix-bridge-tx-queue-length

bridge: leave TX queue length as kernel default, not 0

Merge pull request #200 from squaremo/simplify-readme

Simplify README preamble

pkg/ns: evaluate syscall number at compile-time

Previously this code used a run-time map lookup keyed by
runtime.GOOS/GOARCH.  This version uses conditional compilation to make
this choice at compile time, giving immediate feedback for unsupported
platforms.

pkg/ns: use correct syscall number on arm

*: appc/cni -> containernetworking/cni

The project has been moved so internally we simply rename everything.
Consumers are recommended to update their vendored version of cni.

pkg/utils: add functions to work with sysctl

Document use of goroutine and lockosthread in test helpers

ns: fix reading net namespace in multi-threaded processes

/proc/self/ns/net gives the main thread's namespace, not necessarily
the namespace of the thread that's running the testcases.  This causes
sporadic failures of the tests.

For example, with a testcase reading inodes after switching netns:

/proc/27686/task/27689/ns/net 4026532565
/proc/self/ns/net 4026531969
/proc/27686/task/27689/ns/net 4026532565

See also:
https://github.com/vishvananda/netns/commit/008d17ae001344769b031375bdb38a86219154c6

Running Suite: pkg/ns Suite
===========================
Random Seed: 1459953577
Will run 6 of 6 specs

• Failure [0.028 seconds]
Linux namespace operations
/cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:167
  WithNetNS
  /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:166
    executes the callback within the target network namespace [It]
    /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:97

    Expected
        <uint64>: 4026531969
    to equal
        <uint64>: 4026532565

    /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:96
------------------------------
•••••

Summarizing 1 Failure:

[Fail] Linux namespace operations WithNetNS [It] executes the callback within the target network namespace
/cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:96

Ran 6 of 6 Specs in 0.564 seconds
FAIL! -- 5 Passed | 1 Failed | 0 Pending | 0 Skipped --- FAIL: TestNs (0.56s)
FAIL

Fix issues with MakeNetworkNS test helper

Add basic unit tests of testhelpers

Extract inode inspection functions into testhelpers

Extract testhelpers from loopback test suite

*: appc/cni -> containernetworking/cni

The project has been moved so internally we simply rename everything.
Consumers are recommended to update their vendored version of cni.

Merge pull request #187 from appc/v0.3.0

merge unneeded branch v0.3.0 into master

Merge pull request #182 from rosenhouse/document-lockosthread

Document use of goroutine and LockOSThread in test helpers

ns: fix reading net namespace in multi-threaded processes

/proc/self/ns/net gives the main thread's namespace, not necessarily
the namespace of the thread that's running the testcases.  This causes
sporadic failures of the tests.

For example, with a testcase reading inodes after switching netns:

/proc/27686/task/27689/ns/net 4026532565
/proc/self/ns/net 4026531969
/proc/27686/task/27689/ns/net 4026532565

See also:
https://github.com/vishvananda/netns/commit/008d17ae001344769b031375bdb38a86219154c6

Running Suite: pkg/ns Suite
===========================
Random Seed: 1459953577
Will run 6 of 6 specs

• Failure [0.028 seconds]
Linux namespace operations
/cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:167
  WithNetNS
  /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:166
    executes the callback within the target network namespace [It]
    /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:97

    Expected
        <uint64>: 4026531969
    to equal
        <uint64>: 4026532565

    /cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:96
------------------------------
•••••

Summarizing 1 Failure:

[Fail] Linux namespace operations WithNetNS [It] executes the callback within the target network namespace
/cni/gopath/src/github.com/appc/cni/pkg/ns/ns_test.go:96

Ran 6 of 6 Specs in 0.564 seconds
FAIL! -- 5 Passed | 1 Failed | 0 Pending | 0 Skipped --- FAIL: TestNs (0.56s)
FAIL

Document use of goroutine and lockosthread in test helpers

Fix issues with MakeNetworkNS test helper

Add basic unit tests of testhelpers

Extract inode inspection functions into testhelpers