中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

TungstenFabric及Kubernetes集成解決是怎樣的

今天就跟大家聊聊有關(guān)Tungsten Fabric及Kubernetes集成解決是怎樣的,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。

讓客戶滿意是我們工作的目標,不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶,將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴,公司提供的服務(wù)項目有:域名申請、網(wǎng)頁空間、營銷軟件、網(wǎng)站建設(shè)、蛟河網(wǎng)站維護、網(wǎng)站推廣。

1

Kubernetes與TF的集成

集成方案中,在Kubernetes和Tungsten Fabric(編者按:原文為Contrail,其開源版已更名為Tungsten Fabric,本文出現(xiàn)Contrail之處均以Tungsten Fabric替換)之間有兩個連接。
  • contrail-kube-manager和kube-api-server

  • Contrail CNI

1.1 contrail-kube-manager


此服務(wù)連接到kube-api-server以接收更新。然后,它會連接到Tungsten Fabric配置API服務(wù)器,來創(chuàng)建必要的配置(VM,VMI /端口,IP等),以將容器連接到overlay層。它還會將更新發(fā)送到kube-api-server。

1.2 Contrail CNI


每個node/minion上的Kubelet都使用CNI參數(shù)運行。啟動容器時,kubelet調(diào)用CNI來建立網(wǎng)絡(luò)。Contrail CNI連接到vRouter代理REST API:
1)獲得必要的配置
2)將容器網(wǎng)絡(luò)接口插入vRouter
1.3 Gateway


Tungsten Fabric使用gateway連接overlay和underlay網(wǎng)絡(luò),以提供外部訪問。我們需要使用gateway來支持Kubernetes的暴露服務(wù)和ingress功能。
必須在Tungsten Fabric中創(chuàng)建一個浮動IP池。
在/etc/contrailctl/kubemanager.conf中配置這個FIP池的FQ名稱,以進行配置(provisioning)。
    [KUBERNETES_VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}

    在容器condir-kube-manager中,浮動IP池在/etc/contrail/contrail-kubernetes.conf中進行配置。
      [VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}

      在Kubernetes中公開service或創(chuàng)建ingress時,將從該池中分配一個FIP作為外部IP。

      2

      Namespace

      與Tungsten Fabric集成時,Kubernetes命名空間(namespace)可以映射到項目/租戶(project/tenant)或虛擬網(wǎng)絡(luò)。
      2.1 單租戶(Single-tenant)


      如果有設(shè)置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project,它是單租戶(single-tenant),Kubernetes命名空間將映射到Tungsten Fabric中的虛擬網(wǎng)絡(luò)。所有非隔離命名空間都映射到默認虛擬網(wǎng)絡(luò)“cluster-network”。而每個隔離命名空間都映射到一個單獨的虛擬網(wǎng)絡(luò)“<NS name>-vn”。
      這里有一個示例,說明在/etc/contrailctl/kubemanager.conf中設(shè)置[KUBERNETES].cluster_project以啟用單租戶的情形。
        [KUBERNETES]cluster_project = {'domain': 'default-domain', 'project': 'kubernetes'}

        以下是由Condir-kube-manager在初始化期間創(chuàng)建的。
        • Flat IPAM <cluster_project>:具有子網(wǎng)的pod-ipam

        • IPAM <cluster_project>:service-ipam

        • 虛擬網(wǎng)絡(luò)“cluster-network”的安全組k8s-default-default-default和k8s-default-default-sg

        • 虛擬網(wǎng)絡(luò)<cluster_project>:具有pod-ipam和service-ipam的cluster-network


        2.1.1 非隔離的命名空間


        創(chuàng)建一個非隔離的命名空間。
          apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"

          當Kubernetes創(chuàng)建一個非隔離命名空間時,Tungsten Fabric將創(chuàng)建兩個SG,即k8s-default-<NS name>-sg和k8s-default-<NS name>-sg。這里不創(chuàng)建虛擬網(wǎng)絡(luò)。所有非隔離的NS中的容器都將位于cluster-network上。
          在非隔離命名空間中啟動一個Pod。
            apiVersion: v1kind: Podmetadata:  name: nginx-1spec:  containers:  - name: nginx    image: docker.io/nginx    imagePullPolicy: IfNotPresentkubectl create -f nginx-1.yaml -n <namespace>kubectl get pods -n <namespace>

            在非隔離命名空間中啟動Pod時,Tungsten Fabric(contrail-kube-manager)將執(zhí)行以下操作。
            • 創(chuàng)建虛擬機<NS name>-<pod name>__<VM UUID>。

            • 在啟動Pod的虛擬路由器中,添加對VM的引用。

            • 參考以下內(nèi)容,創(chuàng)建VMI <cluster_project>:<pod name>__<VMI UUID>。

            • SG k8s-default-<NS name>-default

            • SG k8s-default-<NS name>-sg

            • VN <cluster_project>:cluster-network

            • 在VN cluster-network中從pod-ipam分配IP地址(cluster IP)。Subnet UUID被指定為從Flat IPAM pod-ipam進行分配。


            不同非隔離命名空間中的Pod可以相互連接,因為它們位于Tungsten Fabric中的同一虛擬網(wǎng)絡(luò)上。
            2.1.2 隔離的命名空間


            創(chuàng)建一個隔離的命名空間。
              apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: {   "opencontrail.org/isolation" : "true" }

              在Kubernetes中創(chuàng)建隔離命名空間時,Tungsten Fabric將創(chuàng)建以下內(nèi)容。
              • 虛擬網(wǎng)絡(luò)<cluster_project>:<namespace name>-vn

              • 安全組k8s-default-<namespace name>-default和k8s-default-<namespace name>-sg

              在隔離命名空間中啟動Pod時,Tungsten Fabric將執(zhí)行以下操作。
              • 創(chuàng)建虛擬機<NS name>-<pod name>__<VM UUID>。

              • 在啟動了Pod的虛擬路由器中,添加對VM的引用。

              • 參考以下內(nèi)容,創(chuàng)建VMI <cluster_project>:<pod name>__<VMI UUID>。

              • SG k8s-default-<NS name>-default

              • SG k8s-default-<NS name>-sg

              • VN <cluster_project>:<NS name>-vn

              • 在VN <NS name>-vn中從pod-ipam分配IP地址(cluster IP)。Subnet UUID被指定為從flat IPAM pod-ipam進行分配。


              由于端口位于不同的虛擬網(wǎng)絡(luò)上,因此不同的隔離命名空間中的Pods無法相互連接。
              2.2 多租戶(Multi-tenant)

              如果未設(shè)置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project,它就是多租戶,Kubernetes命名空間將映射到Tungsten Fabric中的租戶/項目(tenant/project)。非隔離命名空間中的Pod在默認虛擬網(wǎng)絡(luò)“cluster-network”上啟動。而每個隔離命名空間都映射到一個單獨的虛擬網(wǎng)絡(luò)“<NS name>-vn”。
              在初始化時,contrail-kube-manager創(chuàng)建以下內(nèi)容:
              • 為每個現(xiàn)有的Kubenetes命名空間(如default、kube-public和kube-system)提供一個項目/租戶。

              • Flat IPAM 默認域:default:pod-ipam

              • IPAM 默認域:default:service-ipam

              • 每一個命名空間的安全組:k8s-default-<namespace>-sg和k8s-default-<namespace>-sg

              • 虛擬網(wǎng)絡(luò)默認域名:具有pod-ipam的default:cluster-network和service-ipam


              2.2.1 非隔離的命名空間

              創(chuàng)建一個非隔離的命名空間。
                apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"

                Contrail-kube-manager將創(chuàng)建以下內(nèi)容。
                • 項目default-domain:<namespace>

                當在非隔離命名空間中啟動Pod時,conventil-kube-manager將創(chuàng)建端口:
                • 在項目缺省域:<namespace>

                • 在虛擬網(wǎng)絡(luò)缺省域:default:cluster-network

                • 從IPAM缺省域:default:pod-ipam獲取地址

                • 附帶安全組k8s-default-default-default和k8s-default-default-sg

                不同非隔離命名空間中的Pod可以相互連接,因為它們位于Tungsten Fabric中的同一虛擬網(wǎng)絡(luò)上。
                2.2.2 隔離的命名空間


                創(chuàng)建一個隔離的命名空間。
                  apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: {   "opencontrail.org/isolation" : "true" }

                  Contrail-cube-manager將創(chuàng)建以下內(nèi)容。
                  • 項目缺省域:<namespace>

                  • 虛擬網(wǎng)絡(luò)default-domain:<namespace>:<namespace>-vn與default-domain:default:pod-ipam關(guān)聯(lián)。

                  • 安全組default-domain:<namespace>:k8s-default-<namespace>-default和default-domain:<namespace>:k8s-default-<namespace>-sg


                  當在非隔離命名空間中啟動Pod時,conventil-kube-manager將創(chuàng)建端口。
                  • 在項目default-domain:<namespace>中

                  • 在虛擬網(wǎng)絡(luò)default-domain:<namespace>:<namespace>-vn上

                  • 從IPAM default-domain:default:pod-ipam獲取地址

                  • 附帶安全組default-domain:<namespace>:k8s-default-<namespace>-default和default-domain:<namespace>:k8s-default-<namespace>-sg


                  由于端口位于不同的虛擬網(wǎng)絡(luò)上,因此不同的隔離命名空間中的Pods無法相互連接。

                  2.3 自定義命名空間


                  創(chuàng)建一個自定義命名空間。
                    apiVersion: v1kind: Namespacemetadata: name: "dev-customized" annotations: {   "opencontrail.org/network": '{"domain": "default-domain", "project": "demo", "name": "red"}' }

                    在自定義命名空間中啟動Pod時,contrail-kube-manager將創(chuàng)建端口。
                    • 在項目default-domain:default中

                    • 在虛擬網(wǎng)絡(luò)上映射到自定義命名空間

                    • 從與該虛擬網(wǎng)絡(luò)關(guān)聯(lián)的IPAM上獲取地址

                    • 安全組?

                    2.4指定虛擬網(wǎng)絡(luò)上的Pod

                    在指定的虛擬網(wǎng)絡(luò)上啟動Pod。
                    當在指定的虛擬網(wǎng)絡(luò)上啟動Pod時,conutil-kube-manager將創(chuàng)建端口。
                    • 在項目中映射到指定或默認的命名空間

                    • 在指定的虛擬網(wǎng)絡(luò)上

                    • 從與特定虛擬網(wǎng)絡(luò)關(guān)聯(lián)的IPAM上獲取地址

                    • 安全組?

                    2.5 Kubernetes網(wǎng)絡(luò)策略


                    Kubernetes網(wǎng)絡(luò)策略將照常運行,它由Tungsten Fabric中的安全組實現(xiàn)。該版本將與4.0.1一起發(fā)布。
                    2.6 POD SNAT

                    Tungsten Fabric支持該功能,可以在Tungsten Fabric中配置一個路由器(配置對象),使其成為啟動容器的虛擬網(wǎng)絡(luò)的外部網(wǎng)關(guān)。這與支持OpenStack的外部網(wǎng)關(guān)是一樣的。

                    3

                    Service


                    Kubernetes service支持ClusterIP,NodePort,LoadBalancer和ExternalName。它還支持使用ExternalIP指定IP。Tungsten Fabric支持ClusterIP和LoadBalancer,以及ExternalIP。
                    在Kubernetes中創(chuàng)建service時,Tungsten Fabric中會創(chuàng)建一個負載均衡器(loadbalancer)。負載均衡器的提供者為“native”,而ECMP負載均衡由vRouter實現(xiàn)。浮動IP被創(chuàng)建為VIP。
                    創(chuàng)建具有多個實例的應(yīng)用程序。
                      apiVersion: v1kind: ReplicationControllermetadata:  name: web-qaspec:  replicas: 2  selector:    app: web-qa  template:    metadata:      name: web-qa      labels:        app: web-qa    spec:      containers:      - name: web        image: docker.io/nginx        imagePullPolicy: IfNotPresent

                      3.1 ClusterIP

                      在這些應(yīng)用程序前面創(chuàng)建service。默認的service類型是ClusterIP。
                        kind: ServiceapiVersion: v1metadata:  name: web-qaspec:  selector:    app: web-qa  ports:    - protocol: TCP      port: 80      targetPort: 80

                        當service被創(chuàng)建后,conventil-kube-manager將執(zhí)行以下操作。
                        • 參照以下內(nèi)容,創(chuàng)建LB VMI <cluster_project>:<service name>__<VMI UUID>。

                        • SG k8s-default-<NS name>-default

                        • SG k8s-default-<NS name>-sg

                        • VN <cluster_project>:cluster-network

                        • 在VN cluster-network中從service-ipam分配LB IP地址(service IP)。不需要subnet UUID。

                        • 創(chuàng)建負載均衡器<cluster_project>:<service name>__<LB UUID>。

                        • VIP是LB IP地址

                        • VMI是LB VMI

                        • 提供者是“native”


                        • 創(chuàng)建浮動IP作為LB IP的子IP,地址相同,利用FIP支持端口NAT。

                        • 創(chuàng)建LB偵聽器<cluster_project>:<service name>__<LB UUID>-<protocol>-<port>-<LB listener UUID>

                        • 創(chuàng)建LB池<cluster_project>:<service name>__<LB UUID>-<protocol>-<port>-<LB listener UUID>

                        • 創(chuàng)建LB成員<cluster_project>:<pool>:<member UUID>

                        當LB被創(chuàng)建后,“原生”LB驅(qū)動程序?qū)?zhí)行以下操作。
                        • 在FIP中設(shè)置端口映射。

                        • 將所有成員的VMI添加到FIP。

                        當service類型為ClusterIP時,只能在集群內(nèi)訪問該service。FIP從集群網(wǎng)絡(luò)(cluster-network)中的service FIP池中分配,并映射到所有的Pod地址。當訪問集群內(nèi)的service地址時,vRouter將在Pod之間平衡流量。
                        3.2 Loadbalancer

                        創(chuàng)建一個LoadBalancer類型的service。
                          kind: ServiceapiVersion: v1metadata:  name: web-qaspec:  selector:    app: web-qa  ports:    - protocol: TCP      port: 80      targetPort: 80  type: LoadBalancer

                          對于服務(wù)類型LoadBalancer,服務(wù)被暴露于外部。從服務(wù)FIP池中分配FIP,用于集群內(nèi)的訪問,同時從公共FIP池中分配FIP,映射到所有POD地址。該FIP將被通告給網(wǎng)關(guān),網(wǎng)關(guān)將在POD之間進行ECMP負載均衡。

                          附錄A 單租戶(Single-tenant)


                          A.1 IPAM

                          <cluster_project>:pod-ipam
                            {    "fq_name": [        "default-domain",        "kubernetes",        "pod-ipam"    ],    "uuid": "c9641741-c785-456e-845b-a14a253c3572",    "ipam_subnet_method": "flat-subnet",    "parent_type": "project",    "perms2": {        "owner": "None",        "owner_access": 7,        "global_access": 0,        "share": []    },    "ipam_subnets": {        "subnets": [            {                "subnet": {                    "ip_prefix": "10.32.0.0",                    "ip_prefix_len": 12                },                "DNS_server_address": "10.47.255.253",                "enable_dhcp": true,                "created": null,                "default_gateway": "10.47.255.254",                "dns_nameservers": [],                "dhcp_option_list": null,                "subnet_uuid": null,                "alloc_unit": 1,                "last_modified": null,                "host_routes": null,                "addr_from_start": null,                "subnet_name": null,                "allocation_pools": []            }        ]    },    "id_perms": {        "enable": true,        "description": null,        "creator": null,        "created": "2017-12-27T18:45:33.957901",        "uuid": {            "uuid_mslong": 14511749470582293870,            "uuid_lslong": 9537393975711511922        },        "user_visible": true,        "last_modified": "2017-12-27T18:45:33.957901",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "pod-ipam"}
                            <cluster_project>:service-ipam
                              {    "fq_name": [        "default-domain",        "kubernetes",        "service-ipam"    ],    "uuid": "526f554a-0bf4-47c6-a8e4-768a3f98cef4",    "parent_type": "project",    "perms2": {        "owner": "None",        "owner_access": 7,        "global_access": 0,        "share": []    },    "id_perms": {        "enable": true,        "description": null,        "creator": null,        "created": "2017-12-27T18:45:34.000690",        "uuid": {            "uuid_mslong": 5940060210041472966,            "uuid_lslong": 12169982429206466292        },        "user_visible": true,        "last_modified": "2017-12-27T18:45:34.000690",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "service-ipam"}

                              A.2 安全組


                              k8s-default-dev-share-default
                                {    "fq_name": [        "default-domain",        "kubernetes",        "k8s-default-dev-share-default"    ],    "uuid": "ad29de07-5ef6-4f55-86bb-52c44827c09d",    "parent_type": "project",    "perms2": {        "owner": "46c31b9b-d21c-4c27-9445-6c94db948b6d",        "owner_access": 7,        "global_access": 0,        "share": []    },    "security_group_id": 8000010,    "id_perms": {        "enable": true,        "description": "Default security group",        "creator": null,        "created": "2018-01-12T09:02:15.110429",        "uuid": {            "uuid_mslong": 12477748365846007637,            "uuid_lslong": 9708444424704868509        },        "user_visible": true,        "last_modified": "2018-01-12T15:45:08.899388",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "security_group_entries": {        "policy_rule": [            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "dc13bb48-e2a7-4c59-a0b8-740ecfcb9a2c",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv4",                "src_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "0.0.0.0",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "a84e2d98-2b8f-45ba-aa75-88494da73b11",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv6",                "src_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "::",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "0.0.0.0",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "b7752ec1-6037-4c7f-97a9-291893fbed64",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv4",                "src_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            },            {                "direction": ">",                "protocol": "any",                "dst_addresses": [                    {                        "security_group": null,                        "subnet": {                            "ip_prefix": "::",                            "ip_prefix_len": 0                        },                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "action_list": null,                "created": null,                "rule_uuid": "ea5cd2a8-2d47-47c4-a9ab-390de2317246",                "dst_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ],                "application": [],                "last_modified": null,                "ethertype": "IPv6",                "src_addresses": [                    {                        "security_group": "local",                        "subnet": null,                        "virtual_network": null,                        "subnet_list": [],                        "network_policy": null                    }                ],                "rule_sequence": null,                "src_ports": [                    {                        "end_port": 65535,                        "start_port": 0                    }                ]            }        ]    },    "annotations": {        "key_value_pair": [            {                "key": "namespace",                "value": "dev-share"            },            {                "key": "cluster",                "value": "k8s-default"            },            {                "key": "kind",                "value": "Namespace"            },            {                "key": "project",                "value": "kubernetes"            },            {                "key": "name",                "value": "k8s-default-dev-share-default"            },            {                "key": "owner",                "value": "k8s"            }        ]    },    "display_name": "k8s-default-dev-share-default"}

                                k8s-default-dev-share-sg
                                  {    "fq_name": [        "default-domain",        "kubernetes",        "k8s-default-dev-share-sg"    ],    "uuid": "791f1c7e-a66e-4c47-ba05-409f00ee2c8e",    "parent_type": "project",    "perms2": {        "owner": "46c31b9b-d21c-4c27-9445-6c94db948b6d",        "owner_access": 7,        "global_access": 0,        "share": []    },    "security_group_id": 8000017,    "id_perms": {        "enable": true,        "description": "Namespace security group",        "creator": null,        "created": "2018-01-12T09:02:15.236401",        "uuid": {            "uuid_mslong": 8727725933151013959,            "uuid_lslong": 13404190917597736078        },        "user_visible": true,        "last_modified": "2018-01-12T09:02:15.275407",        "permissions": {            "owner": "cloud-admin",            "owner_access": 7,            "other_access": 7,            "group": "cloud-admin-group",            "group_access": 7        }    },    "display_name": "k8s-default-dev-share-sg",    "annotations": {        "key_value_pair": [            {                "key": "namespace",                "value": "dev-share"            },            {                "key": "cluster",                "value": "k8s-default"            },&n            

                                  本文題目:TungstenFabric及Kubernetes集成解決是怎樣的
                                  瀏覽路徑:http://www.rwnh.cn/article8/jijpip.html

                                  成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供動態(tài)網(wǎng)站、移動網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化品牌網(wǎng)站設(shè)計、微信公眾號標簽優(yōu)化

                                  廣告

                                  聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

                                  成都app開發(fā)公司
                                  大方县| 仁怀市| 清苑县| 亚东县| 河池市| 龙游县| 镇安县| 东丰县| 堆龙德庆县| 乌兰察布市| 洪雅县| 越西县| 华安县| 宁远县| 武穴市| 福海县| 红桥区| 珲春市| 峨山| 上虞市| 新竹市| 曲阜市| 永吉县| 融水| 资兴市| 井研县| 白沙| 西昌市| 高碑店市| 北安市| 方山县| 阜城县| 苏尼特左旗| 搜索| 凌海市| 铜川市| 赣州市| 台州市| 宝丰县| 会宁县| 子长县|